Linux定時對日誌批量打包Shell腳本及定時任務crontab 詳細用法
一、需求背景
因此次項目的生產環境中部署了多套系統，每天會產生大量的日誌(數百GB的量)，侵占了服務器寶貴的存儲資源空間。為了有效緩解服務器存儲壓力，考慮通過Linux的Shell腳本結合crontab定時每周一對上周7天的日誌打包壓縮，並刪除原被打包的日誌文件，以騰出更多可利用的存儲資源空間。
對於初次接觸Shell腳本的同學，建議先花幾個小時時間學習一下Shell。附Shell教程鏈接如下：
http://www.runoob.com/linux/linux-shell-process-control.html
二、Shell腳本
進入Linux終端，鍵入vim timePackLogs.sh（腳本名稱）創建腳本並編輯如下腳本代碼：
1 #!/bin/bash 2 3 #author:haw2106 4 5 #date:20181213 6 7 #department:xxxx 8 9 #email:[email protected] 10 11 #if you have any questions, please contact the email! 12 13 echo `date ‘+%Y-%m-%d %H:%M:%S‘`" 打包程序執行開始！"; 14 15 echo "開始打包從7天前截止昨天的日誌(如本周日打包上周日到上周六的日誌)!"; 16 17 #篩選打包日誌文件的起始日期18 19 sevenDaysAgoDate=`date -d "7 days ago" +%Y-%m-%d` 20 21 #篩選打包日誌文件的截止日期(此處為獲取當前日期) 22 23 currentDate=`date +%Y-%m-%d` 24 25 #起始日期時間戳(作為日期範圍對比使用) 26 27 sevenTimeStamp=`date -d "$sevenDaysAgoDate" +%s` 28 29 #截至日期時間戳 30 31 currentTimeStamp=`date -d "$currentDate" +%s` 32 33 index=0 3435 #日誌讀取路徑 36 37 filePath="/home/weblogic/logs1" 38 39 #獲取該路徑下所有日誌文件 40 41 fileList=`ls $filePath -1 -c` 42 43 #遍歷所有日誌文件 44 45 for fileName in $fileList 46 47 do 48 49 #將日誌文件名及後綴與正則表達式做對比返回yyyy-mm-dd格式的日期值(如2018-09-10) 50 51 fileDate=$( expr "$fileName" : ‘.*[0?9]{4}\-[0?9]{2}\-[0?9]{2}[0?9]{4}\-[0?9]{2}\-[0?9]{2}.*.*‘ ) 52 53 #將日期轉換為時間戳 54 55 fileDateTimeStamp=`date -d "$fileDate" +%s` 56 57 #當時間戳值不為空且大於等於起始日期小於當前日期，那麽獲取該日誌文件 58 59 if [ "$fileDateTimeStamp" != "" ] && [ $fileDateTimeStamp -ge $sevenTimeStamp ] && [ $fileDateTimeStamp -lt $currentTimeStamp ] 60 61 then 62 63 fileList[$index]="$filePath/$fileName" 64 65 else 66 67 fileList[$index]="" 68 69 fi 70 71 (( index ++ )) 72 73 done 74 75 #獲取所有在日期範圍內的日誌文件, @代表所有 76 77 meetConFiles=${fileList[@]} 78 79 #符合條件的日誌文件數大於0就打包壓縮 80 81 if [ "${#meetConFiles}" -gt 0 ] 82 83 then 84 85 tar -zcvf $currentDate.tar.gz $meetConFiles 86 87 else 88 89 echo "Not found the meet condition‘s files!" 90 91 exit 0 92 93 fi 94 95 echo "$currentDate.tar.gz create completion, Now begin to delete old files." 96 97 #刪除已被打包壓縮的日誌文件 98 99 rm -fr $meetConFiles 100 101 echo "done." 102 103 exit 0
三、配置Crontab文件
註意：
1. CentOS 7的定時任務寫在該文件中會報錯。需通過crontab -e來設定定時任務
2.上圖中為定期每周五執行腳本任務，可根據自身需求進行設置，其中選中行中的weblogic為執行腳本的用戶，如果腳本是在root用戶下，應輸入root，本人的sh腳本是在自身創建的weblogic用戶下。
3. MAILTO：接收定時任務郵件的用戶名，對於定位定時任務腳本執行產生異常很有幫助。本人的用戶名我為weblogic
四、常見問題(執行腳本)
1、permission denied（文件權限不允許）
為了獲得執行權限，切換到sh腳本所在目錄，借助chmod指令修改文件權限即可。
chmod 777 timePackLogs.sh（自身創建的腳本、）
2、本人初次接觸Shell腳本開發該功能時，主要在正則表達式方面花了較多時間，建議同學多花些時間學習了解下Shell的正則表 達式。
3、查看crontab的日誌記錄定位定時任務問題
當定時執行腳本發生異常時，可通過定時任務的日誌來定位問題
Linux
a.查閱文件 /var/log/cron，可以用tail -f /var/log/cron觀察(普通用戶無法查看，需root超管用戶)
b.在 /var/spool/mail/root 文件中，有crontab執行日誌的記錄，用tail -f /var/spool/mail/root 即可查看最近的crontab執行情況。(root為用戶名，本人定時任務腳本生成的日誌在weblogic下，所以為/var/spool/mail/weblogic中)
五、crontab -e 與 直接編輯 /etc/crontab 的區別
Linux配置定時任務，大家都知道使用crontab這個系統功能，但有時候我們需要區分用戶執行，下面就直接說一下2種方法的區別：
方法1：
使用命令 crontab -e 然後直接編輯定時腳本。
這樣執行以後，屬於用戶自定義的，會被寫到 /var/spool/cron 目錄下，生成一個和用戶名一致的文件，文件內容就是我們編輯的定時腳本。
如：
1 [root@localhost cron.d]# cd /var/spool/cron 2 [root@localhost cron]# ll 3 總用量 4 4 -rw-------. 1 root root 52 12月 9 10:58 root 5 [root@localhost cron]# pwd 6 /var/spool/cron 7 [root@localhost cron]# cat root 8 30 03 * * * /root/automysqlbackup.sh
方法2：
使用命令 vi /etc/crontab 編輯定時腳本。
如：
1 [root@localhost ~]# cat /etc/crontab 2 SHELL=/bin/bash 3 PATH=/sbin:/bin:/usr/sbin:/usr/bin 4 MAILTO=root 5 HOME=/ 6 7 # run-parts 8 30 * * * * root /usr/sbin/ntpdate 210.72.145.44 9 #30 8 * * * root /usr/sbin/ntpdate 132.228.90.101 10 01 * * * * root run-parts /etc/cron.hourly 11 02 4 * * * root run-parts /etc/cron.daily 12 22 4 * * 0 root run-parts /etc/cron.weekly 13 42 4 1 * * root run-parts /etc/cron.monthly 14 */1 * * * * root run-parts /opt/openoffice.org3/program/start.sh 15 ############################################ 16 17 30 4 * * * root /usr/bin/rsync -vzrtopg --progress --delete [email protected]::resource /hyy/bak/resource 18 30 4 * * * root /usr/bin/rsync -vzrtopg --progress --delete [email protected]::log /hyy/bak/log 19 ############################################ 20 [root@localhost ~]#
（系統級的）做系統級配置我們會直接配置 /etc/crontab
（用戶級的）一般還是建議大家使用 crontab -e ，這樣系統也會幫著檢查我們配置的腳本語法。
六、crontab 詳細用法 定時任務
使用crontab你可以在指定的時間執行一個shell腳本或者一系列Linux命令。例如系統管理員安排一個備份任務使其每天都運行
如何往 cron 中添加一個作業?
# crontab –e
0 5 * * * /root/bin/backup.sh
這將會在每天早上5點運行 /root/bin/backup.sh
Cron 各項的描述
以下是 crontab 文件的格式：
{minute} {hour} {day-of-month} {month} {day-of-week} {full-path-to-shell-script}
o minute: 區間為 0 – 59
o hour: 區間為0 – 23
o day-of-month: 區間為0 – 31
o month: 區間為1 – 12. 1 是1月. 12是12月.
o Day-of-week: 區間為0 – 7. 周日可以是0或7.
Crontab 示例
1. 在 12:01 a.m 運行，即每天淩晨過一分鐘。這是一個恰當的進行備份的時間，因為此時系統負載不大。
1 0 * * * /root/bin/backup.sh
2. 每個工作日(Mon – Fri) 11:59 p.m 都進行備份作業。
59 11 * * 1,2,3,4,5 /root/bin/backup.sh
下面例子與上面的例子效果一樣：
59 11 * * 1-5 /root/bin/backup.sh
3. 每5分鐘運行一次命令
*/5 * * * * /root/bin/check-status.sh
4. 每個月的第一天 1:10 p.m 運行
10 13 1 * * /root/bin/full-backup.sh
5. 每個工作日 11 p.m 運行。
0 23 * * 1-5 /root/bin/incremental-backup.sh
Crontab 選項
以下是 crontab 的有效選項:
o crontab –e : 修改 crontab 文件. 如果文件不存在會自動創建。
o crontab –l : 顯示 crontab 文件。
o crontab -r : 刪除 crontab 文件。
o crontab -ir : 刪除 crontab 文件前提醒用戶。
以上就是crontab命令的具體使用方法了。
在linux平臺上如果需要實現任務調度功能可以編寫cron腳本來實現。
以某一頻率執行任務
linux缺省會啟動crond進程，crond進程不需要用戶啟動、關閉。
crond進程負責讀取調度任務並執行，用戶只需要將相應的調度腳本寫入cron的調度配置文件中。
cron的調度文件有以下幾個：
1. crontab
2. cron.d
3. cron.daily
4. cron.hourly
5. cron.monthly
6. cron.weekly
如果用的任務不是以hourly monthly weekly方式執行，則可以將相應的crontab寫入到crontab 或cron.d目錄中。
示例：
每隔一分鐘執行一次腳本 /opt/bin/test-cron.sh
可以在cron.d新建腳本 echo-date.sh
內容為
*/1 * * * * root /opt/bin/test-cron.sh
在指定的時間運行任務
也可以通過at命令來控制在指定的時間運行任務
如：
at -f test-cron.sh -v 10:25
其中-f 指定腳本文件， -v 指定運行時間
quote:ea946d690b="lophyxp"]首先用
contab -l >contabs.tmp
導出contab的配置。
然後編輯contabs.tmp文件。以一下格式添加一行：
分鐘 小時 天 月 星期 命令
比如
10 3 * * 0,6 hello
就是每周六、周日的3點10分執行hello程序。
15 4 * * 4-6 hello
就是從周四到周六的4點15點執行hello程序。
然後用
contab contabs.tmp
命令導入新的配置。
一般不建議直接修改/etc/下的相關配置文件。
啟動cron進程的方法：/etc/init.d/crond start
開機就啟動cron進程的設置命令：chkconfig --add crond
方法二：
把cron加入到啟動腳本中：
# rc-update add vixie-cron default
crontab -l #查看你的任務
crontab-e#編輯你的任務
crontab-r#刪除用戶的crontab的內容
實例講解二：
系統cron設定：/etc/crontab
通過 /etc/crontab 文件，可以設定系統定期執行的任務，當然，要想編輯這個文件，得有root權限
0 7 * * * root mpg123 ~/wakeup.mp3
分 時 日 月 周
示例：
0 4 * * 0 root emerge --sync && emerge -uD world #每周日淩晨4點，更新系統
0 2 1 * * root rm -f /tmp/* #每月1號淩晨2點，清理/tmp下的文件
0 8 6 5 * root mail robin < /home/galeki/happy.txt #每年5月6日給robin發信祝他生日快樂
假如，我想每隔2分鐘就要執行某個命令，或者我想在每天的6點、12點、18點執行命令，諸如此類的周期，可以通過 “ / ” 和 “ , ” 來設置：
*/2 * * * * root ............... #每兩分鐘就執行........
0 6,12,18 * * * root ............... #每天6點、12點、18點執行........
每兩個小時
0 */2 * * * echo "have a break now." >> /tmp/test.txt
晚上11點到早上8點之間每兩個小時，早上八點
0 23-7/2，8 * * * echo "have a good dream：）" >> /tmp/test.txt
每個月的4號與每個禮拜的禮拜一到禮拜三的早上11點
0 11 4 * 1-3 command line
1月1日早上4點
0 4 1 1 * command line
收獲：可以把經常要做的一些事放到其中，簡化工作量，如每周一檢查服務器的運行狀態，查看報告，殺掉一些進程等等……
* * * * * command
分 時 日 月 周 命令
第1列表示分鐘1～59 每分鐘用*或者 */1表示
第2列表示小時1～23（0表示0點）
第3列表示日期1～31
第4列表示月份1～12
第5列標識號星期0～6（0表示星期天）
第6列要運行的命令
crontab文件的一些例子：
30 21 * * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每晚的21:30重啟apache。
45 4 1,10,22 * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每月1、10、22日的4 : 45重啟apache。
10 1 * * 6,0 /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每周六、周日的1 : 10重啟apache。
0,30 18-23 * * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示在每天18 : 00至23 : 00之間每隔30分鐘重啟apache。
0 23 * * 6 /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每星期六的11 : 00 pm重啟apache。
* */1 * * * /usr/local/etc/rc.d/lighttpd restart
每一小時重啟apache
* 23-7/1 * * * /usr/local/etc/rc.d/lighttpd restart
晚上11點到早上7點之間，每隔一小時重啟apache
0 11 4 * mon-wed /usr/local/etc/rc.d/lighttpd restart
每月的4號與每周一到周三的11點重啟apache
0 4 1 jan * /usr/local/etc/rc.d/lighttpd restart
一月一號的4點重啟apache
名稱 : crontab
使用權限 : 所有使用者
使用方式 :
crontab file [-u user]-用指定的文件替代目前的crontab。
crontab-[-u user]-用標準輸入替代目前的crontab.
crontab-1[user]-列出用戶目前的crontab.
crontab-e[user]-編輯用戶目前的crontab.
crontab-d[user]-刪除用戶目前的crontab.
crontab-c dir- 指定crontab的目錄。
crontab文件的格式：M H D m d cmd.
M: 分鐘（0-59）。
H：小時（0-23）。
D：天（1-31）。
m: 月（1-12）。
d: 一星期內的天（0~6，0為星期天）。
cmd要運行的程序，程序被送入sh執行，這個shell只有USER,HOME,SHELL這三個環境變量
說明 :
crontab 是用來讓使用者在固定時間或固定間隔執行程序之用，換句話說，也就是類似使用者的時程表。-u user 是指設定指定
user 的時程表，這個前提是你必須要有其權限(比如說是 root)才能夠指定他人的時程表。如果不使用 -u user 的話，就是表示設
定自己的時程表。
參數 :
crontab -e : 執行文字編輯器來設定時程表，內定的文字編輯器是 VI，如果你想用別的文字編輯器，則請先設定 VISUAL 環境變數
來指定使用那個文字編輯器(比如說 setenv VISUAL joe)
crontab -r : 刪除目前的時程表
crontab -l : 列出目前的時程表
crontab file [-u user]-用指定的文件替代目前的crontab。
時程表的格式如下 :
f1 f2 f3 f4 f5 program
其中 f1 是表示分鐘，f2 表示小時，f3 表示一個月份中的第幾日，f4 表示月份，f5 表示一個星期中的第幾天。program 表示要執
行的程序。
當 f1 為 * 時表示每分鐘都要執行 program，f2 為 * 時表示每小時都要執行程序，其餘類推
當 f1 為 a-b 時表示從第 a 分鐘到第 b 分鐘這段時間內要執行，f2 為 a-b 時表示從第 a 到第 b 小時都要執行，其餘類推
當 f1 為 */n 時表示每 n 分鐘個時間間隔執行一次，f2 為 */n 表示每 n 小時個時間間隔執行一次，其餘類推
當 f1 為 a, b, c,... 時表示第 a, b, c,... 分鐘要執行，f2 為 a, b, c,... 時表示第 a, b, c...個小時要執行，其餘類推
使用者也可以將所有的設定先存放在檔案 file 中，用 crontab file 的方式來設定時程表。
例子 :
#每天早上7點執行一次 /bin/ls :
0 7 * * * /bin/ls
在 12 月內, 每天的早上 6 點到 12 點中，每隔3個小時執行一次 /usr/bin/backup :
0 6-12/3 * 12 * /usr/bin/backup
周一到周五每天下午 5:00 寄一封信給 [email protected] :
0 17 * * 1-5 mail -s "hi" [email protected] < /tmp/maildata
每月每天的午夜 0 點 20 分, 2 點 20 分, 4 點 20 分....執行 echo "haha"
20 0-23/2 * * * echo "haha"
註意 :
當程序在你所指定的時間執行後，系統會寄一封信給你，顯示該程序執行的內容，若是你不希望收到這樣的信，請在每一行空一格之
後加上 > /dev/null 2>&1 即可
例子2 :
#每天早上6點10分
10 6 * * * date
#每兩個小時
0 */2 * * * date
#晚上11點到早上8點之間每兩個小時，早上8點
0 23-7/2，8 * * * date
#每個月的4號和每個禮拜的禮拜一到禮拜三的早上11點
0 11 4 * mon-wed date
#1月份日早上4點
0 4 1 jan * date
範例
$crontab -l 列出用戶目前的crontab.
Linux定時對日誌批量打包Shell腳本及定時任務crontab 詳細用法