1. 程式人生 > >linux 監控效能學習筆記(1)

linux 監控效能學習筆記(1)

 top命令中的 load average後面的三個數字分別表示距離現在一分鐘,五分鐘,十五分鐘的負載情況。

 

在單核系統中100%利用負載標識為1.00,雙核系統標識2.00

四核系統標識為4.00

因此,有一個 14 load average值和 24個 核心的負載平均,你的伺服器是遠離超載的

load average  

以下命令均可獲取load average系統平均負載

  • top

  • uptime

  • w  

  • cat /proc/loadavg

/proc檔案系統是一個虛擬的檔案系統,不佔用磁碟空間,它反映了當前作業系統在記憶體中的執行情況,檢視/proc下的檔案可以瞭解到系統的執行狀態。檢視系統平均負載使用“cat /proc/loadavg”命令,輸出結果如下

 前三個數字是1、5、15分鐘內的平均程序數。後面的 1/331 中分子是正在執行的程序數,分母是程序總數;另一個是最近執行的程序ID號。

top獲取:

系統平均負載被定義為:在特定時間間隔內執行佇列中(在CPU上執行或者等待執行多少程序)的平均進
程數。

 如果一個程序滿足以下條件則其就會位於執行佇列中:

上圖橢圓部分3個數值分別表示系統在過去1分鐘、5分鐘、15分鐘內執行程序佇列中的平均程序數量。
執行佇列,沒有等待IO,沒有WAIT,沒有KILL的程序通通都進這個佇列。
  - 它沒有在等待I/O操作的結果
  - 它沒有主動進入等待狀態(也就是沒有呼叫'wait')
  - 沒有被停止(例如:等待終止)

  我們可以這樣認為, 正在執行的程序 + 準備好等待執行的程序   在特定時間內(1分鐘,5分鐘,10分鐘)的平均程序數 

在Linux中,程序分為三種狀態:      

  • 一種是阻塞的程序blocked process,
  • 一種是可執行的程序runnable process,     
  • 另外就是正在執行的程序running process。

當程序阻塞時,程序會等待I/O裝置的資料或者系統呼叫。

程序可執行狀態時,它處在一個執行佇列run queue中,與其他可執行程序爭奪CPU時間。 系統的load是指正在執行running one和準備好執行runnable one的程序的總數。比如現在系統有2個正在執行的程序,3個可執行程序,那麼系統的load就是5,load average就是一定時間內的load數量均值

  • 單核CPU, 數字在0.00-1.00之間正常

0.00-1.00        之間的數字表示此時路況非常良好,沒有擁堵,車輛可以毫無阻礙地通過。
1.00  表示道路還算正常,但有可能會惡化並造成擁堵。此時系統已經沒有多餘的資源了,管理員需要進行優化。
1.00以上 表示路況不太好了,如果到達2.00這種情況你必須進行檢查了。

在實際情況中 ,有經驗的系統管理員都會將這條線劃在 0.70

    • “需要進行調查法則”: 如果長期你的系統負載在 0.70 上下,那麼你需要在事情變得更糟糕之

前,花些時間瞭解其原因。

    • “現在就要修復法則”:1.00 。 如果你的伺服器系統負載長期徘徊於 1.00,那麼就應該馬上解決

這個問題。否則,你將半夜接到你上司的電話,這可不是件令人愉快的事情。

    • “凌晨三點半鍛鍊身體法則”:5.00。 如果你的伺服器負載超過了 5.00 這個數字,那麼你將失去

你的睡眠,還得在會議中說明這情況發生的原因,總之千萬不要讓它發生。

先脫離下主題,我們來討論下多核心處理器與多處理器的區別。從效能的角度上理解,一臺主 機擁
有多核心的處理器與另臺擁有同樣數目的處理效能基本上可以認為是相差無幾。當然實際 情況會複雜得
多,不同數量的快取、處理器的頻率等因素都可能造成效能的差異。
  但即便這些因素造成的實際效能稍有不同,其實系統還是以處理器的核心數量計算負載均值 。這使
我們有了兩個新的法則:
  “有多少核心即為有多少負荷”法則: 在多核處理中,你的系統均值不應該高於處理器核心的總數
量。
  “核心的核心”法則: 核心分佈在分別幾個單個物理處理中並不重要,其實兩顆四核的處理器 等
於 四個雙核處理器 等於 八個單處理器。所以,它應該有八個處理器核心。

使用以下命令可以直接獲得CPU核心數目

#cat /proc/cpuinfo |grep "physical id"|sort |uniq|wc –l

檢視邏輯CPU的個數

#cat /proc/cpuinfo |grep "processor"|wc –l

檢視CPU是幾核

#cat /proc/cpuinfo |grep "cores"|uniq

直接獲得CPU核心數  (該命令即可全部算出多少核)

#grep 'model name' /proc/cpuinfo | wc -l

  檢視CPU的主頻

#cat /proc/cpuinfo |grep MHz|uniq

取得CPU核心數目N,觀察後面2個數字,用數字/N,如果得到的值小於0.7即可無憂。
一般來講我們觀察五分鐘或者十五分鐘的平均數值。坦
白講,如果前一分鐘的負載情況是 1.00,那麼仍可以說明認定伺服器情況還是正常的。 但是如果十五
分鐘的數值仍然保持在 1.00,那麼就值得注意了要考慮是否這應該增加的處理器數量


參考http://wenku.baidu.com/view/6597f58884254b35eefd34f7.html

 

 

 

在理解了load Average各值得含義之後,我們用top命令來了解系統的整體狀態

#top

 

 

1.    12:28為當前系統執行時間 

2.    up  系統執行時間為287天9小時28分鐘

3.    user  當前登入使用者數

4.    load average 0.00  0.00  0.00  系統負載,任務佇列不同時間段平均長度,分別為1分鐘,5分鐘,15分鐘前到現在

5.    Tasks   156 total,  當前程序總數

6.    2 running   正在執行的程序數

7 .   154 sleeping   睡眠的程序數

8.    0 stop    停止的程序數

9.    0 zombie   殭屍程序數

10  Cpu(s):  0.0%us,  使用者空間佔用CPU百分比

11                  0.2%sy,  核心空間佔用CPU百分比

              0.0%ni, 使用者程序空間內改變過優先順序的程序佔用CPU百分比

      99.8%id 空閒CPU

      0.0%wa  等待輸入輸出的CPU時間百分比

      0.0%hi    硬中斷

      0.0%si    軟中斷

      0.0%st    實時

備註:(英文解釋)

us: is meaning of "user CPU time"
sy: is meaning of "system CPU time"
ni: is meaning of" nice CPU time"
id: is meaning of "idle"
wa: is meaning of "iowait" 
hi:is meaning of "hardware irq"
si : is meaning of "software irq"
st : is meaning of "steal time

 


12.  Mem    32694788k  total,      (32G)     記憶體總容量

                     29566452k   used,   (28G)使用的實體記憶體總量

                   3128336k     free,        (3G)      空閒記憶體總量

                     347952k       buffers,  (340M)  用做核心快取的記憶體量

 

13.Swap     16416760k   total          (16G)       交換分割槽總量

                     199504k       used      (195M)  使用的交換分割槽總量

                     1621725k     free        (1.5G)    空閒的交換分割槽總量

                     19508208     cached  (19G)     緩衝的交換區總量       

備註:Linux記憶體計算方法

多數的linux系統在free命令後會發現free(剩餘)的記憶體很少,而自己又沒有開過多的程式或服務。linux的記憶體管理機制與windows的有所不同。具體的機制我們無需知道,我們需要知道的是,linux的記憶體管理機制的思想包括(不敢說就是)記憶體利用率最大化。核心會把剩餘的記憶體申請為cached,而cached不屬於free範疇。當系統執行時間較久,會發現cached很大,對於有頻繁檔案讀寫操作的系統,這種現象會更加明顯。

直觀的看,此時free的記憶體會非常小,但並不代表可用的記憶體小,當一個程式需要申請較大的記憶體時,如果free的記憶體不夠,核心會把部分cached的記憶體回收,回收的記憶體再分配給應用程式。所以對於linux系統,可用於分配的記憶體不只是free的記憶體,還包括cached的記憶體(其實還包括buffers)。即:

可用記憶體;=free的記憶體+cached的記憶體+buffers的記憶體

所以,真正的記憶體利用率 = 可用記憶體 / 總記憶體(注意此處 可用記憶體 由上述公式計算而來,其實這個計算結果在free命令回顯中已有,即回顯結果第三行"-/+ buffers/cached",此行第二個數值即為加上了buffers和cached之後的記憶體,即為上述公式所算的可用記憶體 

我們free一下

方框裡的是真正可用記憶體,也是上面3個橢圓free+buffers+cached的和

Cache:快取記憶體,是位於CPU與主記憶體間的一種容量較小但速度很高的儲存器。由於CPU的速度遠高於主記憶體,CPU直接從記憶體中存取資料要等待一定時間週期,Cache中儲存著CPU剛用過或迴圈使用的一部分資料,當CPU再次使用該部分資料時可從Cache中直接呼叫,這樣就減少了CPU的等待時間,提高了系統的效率。Cache又分為一級Cache(L1 Cache)和二級Cache(L2 Cache),L1 Cache整合在CPU內部,L2 Cache早期一般是焊在主機板上,現在也都整合在CPU內部,常見的容量有256KB或512KB L2 Cache。


Buffer:緩衝區,一個用於儲存速度不同步的裝置或優先順序不同的裝置之間傳輸資料的區域。通過緩衝區,可以使程序之間的相互等待變少,從而使從速度慢的裝置讀入資料時,速度快的裝置的操作程序不發生間斷。

Free中的buffer和cache:(它們都是佔用記憶體):

  buffer : 作為buffer cache的記憶體,是塊裝置的讀寫緩衝區

  cache: 作為page cache的記憶體, 檔案系統的cache

  如果 cache 的值很大,說明cache住的檔案數很多。如果頻繁訪問到的檔案都能被cache住,那麼磁碟的讀IO bi會非常小。

cache是快取記憶體,用於CPU和記憶體之間的緩衝;
buffer是I/O快取,用於記憶體和硬碟的緩衝

PID:程序ID
USER: 真實使用者名稱稱
PR: 優先順序
NI: Nice值,負值表示高優先順序,正值表示低優先順序
VIRT:程序使用的虛擬記憶體總量,單位kb VIRT=SWAP+RES
RES:程序使用的、未被換出的實體記憶體大小,單位kb RES=CODE+DATA
SHR:共享記憶體大小,單位kb
S:程序狀態  D=不可中斷的睡眠狀態 R=執行 S=睡眠 T=跟蹤/停止 Z=殭屍程序
%CPU  上次更新到現在的CPU時間佔用百分比
%MEM  程序使用的實體記憶體百分比
TIME+  程序使用的CPU時間總計,單位1/100秒
COMMAND 命令名/命令列 程序名稱

------------------------------------------------------------------------------------------------------------------以上是檢視top顯示的狀態,需要依據來做優化,但是top顯示的是表象,我們可以通過iostat  vmstat命令進一步觀察

1.procs
r 列表示執行和等待cpu時間片的程序數,如果長期大於1,說明cpu不足,需要增加cpu(難道load也是來這裡採集的資料?)
b 列表示在等待資源的程序數,比如正在等待I/O、或者記憶體交換等

2.memory
swpd 切換到記憶體交換區的記憶體數量(k表示)。如果swpd的值不為0,或者比較大,比如超過了100m,只要si、so的
值長期為0,系統性能還是正常
free 當前的空閒頁面列表中記憶體數量(k表示)
buff 作為buffer cache的記憶體數量,一般對塊裝置的讀寫才需要緩衝。
cache: 作為page cache的記憶體數量,一般作為檔案系統的cache,如果cache較大,說明用到cache的檔案較多,
如果此時IO中bi比較小,說明檔案系統效率比較好。

3.swap
si 由記憶體進入記憶體交換區數量。
so由記憶體交換區進入記憶體數量。

4.io
IO
bi 從塊裝置讀入資料的總量(讀磁碟)(每秒kb)。
bo 塊裝置寫入資料的總量(寫磁碟)(每秒kb)
這裡我們設定的bi+bo參考值為1000,如果超過1000,而且wa值較大應該考慮均衡磁碟負載,可以結合iostat輸出
來分析。

5.system 
system 顯示採集間隔內發生的中斷數
in 列表示在某一時間間隔中觀測到的每秒裝置中斷數。
cs列表示每秒產生的上下文切換次數,如當 cs 比磁碟 I/O 和網路資訊包速率高得多,都應進行進一步調查。

6.cpu
cpu 表示cpu的使用狀態
us 列顯示了使用者方式下所花費 CPU 時間的百分比。us的值比較高時,說明使用者程序消耗的cpu時間多,但是如果
長期大於50%,需要考慮優化使用者的程式。
sy 列顯示了核心程序所花費的cpu時間的百分比。這裡us + sy的參考值為80%,如果us+sy 大於 80%說明可能存在
CPU不足。
wa 列顯示了IO等待所佔用的CPU時間的百分比。這裡wa的參考值為30%,如果wa超過30%,說明IO等待嚴重,這
可能是磁碟大量隨機訪問造成的,也可能磁碟或者磁碟訪問控制器的頻寬瓶頸造成的(主要是塊操作)。
id 列顯示了cpu處在空閒狀態的時間百分比

ostat 檢視磁碟負載iostat
每隔2秒統計一次磁碟IO資訊,直到按Ctrl+C終止程式,d選項表示統計磁碟資訊, k表示以每秒KB的形式顯
示,t要求打印出時間資訊,2 表示每隔 2 秒輸出一次。第一次輸出的磁碟IO負載狀況提供了關於自從系統啟動以
來的統計資訊。隨後的每一次輸出則是每個間隔之間的平均IO負載狀況。
  iostat -x 1 2   意思是刷屏資訊顯示2次,時間間隔為1秒

 

 

1.rrqm/s:每秒進行merge(合併)的讀運算元目
2.wrqm/s: 每秒進行 merge 的寫運算元目。即 delta(wmerge)/s
3.r/s: 每秒完成的讀 I/O 裝置次數。即 delta(rio)/s
4.w/s: 每秒完成的寫 I/O 裝置次數。即 delta(wio)/s
5.rsec/s: 每秒讀扇區數。即 delta(rsect)/s
6.wsec/s: 每秒寫扇區數。即 delta(wsect)/s
9.avgrq-sz:平均每次裝置I/O操作的資料大小 (扇區)。delta(rsect+wsect)/delta(rio+wio)
11avgqu-sz:平均I/O佇列長度。即 delta(aveq)/s/1000 (因為aveq的單位為毫秒)。
12.await: 平均每次裝置I/O操作的等待時間 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)
13.svctm: 平均每次裝置I/O操作的服務時間 (毫秒)。即 delta(use)/delta(rio+wio)
14.%util: 一秒中有百分之多少的時間用於 I/O 操作,或者說一秒中有多少時間 I/O 佇列是非空的。即
delta(use)/s/1000 (因為use的單位為毫秒)
如果 %util 接近 100%,說明產生的I/O請求太多,I/O系統已經滿負荷,該磁碟
可能存在瓶頸。
%idle(空閒)小於70% IO壓力就較大了,一般讀取速度有較多的wait.
同時可以結合vmstat 檢視檢視b引數(等待資源的程序數)和wa引數(IO等待所佔用的CPU時間的百分比,高過30%時
IO壓力高)