1、利用網(wǎng)絡(luò)處理量計算。
計算參考公式:
并發(fā) = connection established / min(server keepalive, server timeout)
翻譯一下:
并發(fā) = 服務(wù)器傳輸鏈接數(shù) 除以 服務(wù)器軟件的keepalive設(shè)置和服務(wù)器軟件的超時設(shè)置之間的最小值
這個公式算出來的數(shù)字是keepalive時間段內(nèi)的平均值,比真實平均值要小一點,如果想找最大值就要設(shè)定keepalive為0或1,然后多探測幾次。
connection established是服務(wù)器當(dāng)前正在傳輸?shù)逆溄樱莐eepalive打開時,新建立的傳輸鏈接會一直存在直到keepalive/timeout關(guān)閉鏈接;客戶端主動關(guān)閉鏈接的話connection established也會關(guān)閉,不過這種鏈接一般比較少,多數(shù)瀏覽器都是支持keepalive并遵守服務(wù)器配置的。
在linux查看connection established數(shù)字的辦法是在命令行執(zhí)行:
netstat -est|grep "connections established"|cut -d "c" -f 1
keepalive和timeout數(shù)字查看辦法要查看web server軟件的配置文件
注意:這個方法只能用于最前端的服務(wù)器或7層交換機,前端之后的服務(wù)器因為緩存或鏈接方式的原因往往是不準(zhǔn)確的。
2、利用服務(wù)器日志計算
因為服務(wù)器每處理一個請求,都會在日志里留下一條信息,所以利用服務(wù)器軟件的日志來計算是最準(zhǔn)確的,但是是這種計算方式浮動也可能會比較大,需要取最大值計算。
首先在確定服務(wù)器軟件有將所有請求寫入一個日志文件里,并確保該日志文件正在不停記錄。
為節(jié)省時間和服務(wù)器資源,把log文件的最后一萬條記錄拿出來統(tǒng)計,我就用nginx默認的main格式作個例子:
執(zhí)行命令:
tail -10000 nginx.log | awk '{print $4;}' | sort | uniq -c
命令的意思是取log文件的最后一萬條記錄,然后用awk取得日志文件中表示時間的一列($4),接著再對該列進行一次排序,最后是用uniq把這一列相鄰的重復(fù)行合并,并計算合并的條數(shù)。
其中先sort再uniq是一種安全的做法,以確保同一秒的日志先被歸到一起,然后再合并,這樣就不會有同一秒種的日志會被切成幾段這樣的現(xiàn)象。
可以得到輸出:
23 [09/Sep/2008:20:26:02
26 [09/Sep/2008:20:26:03
17 [09/Sep/2008:20:26:04
20 [09/Sep/2008:20:26:05
...
70 [09/Sep/2008:20:29:43
61 [09/Sep/2008:20:29:44
45 [09/Sep/2008:20:29:45
37 [09/Sep/2008:20:29:46
2 [09/Sep/2008:20:29:47
在這些輸出中,第一條記錄和最后一條記錄因為時間有可能被切斷,所以是完全不可靠之信息,可以忽略。
如果輸出少于10行的話,要擴大一下范圍,修改tail -10000為tail -100000取最后十萬條數(shù)據(jù)統(tǒng)計。
如果只需要看最大值,可以再用sort命令進行排序,并用head命令取出前10行記錄:
tail -10000 nginx.log | awk '{print $4;}' | sort | uniq -c | sort -nr | head
awk命令是一個功能比較強的命令,在這里只用到最簡單的awk '{print $4;}',意思是將日志每行按空格切分開,然后切出來的結(jié)果依次從左到右就是$1 $2 $3 ...,nginx默認的main日志時間字段剛好是$4,所以在這里拿$4來計算。如果是別的格式的日志,依照這個辦法去找到列數(shù):
就拿apache默認的日志來看,首先:
head -1 apache.log
得到類似以下的輸出:
60.8.207.86 - - [09/Sep/2008:21:03:58 +0800] "GET / HTTP/1.0" 200 11141 "http://www.sudone.com" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
用awk按空格來切分開之后,60.8.207.86就是$1,$2和$3都是-,[09/Sep/2008:21:03:58是$4,這就是需要拿出來統(tǒng)計的。嗯,怎么apache的日志和nginx的一樣的?現(xiàn)在才發(fā)現(xiàn)。
那命令也基本沒什么變化,執(zhí)行一下:
tail -10000 apache.log | awk '{print $4;}' | sort | uniq -c | sort -nr | head
注意,如果是在squid服務(wù)器后面的apache,則日志會變成這樣:
60.8.207.86, 127.0.0.1 - - [09/Sep/2008:21:03:58 +0800] "GET / HTTP/1.0" 200 11141 "http://www.sudone.com" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
因為日志的第一個段:x_forwarded_for中含有空格,所以時間的段會在$3、$4或$5之間變化,從而不能確定,可以先用一次awk或cut以[這個符號切分一下:
tail -10000 apache.log | awk -F"[" '{print $2;}' | awk '{print $1;}' | sort | uniq -c | sort -nr | head
或
tail -10000 apache.log | cut -d"[" -f 2 | awk '{print $1;}' | sort | uniq -c | sort -nr | head
這樣統(tǒng)計就準(zhǔn)確了。