大型網(wǎng)站壓力測試及優(yōu)化方案

目錄

• 木桶理論應(yīng)用在系統(tǒng)優(yōu)化中
• 壓力測試如何實施
• 常用壓力測試工具選型
• 如何監(jiān)控系統(tǒng)資源，定位性能瓶頸
• 針對測試報告進行針對性優(yōu)化
• 使用JMeter進行壓力測試實踐

木桶理論應(yīng)用在系統(tǒng)優(yōu)化中

木桶理論又稱短板理論，其核心思想是一只木桶盛水多少，并不取決于最高的木板，而取決于最短的那塊木板。

木桶原理應(yīng)用在系統(tǒng)分析中，即系統(tǒng)的最終性能取決于系統(tǒng)中性能表現(xiàn)最差的組件，為了提升系統(tǒng)整體性能，對系統(tǒng)中表現(xiàn)最差的組件進行優(yōu)化可以得到最好的效果。

在網(wǎng)站系統(tǒng)中，用戶的訪問請求到達服務(wù)器，然后服務(wù)器返回數(shù)據(jù)并展示給用戶，這個過程要經(jīng)過很多處理，每一個過程的低效都會影響系統(tǒng)整體表現(xiàn)出來的性能。

按照木桶理論，如果一臺服務(wù)器性能非常強大，擁有充足的內(nèi)存資源和CPU資源，但是磁盤I/O性能不足，那么系統(tǒng)的總體性能是取決于當(dāng)前最慢的磁盤I/O速度，而不是當(dāng)前最優(yōu)越的CPU或者內(nèi)存，此時，磁盤I/O就是系統(tǒng)的性能瓶頸。

典型的比如使用Redis進行存儲的系統(tǒng)，由于Redis本身性能非常優(yōu)秀，通常情況下存儲并不會制約系統(tǒng)的性能，在海量請求的情況下，Redis的吞吐量會非常大，這時候制約系統(tǒng)的性能瓶頸就變成網(wǎng)絡(luò)帶寬。

壓力測試如何實施

性能測試在大型網(wǎng)站系統(tǒng)的設(shè)計和開發(fā)中非常重要，通常會和容量預(yù)估等工作結(jié)合在一起，穿插在系統(tǒng)開發(fā)的不同方案。

性能測試可以幫助我們及時發(fā)現(xiàn)系統(tǒng)的性能短板，評估系統(tǒng)的能力，在這個基礎(chǔ)在上再進行針對性的性能優(yōu)化。

同時，壓力測試還可以幫助我們驗證系統(tǒng)的穩(wěn)定性和可靠性。

一個完整的性能測試方案通常包括以下幾個方面：

1.壓力測試及生成性能報告

壓力測試一個重點是如何產(chǎn)生壓力，通?？梢酝ㄟ^自己編寫腳本模擬請求，或者使用成熟的壓測工具進行。

壓力測試很重要的一點是如何使得模擬壓測的數(shù)據(jù)盡量真實，越接近真實用戶越好。

2.根據(jù)性能報告定位系統(tǒng)瓶頸，進行針對性優(yōu)化，測試和優(yōu)化的工作可以和日常開發(fā)并行

壓力測試完成以后，我們會拿到一個壓測報告，這個報告通常會告訴我們系統(tǒng)的QPS、TPS、響應(yīng)時延等數(shù)據(jù)，

這些數(shù)據(jù)可以讓我們對服務(wù)器的性能有個整體的了解，發(fā)現(xiàn)存在的問題，但是不能幫助我們定位問題。

這個時候我們可以從系統(tǒng)的各個組件入手，關(guān)注系統(tǒng)的CPU、內(nèi)存、IO、網(wǎng)絡(luò)，對比這些環(huán)節(jié)對整體性能的影響，確定性能問題是系統(tǒng)哪一部分造成的，然后針對性的在系統(tǒng)中逐個優(yōu)化。

3.估算容量承載能力，合理規(guī)劃系統(tǒng)資源

進行壓力測試的一個重要目的是讓現(xiàn)有的服務(wù)器資源發(fā)揮最大的價值，

經(jīng)過前期的測試和分析，這時候我們對系統(tǒng)整體的性能有了一個認識，對服務(wù)器的承載能力有了預(yù)估，

這個時候我們就可以結(jié)合業(yè)務(wù)規(guī)模配置服務(wù)器數(shù)量，CDN資源等，讓最少的資源產(chǎn)生最大的價值。

常用壓力測試工具選型

壓力測試很關(guān)鍵的一點是如何產(chǎn)生壓力，選擇哪款測試工具很重要，大的互聯(lián)網(wǎng)公司如百度／騰訊等，都有專門的測試開發(fā)團隊，開發(fā)公司內(nèi)部應(yīng)用的測試工具，以便更好的適應(yīng)公司的業(yè)務(wù)，作為SAAS服務(wù)的重要部分，幾個云服務(wù)提供商也紛紛開放了壓測及性能監(jiān)控服務(wù)。

大多數(shù)公司還是會選擇自己完成測試工作，這里關(guān)注一下常用的壓力測試工具。

1.幾款流行的壓力測試工具

（1）JMeter

Apache JMeter是Apache組織開發(fā)的基于Java的壓力測試工具，用于對軟件做壓力測試，它最初被設(shè)計用于Web應(yīng)用測試但后來擴展到其他測試領(lǐng)域。它可以用于測試靜態(tài)和動態(tài)資源例如靜態(tài)文件、Java小服務(wù)程序、CGI腳本、Java 對象、數(shù)據(jù)庫， FTP服務(wù)器, 等等。

JMeter 可以用于對服務(wù)器、網(wǎng)絡(luò)或?qū)ο竽M巨大的負載，來在不同壓力類別下測試它們的強度和分析整體性能。

另外，JMeter能夠?qū)?yīng)用程序做功能回歸測試，通過創(chuàng)建帶有斷言的腳本來驗證你的程序是否返回了期望的結(jié)果。

為了最大限度的靈活性，JMeter允許使用正則表達式創(chuàng)建斷言。

（2）LoadRunner

LoadRunner是惠普旗下一款自動負載測試工具，它能預(yù)測系統(tǒng)行為，優(yōu)化性能。LoadRunner強調(diào)的是整個企業(yè)的系統(tǒng)，它通過模擬實際用戶的操作行為和實行實時性能監(jiān)測，來幫助更快的確認和查找問題。此外，LoadRunner 能支持最寬范的協(xié)議和技術(shù)，量身定做地提供解決方案。

（3）其他測試工具

• Siege是一款開源的壓力測試工具，可以根據(jù)配置對一個WEB站點進行多用戶的并發(fā)訪問，

記錄每個用戶所有請求過程的相應(yīng)時間，并在一定數(shù)量的并發(fā)訪問下重復(fù)進行。

• TCPCopy是一種請求復(fù)制（所有基于tcp的packets）工具，可以把在線請求導(dǎo)入到測試系統(tǒng)中去。

TCPCopy的特點是可以拷貝線上真實流量，模擬用戶數(shù)據(jù)。

2.性能測試工具的橫向?qū)Ρ?/strong>

這里對比主流的 JMeter和LoadRunner，一般來說，除了自研測試工具的公司，互聯(lián)網(wǎng)公司使用JMeter作為測試工具的較多。

如何監(jiān)控系統(tǒng)資源，定位性能瓶頸

壓力測試可以暴露系統(tǒng)性能問題，如高并發(fā)下訪問緩慢，服務(wù)宕機等，但是通過壓測不能具體到哪里存在瓶頸，必須要在壓測同時配合適當(dāng)?shù)馁Y源監(jiān)控，幫助我們定位問題。

1.配置合理的資源監(jiān)控方案

（1）使用nmon監(jiān)控系統(tǒng)性能

nmon是Linux上廣泛使用的監(jiān)控與分析工具，相對于其它一些系統(tǒng)資源監(jiān)控工具來說，nmon所記錄的信息是比較全面的，它能在系統(tǒng)運行過程中實時地捕捉系統(tǒng)資源的使用情況，并且能輸出結(jié)果到文件中，然后通過nmon_analyzer工具產(chǎn)生數(shù)據(jù)文件與圖形化結(jié)果。

nmon所記錄的數(shù)據(jù)包含以下一些方面：

  ● cpu占用率

  ● 內(nèi)存使用情況

  ● 磁盤I/O速度、傳輸和讀寫比率

  ● 文件系統(tǒng)的使用率

  ● 網(wǎng)絡(luò)I/O速度、傳輸和讀寫比率、錯誤統(tǒng)計率與傳輸包的大小

  ● 消耗資源最多的進程

  ● 計算機詳細信息和資源

  ● 頁面空間和頁面I/O速度

  ● 用戶自定義的磁盤組

  ● 網(wǎng)絡(luò)文件系統(tǒng)

（2）使用rpc.rstatd監(jiān)控系統(tǒng)性能

rpc.rstatd通常配合LoadRunner一起使用，注意與系統(tǒng)服務(wù)rpc.statd進行區(qū)分。

rstatd后臺程序可以從系統(tǒng)核心中獲取系統(tǒng)性能統(tǒng)計的相關(guān)信息，將結(jié)果返回給調(diào)用程序。

進行壓力測試時，LoadRunner客戶端通過給服務(wù)器上的 rstatd 后臺程序發(fā)送請求，來收集應(yīng)用或數(shù)據(jù)庫服務(wù)器的性能數(shù)據(jù)。

（3）針對不同的服務(wù)合理配置資源監(jiān)控方案

以Java服務(wù)為例，在壓測同時可以對JVM虛擬機進行性能監(jiān)控，這方面常用的有Jvisualvm、jps、jstack等。

下面是Jvisualvm的應(yīng)用界面，可以監(jiān)控本地和遠程的JVM實例運行狀態(tài)。

針對測試報告進行針對性優(yōu)化

在壓力測試發(fā)現(xiàn)問題以后，就要進行有針對性的優(yōu)化。對于不同的系統(tǒng)，這個過程的策略并不是確定的，但是大概可以劃分為以下幾個步驟：

1.定位性能瓶頸，找出系統(tǒng)存在的問題

不同系統(tǒng)的特點不同，在性能瓶頸上也有不同的表現(xiàn)，一般來說，下面的幾個方面通常存在比較大的優(yōu)化空間：

（1）磁盤I/O及文件操作

由于磁盤I/O讀寫的速度要比內(nèi)存慢很多，程序在運行過程中，如果需要等待磁盤I/O完成，那么低效的I/O操作會拖累整個系統(tǒng)。

（2）網(wǎng)絡(luò)操作

對網(wǎng)絡(luò)數(shù)據(jù)進行讀寫的情況與磁盤I/O類似。由于網(wǎng)絡(luò)環(huán)境的不確定性，尤其是對互聯(lián)網(wǎng)上數(shù)據(jù)的讀寫，網(wǎng)絡(luò)操作的速度可能比本地磁盤I/O更慢。

（3）CPU

對計算資源要求較高的應(yīng)用，由于其長時間、不間斷地大量占用CPU資源，那么對CPU的爭奪將導(dǎo)致性能問題。如科學(xué)計算、3D渲染等對CPU需求旺盛的應(yīng)用。

（4）高并發(fā)下的上下文切換及鎖競爭等

高并發(fā)程序如果沒有做好優(yōu)化，存在大量的鎖競爭，激烈得鎖競爭將會明顯增加線程上下文切換的開銷，對性能造成極大的影響

（5）數(shù)據(jù)庫

大部分應(yīng)用程序都離不開數(shù)據(jù)庫，而海量數(shù)據(jù)的讀寫操作可能是相當(dāng)費時的。而應(yīng)用程序可能需要等待數(shù)據(jù)庫操作完成或者返回請求的結(jié)果集，那么緩慢的同步操作將成為系統(tǒng)瓶頸。

2.確定調(diào)整目標(biāo)，提出解決方案

找到系統(tǒng)的性能問題以后，需要作出對應(yīng)的解決方案。

典型的影響性能的問題，比如：

（1）系統(tǒng)對高并發(fā)的場景響應(yīng)不足，如數(shù)據(jù)庫連接池過低，服務(wù)器連接數(shù)超過上限，數(shù)據(jù)庫鎖控制考慮不足等

（2）內(nèi)存泄露，如在長時間運行下，內(nèi)存沒有正常釋放，發(fā)生宕機等

（3）數(shù)據(jù)庫優(yōu)化不足，業(yè)務(wù)日益增長，關(guān)聯(lián)表眾多，SQL不夠優(yōu)化等

定位到上述問題，接下來就是提出合理的調(diào)整目標(biāo)，

比如服務(wù)器資源有限，可以通過配置更多的機器，服務(wù)上云等進行優(yōu)化；

如果對高并發(fā)支持不好，就可以在代碼層面優(yōu)化，提高并發(fā)支持；

數(shù)據(jù)庫性能問題，如慢查詢等問題，就可以進行 SQL語句優(yōu)化等。

3.實施解決方案，進行迭代開發(fā)

上一步的分析給出了一個初步的性能優(yōu)化方案，接下來就是針對方案中提到的內(nèi)容進行針對性的改進。

這個過程可以應(yīng)用敏捷的思想進行迭代，在開發(fā)完成后，為了對比優(yōu)化結(jié)果，可以對調(diào)優(yōu)后的系統(tǒng)進行小范圍測試。

4.進行基準(zhǔn)測試并分析調(diào)優(yōu)結(jié)果

數(shù)據(jù)說明一切，性能優(yōu)化的結(jié)果不能簡單的通過 “感覺系統(tǒng)變快了”來衡量，最好是通過對比優(yōu)化前后的測試結(jié)果，用圖表的方式直觀的把優(yōu)化結(jié)果展示出來?；鶞?zhǔn)測試是指通過設(shè)計科學(xué)的測試工具和方式方法，實現(xiàn)對一類測試對象的某項性能指標(biāo)進行定量的和可對比的測試。對比測試結(jié)果，結(jié)合容量評估等工作，可以讓系統(tǒng)發(fā)揮最大的效用。

一個階段的優(yōu)化工作完成以后，最好是總結(jié)反思一下，比如本次優(yōu)化是否達到了目標(biāo)？系統(tǒng)的整體性能是否得到了改善？用戶體驗是否得到了提升？以及如何在接下來的開發(fā)工作中做的更好。

使用JMeter進行壓力測試實踐

JMeter是目前流行的測試工具，這里簡單的介紹一下相關(guān)的應(yīng)用。

1.JMeter安裝與使用

Linux下可直接下載安裝，MAC系統(tǒng)進入http://jmeter.apache.org/download_jmeter.cgi，下載apache-jmeter-3.1.tgz。

下載完畢后解壓，得到安裝包，進入到進入解壓目錄/bin/，單擊jmeter圖案，即可啟動JMeter。

2.基本組件簡介

應(yīng)用JMeter需要熟悉一些基本的概念，這是編輯測試計劃的界面：

(1)Threads 線程組

這個組件主要用來控制Jmeter并發(fā)時產(chǎn)生線程的數(shù)量，在它的下一級菜單下只有一個組件（線程組），可以這么理解每個線程就是一個虛擬的用戶。所有的其他類型組件必須是（線程組）節(jié)點的子節(jié)點。

(2)ConfigElement 配置單元

和Sample組件一起工作，主要用來配置Sample如何來發(fā)起請求訪問服務(wù)器，這個東西的主要特點是可以把一些Sample的共同配置放在一個元素里面方便管理，配置單元是有作用域的。作用域和樹的那個關(guān)系一樣越是上級節(jié)點的作用域越大，越是接近葉子節(jié)點的

作用域就越小，可以復(fù)寫上級作用域的配置。

(3)Timer 定時器

這個主要是用來調(diào)節(jié)（線程組），控制線程每次運行測試邏輯（比如說：發(fā)出請求）的時間間隔。當(dāng)然這個下面還有很多類型的定時器，他們主要功能就是調(diào)節(jié)時間間隔，但個個組件之間的策略有很大不同。

(4)Pre Processors 前置處理器 / Post Processors 后置處理器

類似一個HOOK，在測試執(zhí)行之前和執(zhí)行之后執(zhí)行一些腳本的邏輯。該組件我還沒有具體使用過，但大致功能就是這樣，非重點組件。

(5)Assert 斷言

是指對于Sample完成了請求發(fā)送之后，判斷一下返回的結(jié)果是否滿足期望。

(6)Listener 監(jiān)聽器

這個組件不同于平時在Web編程的那種監(jiān)聽器，他是伴隨著Jemeter測試的運行而從中抓取運行期間的數(shù)據(jù)的一個組件，經(jīng)常使用的是聚合報告組件，從里面可以統(tǒng)計到測試的TPS，響應(yīng)時間等關(guān)鍵測試數(shù)據(jù)。

3.進行第一個測試

（1）設(shè)置線程組參數(shù)

首先在TestPlan下面添加一個ThreadGroup組件，設(shè)置線程組組件各項參數(shù)。

線程數(shù)：最大測試時使用的線程數(shù)。

Ramp-Up Period : Jmeter達到指定最大線程數(shù)的時間。

循環(huán)次數(shù) : 如果是Forever，線程組中的線程將不間斷的連續(xù)測試系統(tǒng)，當(dāng)然也可以設(shè)置每個線程測試的次數(shù)，當(dāng)完成了規(guī)定次數(shù)后，該線程將自動退出線程組。

（2）添加Sampler信息

保存線程組后，接著在線程組下面添加Sample組件，我們添加一個HTTP Request組件，

設(shè)置屬性如下圖:

Sampler表示客戶端發(fā)送某種格式或者規(guī)范的請求到服務(wù)端，所以有各種各樣的Sampler，如FTP/JDBC等。

這里我添加了一個針對百度百科首頁的訪問請求，端口為80，使用http協(xié)議。

（3）添加聚合報告的監(jiān)聽器組件

添加一個Aggregate Report的listener的監(jiān)聽器組件。

Aggregate Report 是 JMeter 常用的一個 Listener，中文被翻譯為“聚合報告”。

（4）啟動運行

點擊RUN運行測試即可。然后可以看到本次測試的Aggregate Report。

4.Jmeter中的幾個重要測試指標(biāo)釋義

可以看到，上面的聚合報告中有很多維度的信息，簡單介紹幾個比較重要的指標(biāo)。

作者：邴越