負載均衡在服務端開(kāi)發中算(suàn)是(shì)一(yī)個"→♣(gè)比較重要(yào)的(de)特性。因為(wèiλ€₽©)Nginx除了(le)作(zuò)為(÷↑wèi)常規的(de)Web服務器(qì)外(wài)，還(hái ‌Ω)會(huì)被大(dà)規模的(de)用(yòng)于反向 £代理(lǐ)前端，因為(wèi)Nginφ₽♥x的(de)異步框架可(kě)以處理(lǐ)很π (hěn)大(dà)的(de)并發請(qǐng)求，把這(zhè)些(xiε€♠→ē)并發請(qǐng)求hold住之後就(jiù)可 σ€(kě)以分(fēn)發給後台服務端(backend serv​←Ω∞ers，也(yě)叫做(zuò)服務池， 後面簡稱backend)來(l♦γ←ái)做(zuò)複雜(zá)的(de)計(jì)算(suàα←n)、處理(lǐ)和(hé)響應，這(zhè)種模式的(de€π¶)好(hǎo)處是(shì)相(xiàng)當多(σ¥duō)的(de)：隐藏業(yè)務主機(jī)更安全，節約了(l¥≥→♥e)公網IP地(dì)址，并且在業(yè)務量增加的₽✔(de)時(shí)候可(kě)以方便地(dì)擴容後台服務器(qì)¶ ∑。

 

 

負載均衡可(kě)以分(fēn)為(wèi)硬件(jiàn)負載均衡和(‍‍×hé)軟件(jiàn)負載均衡，前者一(yī)般是(shì)專用'ε•(yòng)的(de)軟件(jiàn)和(hé)硬件(>‍✔jiàn)相(xiàng)結合的(de)設備，設備商會(huì)提供完整成♦ ‍☆熟的(de)解決方案，通(tōng)常也‍™×(yě)會(huì)更加昂貴。軟件(jiàn)的(de)複雜(zá)均衡以N₹‌ginx占據絕大(dà)多(duō)數(shù)，本文(wén)也(yπβ≠ě)是(shì)基于其手冊做(zuò)相(xiàng£±)應的(de)學習(xí)研究的(de)。

 

 

一(yī)、基本簡介

負載均衡涉及到(dào)以下(xià)的(deγσ≈÷)基礎知(zhī)識。
　　

(1) 負載均衡算(suàn)法

　　a. Round Robin: 對(duì)所有(yǒu)'↔的(de)backend輪訓發送請(qǐng)求，算(suàn)是(s♦¶hì)最簡單的(de)方式了(le)，也(yě)是(shì)默認的(de)分('α÷₽fēn)配方式；

　　b. Least Connections(least_conn): 跟λ≤蹤和(hé)backend當前的(de)活躍連接數(shù)目，最少(s∑≈©hǎo)的(de)連接數(shù)目說(shuō)明( ¥₹→míng)這(zhè)個(gè)backend負載最輕，®&•¶将請(qǐng)求分(fēn)配給他(tā)，這(zhè)種方式會(α​huì)考慮到(dào)配置中給每個(gè±♦)upstream分(fēn)配的(de)wβδ☆✘eight權重信息；

　　c. Least Time(least_time): 請(qǐn±α<βg)求會(huì)分(fēn)配給響應最快(kuài)和(hé)活躍連接數(s♣Ωhù)最少(shǎo)的(de)backend；

　　d. IP Hash(ip_hash): 對(duì)請(qǐng‌‌∏)求來(lái)源IP地(dì)址計(jì)算(suàn)Ω™hash值，IPv4會(huì)考慮前3個(gè) γoctet，IPv6會(huì)考慮所有(yǒu)的(≈♥de)地(dì)址位，然後根據得(de)到(dào)的(de)÷±hash值通(tōng)過某種映射分(fēn)配到(dàoαφ)backend；

　　e. Generic Hash(hash): 以×δ用(yòng)戶自(zì)定義資源(比如(rú)URL)的(de)方式₩±₽'計(jì)算(suàn)hash值完成分(fēn)配，其可(kě) ​≥'選consistent關鍵字支持一(yī)緻性hash特性；

 

(2) 會(huì)話(huà)一(yī)緻性
　　

用(yòng)戶(浏覽器(qì))在和(hé)服務端交互的(de)時€★ &(shí)候，通(tōng)常會(huì)在本地(dì)保存一(yī₩ ‌ )些(xiē)信息，而整個(gè)過程叫做(zuò)一(yī)個★§'(gè)會(huì)話(huà)(Session)并用(≈¥Ωyòng)唯一(yī)的(de)Session ID>σ¶$進行(xíng)标識。會(huì)話(huà)的(de)概念不(bù)僅¥β✘'用(yòng)于購(gòu)物(wù)車(c♦​ δhē)這(zhè)種常見(jiàn)情況，& ™φ因為(wèi)HTTP協議(yì)是(sh€®÷ì)無狀态的(de)，所以任何需要(yào)邏輯上(shàng)下γ‍Ω(xià)文(wén)的(de)情形都(dōu)必須使Ω₹Ω用(yòng)會(huì)話(huà)機(jī)制(zh÷✔∑¥ì)，此外(wài)HTTP客戶端也(yě)會(huì)額外☆¶(wài)緩存一(yī)些(xiē)數(shù)據在本地(dì)，這(z→×hè)樣就(jiù)可(kě)以減少(shǎo)請(qǐ©φ γng)求提高(gāo)性能(néng)了(le)。如(rú)果負載均衡γ÷↔$可(kě)能(néng)将這(zhè)個(gè‍←→₽)會(huì)話(huà)的(de)請(qǐng)求分(fēn)配到(dà↑★≥¥o)不(bù)同的(de)後台服務端上(shàng)，這(zh∑>₽è)肯定是(shì)不(bù)合适的(de)，必須通(tōng)過多(duō)≤λ‌個(gè)backend共享這(zhè)些(xiē)數(shù)據，效率‍≥肯定會(huì)很(hěn)低(dī)下(xià)，最簡單的(d"×​e)情況是(shì)保證會(huì)話(​ huà)一(yī)緻性——相(xiàng)同$≥的(de)會(huì)話(huà)每次請(qǐng)求都βπ(dōu)會(huì)被分(fēn)配到(dào)同一(yīδ‍)個(gè)backend上(shàng)去(qù)。
　　

 

(3) 後台服務端的(de)動态配置
　　

出問(wèn)題的(de)backend要(yào)能(nénπ¶≤✔g)被及時(shí)探測并剔除出分(fēn)配群，而當業(yè)務增長(chá$©ng)的(de)時(shí)候可(kě)以靈活的(de)添加backeσ•nd數(shù)目。此外(wài)當前風(fēng)靡的(de)§‌‍Elastic Compute雲計(jì)算(suàn)服務，服務商也(y©₽  ě)應當根據當前負載自(zì)動添加和(h‌α≤é)減少(shǎo)backend主機(jī)。

　　

(4) 基于DNS的(de)負載均衡
　　

通(tōng)常現(xiàn)代的(de)網絡服務者一(y✘≠ī)個(gè)域名會(huì)關連到(dào)γ€多(duō)個(gè)主機(jī)，在進行(xíng)DNS查詢的(♦×↑©de)時(shí)候，默認情況下(xià)DNS服務器(qì)會(huì)✘ε→以round-robin形式以不(bù)同的(de)順序返回IP地(dì)址列$ε÷表，因此天然将客戶請(qǐng)求分(fēn)配到(d♠×₩ào)不(bù)同的(de)主機(jī)上(shàng)去(qù)πφ✘。不(bù)過這(zhè)種方式含有(yǒu)固有(yǒu)的(de‌¶€)缺陷：DNS不(bù)會(huì)檢查主♣® 機(jī)和(hé)IP地(dì)址的(d→™•Ωe)可(kě)訪問(wèn)性，所以分(fēn)配給客戶★​׶端的(de)IP不(bù)确保是(shì)可(kě)用(yò®↑®ng)的(de)(Google 404)；DNS的'  ←(de)解析結果會(huì)在客戶端、多(duō)個(gè)中間(j₹€βiān)DNS服務器(qì)不(bù)斷的(de)緩存，×≠ 所以backend的(de)分(fēn)配不(bù)會(huì₩♣σ)那(nà)麽的(de)理(lǐ)想。

 

 

二、Nginx中的(de)負載均衡

　　

Nginx中的(de)負載均衡配置在手冊中描述的(de)極為(wèi)細緻±∑♥，此處就(jiù)不(bù)流水(shuǐ)帳了(le)。對(duì)于常↕♦用(yòng)的(de)HTTP負載均衡，主要(y<♥ào)先定義一(yī)個(gè)upstream作(zuò)為(wèi)b✔δπackend group，然後通(tōng)過proxy_p≠₩σ♣ass/fastcgi_pass等方式進行(xíng)轉發操作(zuò)，其'β↕‍中fastcgi_pass幾乎算(suàφ→$n)是(shì)Nginx+PHP站(zλ₽hàn)點的(de)标配了(le)。

 

 

2.1 會(huì)話(huà)一(yī)緻性

　　

Nginx中的(de)會(huì)話(huà) ∏÷一(yī)緻性是(shì)通(tōng)"÷過sticky開(kāi)啓的(de)，™≈ε會(huì)話(huà)一(yī)緻性和(hé)之前的(d♥ε€e)負載均衡算(suàn)法之間(jiā​↑ £n)并不(bù)沖突，隻是(shì)需要(yào)在第一(yī∞♣)次分(fēn)配之後，該會(huì)話(huà)的(&γde)所有(yǒu)請(qǐng)求都(dōu)分(fēn)配到(dào)≈δ₩那(nà)個(gè)相(xiàng)同的(de)backend上← ≥₹(shàng)面。目前支持三種模式的(de)會(hσ​σuì)話(huà)一(yī)緻性：
　　

(1). Cookie Insertion
　　

在backend第一(yī)次response之後，會(huì)在其γπ★頭部添加一(yī)個(gè)session cookie，即由負載均衡器 ✔(qì)向客戶端植入 cookie，之後客戶端接下(xià)來(lá®'♥i)的(de)請(qǐng)求都(dōu)會(huì)帶有(→™♥yǒu)這(zhè)個(gè)cookie值，Nginx可(kě)以根據這¶↓₽(zhè)個(gè)cookie判斷需要(yào)轉發給哪 ★✘ε個(gè)backend了(le)。

 

sticky cookie srv_id expires=1h dom€↔♦"ain=.example.com path=/;

　　

上(shàng)面的(de)srv_id代表了(le)cookie¶γ♥'的(de)名字，而後面的(de)參數(shù₽γ')expires、domain、path都(dφ‍ōu)是(shì)可(kě)選的(de)。
　　

(2). Sticky Routes
　　

也(yě)是(shì)在backend第一(yī)次respons$ e之後，會(huì)産生(shēng)一(yī)個(gè)ro¥®ute信息，route信息通(tōng)常會(huì)從(cón€©↓✔g)cookie/URI信息中提取。

sticky route $route_cookie $rou‌§±te_uri;

　　

這(zhè)樣Nginx會(huì)按照(zhào)順序搜索rou₩​φtecookie、route_uri參數(sh∑☆✘≈ù)并選擇第一(yī)個(gè)非空(kōn♥↔δ≥g)的(de)參數(shù)用(yòng)作π↑€(zuò)route，而如(rú)果所有(yǒu)£δΩ↓的(de)參數(shù)都(dōu)是(shì)空(kōng)的∞§₽§(de)，就(jiù)使用(yòng)上☆♠β☆(shàng)面默認的(de)負載均衡算(suàn)法決定請β★σ(qǐng)求分(fēn)發給哪個(gè)backend。
　　

(3). Learn
　　

較為(wèi)的(de)複雜(zá)也(yě)較為(wèi)的(de✔•≠→)智能(néng)，Nginx會(huì)自(zì)動監測reques'→✘t和(hé)response中的(de)s§♠ession信息，而且通(tōng)常需要(y¥β→ào)回話(huà)一(yī)緻性的(de)請(qǐng)求、應答(dá)中φ←₩β都(dōu)會(huì)帶有(yǒu)sessio→£n信息，這(zhè)和(hé)第一(yī)種方式相(xiàng)比是(shì)✘♠★不(bù)用(yòng)增加cookie，而是(shì)動态學習(xí)£↓π₹已有(yǒu)的(de)session。
　　

這(zhè)種方式需要(yào)使用(yòng)到(dào)zone結構，在>↑Nginx中zone都(dōu)是(shì)共享內(nèi)存←≥∏，可(kě)以在多(duō)個(gè)worker pro ♥cess中共享數(shù)據用(yòng)‍λε¥的(de)。(不(bù)過其他(tā)的(de)會(huì)話(hβ↓≠ uà)一(yī)緻性怎麽沒用(yòng)到(dào)共©$享內(nèi)存區(qū)域呢(ne)？)

 

sticky learn 

   create=$upsε≤tream_cookie_examplecookie

   lookup=$cookie_example✔≈cookie

   zone=client_sessions:1§↑♥m

   timeout=1h;

 

2.2 Session Draining

 

主要(yào)是(shì)有(yǒu)需要(yào)關閉某♣ ↓∑些(xiē)backend以便維護或者升級，這(zhè)¶≈些(xiē)關鍵性的(de)服務都(dōu)講求λ¥&gracefully處理(lǐ)的(de)：就(jiù)是(shì)×β新的(de)請(qǐng)求不(bù)會≠¶↑(huì)發送到(dào)這(zhè)個(gè)backend上(shàng¥∞)面，而之前分(fēn)配到(dào)這(zhè)個( α₹gè)backend的(de)會(huì)話(huà)的(de)後續請≤‌∏(qǐng)求還(hái)會(huì)繼續發送給他(tā)，直到(dào)€★α&這(zhè)個(gè)會(huì)話(huà)最終完成。

　　

讓某個(gè)backend進入draininπ↑​∞g的(de)狀态，既可(kě)以直接修改配置文(wén)∑​♥∞件(jiàn)，然後按照(zhào)之前的(de)方≠ 式通(tōng)過向master process發送信号重新加載配置，也(ε​≤ yě)可(kě)以采用(yòng)Nginx的(de)on-the-fly配置≠₽α∏方式。

 

$ curl http://localhost/upstream_c¶λε÷onf?upstream=backend

$ curl http://localhost/upstream_conf?σφupstream=backend\&id=1\&drai≥≈♥♥n=1

 

通(tōng)過上(shàng)面的(de)方式，先列出各個(gè)b©♠γacnkend的(de)ID号，然後drain指定Iα☆§ΩD的(de)backend。通(tōng)過在線觀測backend的(de™✔∞ )所有(yǒu)session都(dōu)完成後，該b≠&↔ackend就(jiù)可(kě)以下(xià)線了(le)。

 

2.3 backend健康監測

 

backend出錯(cuò)會(huì)涉及到(dào)兩個(gè÷₹≤)參數(shù)，max_fails=1 fail_tim ♥ eout=10s;意味著(zhe)隻要(yào)Nginx向ba₽±φδckend發送一(yī)個(gè)請(qǐng)求失敗或者沒有(‍♥&αyǒu)收到(dào)一(yī)個(gè)響應，就(jiù)認為(wèi)該‌∑₽φbackend在接下(xià)來(lái)的(de)1≈₹0s是(shì)不(bù)可(kě)用(yòng)的(de)狀态。

　　

通(tōng)過周期性地(dì)向backend發送≤ ≥特殊的(de)請(qǐng)求，并期盼收到(dào)特殊的(de≠↑¶)響應，可(kě)以用(yòng)以确認backend是(shì£♥®↓)健康可(kě)用(yòng)的(de)狀态。通•₽(tōng)過health_check可(kě)以做(zuò)出這(zhè)個♥÷≠(gè)配置。

 

match server_ok {

    status 200-399;

    header Content-Type = δ φ©text/html;

    body !~ &quo'™✔t;maintenance mode";

}

server {

    location / {☆←

       ™>; proxy_pass http://backen<★↕"d;

        h£♠σ‍ealth_check interval=10 fails=3 passe≤✔€s=2 match=server_ok;

    }

}

 

上(shàng)面的(de)health_check是(sh<±§ì)必須的(de)，後面的(de)參數(shù)都(dō¥αu)是(shì)可(kě)選的(de)。尤其是(shφ×‍σì)後面的(de)match參數(shù)，可​δ(kě)以自(zì)定義服務器(qì)健康的(de)條件(jià≈∞∑n)，包括返回狀态碼、頭部信息、返回body等，這₽₩β(zhè)些(xiē)條件(jiàn)是(shì)&&與關系。₩"​₽默認情況下(xià)Nginx會(huì)相(xiàng)隔i​★£‌nterval的(de)間(jiān)隔向backe←™±nd group發送一(yī)個(gè)”/α↕ “的(de)請(qǐng)求，£←>☆如(rú)果超時(shí)或者返回非2xx/3xx的(de↔♥)響應碼，則認為(wèi)對(duì)應的(de)backend是(sβ≠‌hì)unhealthy的(de)，那(nà)麽Nginx會(huì)✔​停止向其發送request直到(dào)下(xià)¥₹€©次改backend再次通(tōng)過檢查。

　　

在使用(yòng)了(le)health_check功能(néng)的(deφ>>)時(shí)候，一(yī)般都(dōu)需要(yào)在backδεend group開(kāi)辟一(yī)個(gè)zo↓₹↑₽ne，在共享backend group配置₹≥的(de)同時(shí)，所有(yǒu)backend的(de)狀态™φ↓ 就(jiù)可(kě)以在所有(yǒu)的(de)worke₹₩γr process所共享了(le)，否則每個(gè)worke≤ r process獨立保存自(zì)己的(de)狀态檢查計(jì)數(shù)€→和(hé)結果，兩種情況會(huì)有(yǒu)很(hěn)大(dà)的(d←♣e)差異哦。

 

2.4 通(tōng)過DNS設置HTTP≈→✘負載均衡

 

Nginx的(de)backend gr₹★σ←oup中的(de)主機(jī)可(kě)以配置∞ ↑£成域名的(de)形式，如(rú)果在域名↔§•↔的(de)後面添加resolve參數(shù)，那(n→×÷®à)麽Nginx會(huì)周期性的(de)解析這(zhè)個(gè)域名，當♥∑α域名解析的(de)結果發生(shēng)≈↓↑∏變化(huà)的(de)時(shí)候會(huì‍¶)自(zì)動生(shēng)效而不(bù)用(yòngπ₹)重啓。

 

http {

    resolver 10.0.0.1 v₽₩alid=300s ipv6=off;

    resolver_timeout 10s;

    server {

        location / ∑€​{

        ←®≥    proxy_pass httα₹p://backend;

        ★≈♣→}

    }

   

    upstreamα☆§ backend {

        zone b♦↕§<ackend 32k;

        least_conδπ∞n;

        ...

        ★$π♥server backend1.example.com ×∞£resolve;

        se™∞αβrver backend2.example.com resφ≤¶&olve;

    }

}

 

如(rú)果域名解析的(de)結果含有(yǒu)多(duō)¶'® 個(gè)IP地(dì)址，這(zhè)些(xi≠₩ē)IP地(dì)址都(dōu)會(huì)★‌保存到(dào)配置文(wén)件(jiàn)中去(qù€÷≤)，并且這(zhè)些(xiē)IP都(dōu)π>©'參與到(dào)自(zì)動負載均衡。

 

2.5 TCP/UDP流量的(de)負載均衡

 

通(tōng)常，HTTP和(hé)HTTPS的(de)負載均衡叫做(zu∏±ò)七層負載均衡，而TCP和(hé)UDP協議(yα₩‍∑ì)的(de)負載均衡叫做(zuò)四層負載均衡。λ"‌因為(wèi)七層負載均衡通(tōng)常都(dōu)是(shì✘≥)HTTP和(hé)HTTPS協議(yì)↕ε↕$，所以這(zhè)種負載均衡相(xiàng)當于是(sα"♦ hì)四層負載均衡的(de)特例化(huà)，↔∏均衡器(qì)可(kě)以根據HTTP/HTTPS協γ→×議(yì)的(de)頭部(User-Agent、Language等)>✘、響應碼甚至是(shì)響應內(nèi)容做(z♣γγ≠uò)額外(wài)的(de)規則，達到(dào)特定條件(jiàn)≠π♣ 特定目的(de)的(de)backend轉發的(d™☆™♦e)需求。

 

除了(le)Nginx所專長(cháng)的(de)H®™TTP負載均衡，Nginx還(hái)支持TCP和(hé)'∞​©UDP流量的(de)負載均衡，适用(yòng)于LDA↑✘÷P/MySQL/RTMP和(hé)DNS/syslog/RA♦♥∑DIUS各種應用(yòng)場(chǎng)景α≥。這(zhè)類情況的(de)負載均衡使用(yòng)stream來>→←(lái)配置，Nginx編譯的(de)時(shí)候需要(yàoγβ)支持–with-stream選項。查看(kàn)手冊，™↓φ其配置原理(lǐ)和(hé)參數(shù)和(hé₩ γ₩)HTTP負載均衡差不(bù)多(duō)。

　　

因為(wèi)TCP、UDP的(de)負載均衡都(₽±∏dōu)是(shì)針對(duì)通(tōng)用(yòng<δ)程序的(de)，所以之前HTTP協議(yì₩∏)支持的(de)match條件(jiàn)(status♠÷、header、body)是(shì)沒法使用(yòng)的(de)。TCPε↑♠和(hé)UDP的(de)程序可(kě)以根據特定的(de)程序，采用(y€✔∑òng)send、expect的(de)方式來(lái)進行(xín¶♣g)動态健康檢測。

 

match http {

    send   &n→•<¶bsp;  "GET / ♣↓₽βHTTP/1.0\r\nHost: loc¶σ♠alhost\r\n\r\n";

    expect ~*π¥↕ "200 OK";

}

 

2.6 其他(tā)特性

 

slow_start=30s：防止新添加/恢複的(de)主機(jī)被突§↑®然增加的(de)請(qǐng)求所壓垮，通(tōng)過這‌$‌☆(zhè)個(gè)參數(shù)可(kě)以讓該主機(☆♥ jī)的(de)weight從(cóng)0開(kāi)始慢(màn)慢(mπ§∞àn)增加到(dào)設定值，讓其負載有(yǒu)一(↔€yī)個(gè)緩慢(màn)增加的(de)過程。

　　

max_conns=30：可(kě)以設置back®∞end的(de)最大(dà)連接數(shù δ)目，當超過這(zhè)個(gè)數(shù)目的(de)時(shí)候會≈ε←(huì)被放(fàng)到(dào)queue隊列中，同時(✔≈↓shí)隊列的(de)大(dà)小(xiǎo)和(hé<✔₹×)超時(shí)參數(shù)也(yě)可(★φΩkě)以設置，當隊列中的(de)請(qǐng)求數(sh≠‌±ù)大(dà)于設定值，或者超過了(le)tim•ε →eout但(dàn)是(shì)backend還>←γ¶(hái)不(bù)能(néng)處理(α↕lǐ)請(qǐng)求，則客戶端将會(huì)收到(dào)一(yī)個($∏↓gè)錯(cuò)誤返回。通(tōng)常來(lái)說↔₽←₽(shuō)這(zhè)還(hái)是(shì)一(y×<<≠ī)個(gè)比較重要(yào)的(de)參數≤↕γ(shù)，因為(wèi)Nginx作(zuò)為(wè≥¶σεi)反向代理(lǐ)的(de)時(shí)候，通(tōng)常就(j÷↔™•iù)是(shì)用(yòng)于抗住并發量的(de)，如(r•αεεú)果給backend過多(duō)的(de)并£→ 發請(qǐng)求，很(hěn)可(kě)能(néng)會(huì)占用∏∏α↕(yòng)後端過多(duō)的(de)資源(比如(rú)線程、進程非事•♦™§(shì)件(jiàn)驅動)，最終反而會(huì)影(yǐn≠←g)響backend的(de)處理(lǐ)能(néng)力。