自動(dòng)化運(yùn)維之后，你還在人工巡檢嗎？

初期階段IT基礎(chǔ)設(shè)施通常處在小規(guī)模狀態(tài)。幾臺至幾十臺機(jī)器的規(guī)模，足以滿足業(yè)務(wù)需求。很多公司都不一定配有專門的運(yùn)維人員或者部門，業(yè)務(wù)開發(fā)人員完成自己業(yè)務(wù)工作的同時(shí)，也一并完成所負(fù)責(zé)管理相關(guān)業(yè)務(wù)的設(shè)備。隨著云時(shí)代到來了，IT基礎(chǔ)設(shè)施迅速發(fā)展成幾百上千服務(wù)器。更多的業(yè)務(wù)系統(tǒng)上線，業(yè)務(wù)人員也無暇再顧及運(yùn)維工作。此時(shí)，運(yùn)維人員開始專業(yè)化，獨(dú)立成部門。各類孤島式的運(yùn)維管理工具上線，提升運(yùn)維效率。

可是在各類運(yùn)維工具上線之后，大家發(fā)現(xiàn)運(yùn)維人員仍然時(shí)常要充當(dāng)“救火隊(duì)員”，收警告、修機(jī)器，哪里宕機(jī)去哪里。雖然有了運(yùn)維管理工具自動(dòng)化收集監(jiān)控?cái)?shù)據(jù)之后，但還是有很多問題，讓底層物理資源運(yùn)維工作無法實(shí)現(xiàn)完全自動(dòng)化。

逃不開的人工巡檢

目前，多數(shù)客戶所選擇的運(yùn)維監(jiān)控方式都是在操作系統(tǒng)上安裝Agent訪問設(shè)備驅(qū)動(dòng)，讀取硬件狀態(tài) 數(shù)據(jù)。所有監(jiān)控狀態(tài)的數(shù)據(jù)抓取都受限于驅(qū)動(dòng)程序。而驅(qū)動(dòng)程序的編寫人員所關(guān)注的重點(diǎn)在于設(shè)備的正常運(yùn)行，而不在于設(shè)備的狀態(tài)監(jiān)控。因此，通過驅(qū)動(dòng)程序所抓取的硬件狀態(tài)參數(shù)始終有限。這也就能解釋，為什么很多客戶在上線了運(yùn)維監(jiān)控軟件之后，還是需要人工巡檢。我們來看幾個(gè)大家經(jīng)常遇到的問題：

事例1：某客戶數(shù)據(jù)庫系統(tǒng)上線，3塊900G 硬盤做raid5。當(dāng)出現(xiàn)一塊壞盤之后，監(jiān)控軟件看不到有壞盤，因?yàn)橄到y(tǒng)還在正常運(yùn)行。人工巡檢之后，發(fā)現(xiàn)設(shè)備上有硬盤告警燈。監(jiān)控軟件下又無法查看到系統(tǒng)是JBOD還是做了raid。巡檢中，數(shù)據(jù)庫服務(wù)器出現(xiàn)硬盤告警，監(jiān)控軟件在這種時(shí)候卻幫不上忙。如果不是人工巡檢，甚至可能都沒有發(fā)現(xiàn)這個(gè)嚴(yán)重告警。

事例2：某客戶的核心業(yè)務(wù)服務(wù)器配置雙電源，卻在一次電源故障中出現(xiàn)了服務(wù)器掉電問題。嚴(yán)重事故之后，追查責(zé)任，才發(fā)現(xiàn)原來雙電源中的備用電源一直處于離線狀態(tài)。系統(tǒng)下的agent無法監(jiān)控到冗余電源離線，因?yàn)橐恢庇幸粋€(gè)電源在線，供電沒有出現(xiàn)任何問題，因而沒有告警信息出現(xiàn)。最終客戶發(fā)現(xiàn)，監(jiān)控系統(tǒng)上線了，還是得巡檢。

事例3：某客戶想要擴(kuò)容舊系統(tǒng)上內(nèi)存容量，監(jiān)控軟件顯示內(nèi)存容量為256G。還有多少內(nèi)存槽位呢？機(jī)器上是16G*16，還是32G*8呢？監(jiān)控軟件獲取不到！很崩潰，只能去機(jī)房拆機(jī)器驗(yàn)內(nèi)存T_T

……

日常工作量大，加班是常態(tài)。還要經(jīng)常面臨設(shè)備問題而帶來了業(yè)務(wù)中斷風(fēng)險(xiǎn)。監(jiān)控系統(tǒng)上線了，一切都沒有開始好轉(zhuǎn)。

帶外解帶內(nèi)之困，遠(yuǎn)離人工巡檢

從專業(yè)的角度來看，網(wǎng)絡(luò)管理可分為帶外管理（out-of-band）和帶內(nèi)管理（in-band）兩種管理模式。上述在系統(tǒng)下，也就是客戶的生產(chǎn)環(huán)境下抓取數(shù)據(jù)，通過生產(chǎn)網(wǎng)絡(luò)讀取監(jiān)控?cái)?shù)據(jù)屬于帶內(nèi)管理。這種管理方式，最大的問題就在于當(dāng)系統(tǒng)出現(xiàn)故障時(shí)，機(jī)器就無法管理。而且如上所述，獲取的監(jiān)控?cái)?shù)據(jù)有限。而幾乎所有的it設(shè)備廠商都為客戶提供帶外管理口，也就是與生產(chǎn)系統(tǒng)相隔離的管理口。管理口下，設(shè)備廠商本身就提供了詳細(xì)的硬件參數(shù)。這些硬件參數(shù)直接來自于服務(wù)器上百多個(gè)sensor，直接從硬件層面獲取的狀態(tài)參數(shù)。數(shù)據(jù)更為細(xì)節(jié)、全面和直觀。


帶外監(jiān)控通過sensor監(jiān)視服務(wù)器狀態(tài)，就像在設(shè)備上安裝了上百個(gè)攝像頭一樣，時(shí)刻巡視設(shè)備運(yùn)行狀態(tài)。冗余電源離線、機(jī)器上任一條內(nèi)存容量、內(nèi)存頻率、內(nèi)存槽位信息、HBA卡槽位信息等等，這些帶內(nèi)軟件無法捕捉的信息，都可以通過帶外監(jiān)控獲取。這就等同于人工巡視，拆機(jī)驗(yàn)選件。并且，輪訓(xùn)所有機(jī)器的時(shí)間周期要遠(yuǎn)遠(yuǎn)大于人工巡視的時(shí)間周期。帶外監(jiān)控的輪訓(xùn)周期可以達(dá)到秒級，而人工巡檢的工作量大，以日為周期已經(jīng)是相當(dāng)大的巡檢密度了。通過帶內(nèi)監(jiān)控來彌補(bǔ)帶外監(jiān)控的部分空缺，可以極大的提升運(yùn)維效率，真正意義上實(shí)現(xiàn)無需人工巡檢。

揚(yáng)帶外之長，建數(shù)據(jù)中心操作系統(tǒng)

帶外管理最大的好處就在于與生產(chǎn)系統(tǒng)相隔離，直接實(shí)現(xiàn)與機(jī)器對話。這樣效率更高，同時(shí)可以有效減少對生產(chǎn)系統(tǒng)的影響?，F(xiàn)在的數(shù)據(jù)中心，通常對所有設(shè)備都已經(jīng)建立了比較完善的帶外管理網(wǎng)絡(luò)。這一日益完善的架構(gòu)，不僅僅可以用來做帶外管理，還可以利用其優(yōu)勢構(gòu)建一個(gè)完整的底層DCOS（Data Center Operating System）。揚(yáng)帶外之長，實(shí)施建造一套完整的底層運(yùn)維架構(gòu)。

什么是DCOS？

DCOS是為數(shù)據(jù)中心所有設(shè)備全生命周期服務(wù)的一套管理平臺。簡單的說，是為數(shù)據(jù)中心的設(shè)備進(jìn)行全生命周期的管理，從采購到安裝使用，再到維修、報(bào)廢的整個(gè)過程服務(wù)。


通過DCOS的全生命周期自動(dòng)化平臺管理，實(shí)現(xiàn)部署、監(jiān)控、分析、管理全自動(dòng)，數(shù)據(jù)中心的無人值守。盡可能的保證服務(wù)過程的標(biāo)準(zhǔn)化，減少其中的人為管理。