自動(dòng)化運(yùn)維之后，你還在人工巡檢嗎？

2009-05-08 網(wǎng)站維護(hù)

自動(dòng)化運(yùn)維監(jiān)控工具誕生

初期階段IT基礎(chǔ)設(shè)施通常處在小規(guī)模狀態(tài)。幾臺(tái)至幾十臺(tái)機(jī)器的規(guī)模，足以滿(mǎn)足業(yè)務(wù)需求。很多公司都不一定配有專(zhuān)門(mén)的運(yùn)維人員或者部門(mén)，業(yè)務(wù)開(kāi)發(fā)人員完成自己業(yè)務(wù)工作的同時(shí)，也一并完成所負(fù)責(zé)管理相關(guān)業(yè)務(wù)的設(shè)備。隨著云時(shí)代到來(lái)了，IT基礎(chǔ)設(shè)施迅速發(fā)展成幾百上千服務(wù)器。更多的業(yè)務(wù)系統(tǒng)上線，業(yè)務(wù)人員也無(wú)暇再顧及運(yùn)維工作。此時(shí)，運(yùn)維人員開(kāi)始專(zhuān)業(yè)化，獨(dú)立成部門(mén)。各類(lèi)孤島式的運(yùn)維管理工具上線，提升運(yùn)維效率。

可是在各類(lèi)運(yùn)維工具上線之后，大家發(fā)現(xiàn)運(yùn)維人員仍然時(shí)常要充當(dāng)“救火隊(duì)員”，收警告、修機(jī)器，哪里宕機(jī)去哪里。雖然有了運(yùn)維管理工具自動(dòng)化收集監(jiān)控?cái)?shù)據(jù)之后，但還是有很多問(wèn)題，讓底層物理資源運(yùn)維工作無(wú)法實(shí)現(xiàn)完全自動(dòng)化。

逃不開(kāi)的人工巡檢

目前，多數(shù)客戶(hù)所選擇的運(yùn)維監(jiān)控方式都是在操作系統(tǒng)上安裝Agent訪問(wèn)設(shè)備驅(qū)動(dòng)，讀取硬件狀態(tài)數(shù)據(jù)。所有監(jiān)控狀態(tài)的數(shù)據(jù)抓取都受限于驅(qū)動(dòng)程序。而驅(qū)動(dòng)程序的編寫(xiě)人員所關(guān)注的重點(diǎn)在于設(shè)備的正常運(yùn)行，而不在于設(shè)備的狀態(tài)監(jiān)控。因此，通過(guò)驅(qū)動(dòng)程序所抓取的硬件狀態(tài)參數(shù)始終有限。這也就能解釋?zhuān)瑸槭裁春芏嗫蛻?hù)在上線了運(yùn)維監(jiān)控軟件之后，還是需要人工巡檢。我們來(lái)看幾個(gè)大家經(jīng)常遇到的問(wèn)題：

事例1：某客戶(hù)數(shù)據(jù)庫(kù)系統(tǒng)上線，3塊900G 硬盤(pán)做raid5。當(dāng)出現(xiàn)一塊壞盤(pán)之后，監(jiān)控軟件看不到有壞盤(pán)，因?yàn)橄到y(tǒng)還在正常運(yùn)行。人工巡檢之后，發(fā)現(xiàn)設(shè)備上有硬盤(pán)告警燈。監(jiān)控軟件下又無(wú)法查看到系統(tǒng)是JBOD還是做了raid。巡檢中，數(shù)據(jù)庫(kù)服務(wù)器出現(xiàn)硬盤(pán)告警，監(jiān)控軟件在這種時(shí)候卻幫不上忙。如果不是人工巡檢，甚至可能都沒(méi)有發(fā)現(xiàn)這個(gè)嚴(yán)重告警。

事例2：某客戶(hù)的核心業(yè)務(wù)服務(wù)器配置雙電源，卻在一次電源故障中出現(xiàn)了服務(wù)器掉電問(wèn)題。嚴(yán)重事故之后，追查責(zé)任，才發(fā)現(xiàn)原來(lái)雙電源中的備用電源一直處于離線狀態(tài)。系統(tǒng)下的agent無(wú)法監(jiān)控到冗余電源離線，因?yàn)橐恢庇幸粋€(gè)電源在線，供電沒(méi)有出現(xiàn)任何問(wèn)題，因而沒(méi)有告警信息出現(xiàn)。最終客戶(hù)發(fā)現(xiàn)，監(jiān)控系統(tǒng)上線了，還是得巡檢。

事例3：某客戶(hù)想要擴(kuò)容舊系統(tǒng)上內(nèi)存容量，監(jiān)控軟件顯示內(nèi)存容量為256G。還有多少內(nèi)存槽位呢？機(jī)器上是16G*16，還是32G*8呢？監(jiān)控軟件獲取不到！很崩潰，只能去機(jī)房拆機(jī)器驗(yàn)內(nèi)存T_T

……

日常工作量大，加班是常態(tài)。還要經(jīng)常面臨設(shè)備問(wèn)題而帶來(lái)了業(yè)務(wù)中斷風(fēng)險(xiǎn)。監(jiān)控系統(tǒng)上線了，一切都沒(méi)有開(kāi)始好轉(zhuǎn)。

帶外解帶內(nèi)之困，遠(yuǎn)離人工巡檢

從專(zhuān)業(yè)的角度來(lái)看，網(wǎng)絡(luò)管理可分為帶外管理（out-of-band）和帶內(nèi)管理（in-band）兩種管理模式。上述在系統(tǒng)下，也就是客戶(hù)的生產(chǎn)環(huán)境下抓取數(shù)據(jù)，通過(guò)生產(chǎn)網(wǎng)絡(luò)讀取監(jiān)控?cái)?shù)據(jù)屬于帶內(nèi)管理。這種管理方式，最大的問(wèn)題就在于當(dāng)系統(tǒng)出現(xiàn)故障時(shí)，機(jī)器就無(wú)法管理。而且如上所述，獲取的監(jiān)控?cái)?shù)據(jù)有限。而幾乎所有的it設(shè)備廠商都為客戶(hù)提供帶外管理口，也就是與生產(chǎn)系統(tǒng)相隔離的管理口。管理口下，設(shè)備廠商本身就提供了詳細(xì)的硬件參數(shù)。這些硬件參數(shù)直接來(lái)自于服務(wù)器上百多個(gè)sensor，直接從硬件層面獲取的狀態(tài)參數(shù)。數(shù)據(jù)更為細(xì)節(jié)、全面和直觀。

帶外監(jiān)控通過(guò)sensor監(jiān)視服務(wù)器狀態(tài)，就像在設(shè)備上安裝了上百個(gè)攝像頭一樣，時(shí)刻巡視設(shè)備運(yùn)行狀態(tài)。冗余電源離線、機(jī)器上任一條內(nèi)存容量、內(nèi)存頻率、內(nèi)存槽位信息、HBA卡槽位信息等等，這些帶內(nèi)軟件無(wú)法捕捉的信息，都可以通過(guò)帶外監(jiān)控獲取。這就等同于人工巡視，拆機(jī)驗(yàn)選件。并且，輪訓(xùn)所有機(jī)器的時(shí)間周期要遠(yuǎn)遠(yuǎn)大于人工巡視的時(shí)間周期。帶外監(jiān)控的輪訓(xùn)周期可以達(dá)到秒級(jí)，而人工巡檢的工作量大，以日為周期已經(jīng)是相當(dāng)大的巡檢密度了。通過(guò)帶內(nèi)監(jiān)控來(lái)彌補(bǔ)帶外監(jiān)控的部分空缺，可以極大的提升運(yùn)維效率，真正意義上實(shí)現(xiàn)無(wú)需人工巡檢。

揚(yáng)帶外之長(zhǎng)，建數(shù)據(jù)中心操作系統(tǒng)

帶外管理最大的好處就在于與生產(chǎn)系統(tǒng)相隔離，直接實(shí)現(xiàn)與機(jī)器對(duì)話。這樣效率更高，同時(shí)可以有效減少對(duì)生產(chǎn)系統(tǒng)的影響?，F(xiàn)在的數(shù)據(jù)中心，通常對(duì)所有設(shè)備都已經(jīng)建立了比較完善的帶外管理網(wǎng)絡(luò)。這一日益完善的架構(gòu)，不僅僅可以用來(lái)做帶外管理，還可以利用其優(yōu)勢(shì)構(gòu)建一個(gè)完整的底層DCOS（Data Center Operating System）。揚(yáng)帶外之長(zhǎng)，實(shí)施建造一套完整的底層運(yùn)維架構(gòu)。

什么是DCOS？

DCOS是為數(shù)據(jù)中心所有設(shè)備全生命周期服務(wù)的一套管理平臺(tái)。簡(jiǎn)單的說(shuō)，是為數(shù)據(jù)中心的設(shè)備進(jìn)行全生命周期的管理，從采購(gòu)到安裝使用，再到維修、報(bào)廢的整個(gè)過(guò)程服務(wù)。

通過(guò)DCOS的全生命周期自動(dòng)化平臺(tái)管理，實(shí)現(xiàn)部署、監(jiān)控、分析、管理全自動(dòng)，數(shù)據(jù)中心的無(wú)人值守。盡可能的保證服務(wù)過(guò)程的標(biāo)準(zhǔn)化，減少其中的人為管理。

我們梳理一下DCOS需要完成哪些部分的自動(dòng)化運(yùn)維工作。

1．部署

當(dāng)設(shè)備進(jìn)入數(shù)據(jù)中心，首先通過(guò)DCOS進(jìn)行業(yè)務(wù)流程審批，包含上架申請(qǐng)等過(guò)程。然后，DCOS對(duì)資產(chǎn)進(jìn)行自動(dòng)化的驗(yàn)收，主要檢驗(yàn)配置是否符合規(guī)范，對(duì)各個(gè)選件（CPU/內(nèi)存/硬盤(pán)等）做自動(dòng)化的壓力測(cè)試?？梢詫?shí)現(xiàn)選件級(jí)別的資產(chǎn)驗(yàn)證，所有信息都為自動(dòng)更新采集。如內(nèi)存信息，可以自動(dòng)收集所有內(nèi)存的插槽信息、容量、頻率等。

設(shè)備驗(yàn)收可以實(shí)現(xiàn)選件級(jí)設(shè)備驗(yàn)收：如內(nèi)存，可以驗(yàn)收內(nèi)存總?cè)萘?，同時(shí)可以驗(yàn)證型號(hào)、容量和數(shù)量信息。當(dāng)設(shè)備通過(guò)驗(yàn)收之后，可以通過(guò)帶外網(wǎng)絡(luò)自動(dòng)化發(fā)現(xiàn)設(shè)備，可以自動(dòng)化獲取設(shè)備上帶有的資產(chǎn)信息，并將設(shè)備自動(dòng)化列入資產(chǎn)管理。

然后從模板庫(kù)當(dāng)中，選擇對(duì)應(yīng)的自動(dòng)化安裝模板進(jìn)行全自動(dòng)化的安裝，包括自動(dòng)化的陣列卡配置、OS配置，配置標(biāo)準(zhǔn)化的基礎(chǔ)設(shè)施給上層資源運(yùn)維使用。

完成整個(gè)過(guò)程后，在設(shè)備狀態(tài)列表中將設(shè)備狀態(tài)更新為已上線的可用狀態(tài)。

整個(gè)過(guò)程只有上架申請(qǐng)和模板庫(kù)選擇模板操作需要人為干預(yù)，其它過(guò)程均為標(biāo)準(zhǔn)化的自動(dòng)化流程，可以大大提高部署效率，并減少人為操作帶來(lái)的上線質(zhì)量不合格問(wèn)題。

上一篇：監(jiān)控索引的使用情況返回觀點(diǎn)列表下一篇：來(lái)看看巡檢機(jī)器人替代人工巡檢后，是怎么工作的

本文標(biāo)簽：

本文地址： http://www.bmwdream.cn/a/230.html

相關(guān)專(zhuān)題

品牌官網(wǎng)設(shè)計(jì)
杭州派迪科技為高端客戶(hù)提供品牌官網(wǎng)咨詢(xún)策劃，品牌官網(wǎng)設(shè)計(jì)，品牌官網(wǎng)建設(shè)開(kāi)發(fā)服務(wù)，以國(guó)際化視野和標(biāo)準(zhǔn)為基礎(chǔ)，為各行業(yè)領(lǐng)軍品牌提供高端企業(yè)網(wǎng)站定制、策劃、設(shè)計(jì)、互動(dòng)與制作
查看詳情
大策略營(yíng)銷(xiāo)門(mén)戶(hù)網(wǎng)站
杭州派迪科技有自己的營(yíng)銷(xiāo)型網(wǎng)站CMS系統(tǒng)，適合白帽SEO網(wǎng)站。特別對(duì)大策略的營(yíng)銷(xiāo)型門(mén)戶(hù)網(wǎng)站制作有一定的經(jīng)驗(yàn)，曾經(jīng)為上海天擎外貿(mào)行業(yè)網(wǎng)站、浙江兆龍營(yíng)銷(xiāo)型門(mén)戶(hù)、先臨三維門(mén)戶(hù)營(yíng)銷(xiāo)網(wǎng)站提供全程的技術(shù)支持及SEO優(yōu)化指導(dǎo)
查看詳情
集團(tuán)/上市公司網(wǎng)站
杭州派迪科技為杭州本地集團(tuán)公司提供網(wǎng)頁(yè)設(shè)計(jì)、制作、開(kāi)發(fā)服務(wù)，為集團(tuán)公司網(wǎng)站建設(shè)提供了響應(yīng)式、營(yíng)銷(xiāo)型、品牌型、門(mén)戶(hù)型網(wǎng)站建設(shè)需求，歡迎廣大集團(tuán)公司客戶(hù)咨詢(xún)
查看詳情
外貿(mào)網(wǎng)站建設(shè)
杭州派迪科技為高端客戶(hù)提供外貿(mào)網(wǎng)站咨詢(xún)策劃，外貿(mào)官網(wǎng)設(shè)計(jì)，外貿(mào)官網(wǎng)建設(shè)開(kāi)發(fā)服務(wù)，以谷歌搜索引起算法為基礎(chǔ)，為各行業(yè)外貿(mào)公司提供高端企業(yè)外貿(mào)網(wǎng)站定制、策劃、設(shè)計(jì)、互動(dòng)與制作
查看詳情
企業(yè)網(wǎng)站建設(shè)
高端專(zhuān)業(yè)、令人印象深刻的用戶(hù)界面、易于訪問(wèn)——企業(yè)網(wǎng)站必須反映一切，因?yàn)榕傻峡萍荚谶@里提供幫助，憑借精湛的技術(shù)、豐富的經(jīng)驗(yàn)、與客戶(hù)的持續(xù)溝通以及對(duì)每一個(gè)細(xì)節(jié)的關(guān)注，我們確保在快速的周期時(shí)間內(nèi)提供優(yōu)質(zhì)的服務(wù)。
查看詳情
半定制網(wǎng)站
杭州派迪科技模板網(wǎng)站建設(shè)專(zhuān)題_各行業(yè)方案專(zhuān)題欄目提供各行業(yè)產(chǎn)品適合的網(wǎng)站建設(shè)方案,幫助企業(yè)了解派迪科技建站效果等信息,您可以通過(guò)本站了解各行業(yè)網(wǎng)站建設(shè)方案,如需要獲取本行業(yè)定制網(wǎng)站建設(shè)方案,可以聯(lián)系在線客服或撥打電話咨詢(xún)
查看詳情