[原創(chuàng)]數(shù)據(jù)通訊故障拷問IT服務(wù)應(yīng)急方案

申請免費試用、咨詢電話：400-8352-114

昨天公網(wǎng)的服務(wù)器硬盤出現(xiàn)故障，邏輯卷Offline導(dǎo)致客戶的數(shù)據(jù)通訊無法操作。

7：00 服務(wù)臺一上班就開始接到客戶的報修電話，在其后的時間里服務(wù)臺電話鈴聲此起彼伏，仿佛令人置身于戰(zhàn)時指揮部。話務(wù)員忙的都無暇他顧；

8：20 運維部的主管將此問題通知到負(fù)責(zé)服務(wù)器維護(hù)的主管；

8：30 服務(wù)器維護(hù)人員遠(yuǎn)程維護(hù)無效；

8：45 維護(hù)人員到達(dá)現(xiàn)場處理，發(fā)現(xiàn)硬盤故障無法運行。采用的是更換備份機的方式；

10：30 解決服務(wù)器故障；

13：30 發(fā)現(xiàn)數(shù)據(jù)通訊之后存在1月9日的配送信息。問題管理開始著手解決此項問題；

14：00 客戶的報修明顯減少。

從7：00至14：00故障的解決持續(xù)了7個小時。全市3000多家客戶因為此次的硬盤故障問題都無法進(jìn)行數(shù)據(jù)通訊。

幸運的是我們沒有這方面的考核，否則不知道會不會因為這個故障和處理的時間而影響到年底的服務(wù)考評。

事件得到控制，雖然不能說是及時，但也沒造成嚴(yán)重后果?；仡欉@次意外，聽到最多的是：這次硬盤故障無法預(yù)料。技術(shù)上的無法預(yù)測在所難免，但換個角度想：凡事沒有無因之果。和維護(hù)人員聊了之后，他也說了幾個可能導(dǎo)致此次故障的因素： 

1. 大量頻繁的讀寫操作導(dǎo)致磁盤當(dāng)機
2. 磁盤本身的問題
3. 系統(tǒng)本身的問題
4. 機房的環(huán)境

且不論技術(shù)方面的細(xì)節(jié)，從這些因素看出根據(jù)故障產(chǎn)生的原因進(jìn)行識別和控制才是IT服務(wù)人員應(yīng)該具備的態(tài)度。而不是習(xí)慣性地認(rèn)為這些問題根本沒法預(yù)測或者提前發(fā)現(xiàn)。雖然也不能完全通過控制故障原因來達(dá)到控制故障的目的，但是至少我們可以通過多方面的控制降低故障發(fā)生的幾率。

故障發(fā)生了，而且很緊急。從管理上應(yīng)該啟動應(yīng)急方案，這是管理保障。也許在此需要再延伸一下對應(yīng)急方案的思考。方案有了還不夠，一定要演練！愈是責(zé)任大的應(yīng)急方案，愈是要演練。對維護(hù)人員形成一個處理的條件反射，防止突發(fā)事件發(fā)生時緊張帶來的手足無措。

最近我們內(nèi)部也搞一個留單超標(biāo)的應(yīng)急方案，自從審批通過之后，就束之高閣?？磥硪残枰贸鰜磉m當(dāng)?shù)?ldquo;曬曬太陽了”。