悲催的存儲工程師 SAN故障經驗的分享
IT168
黃永兵 譯
摘要： 一般來說，企業級主存儲是相當穩定的，如果沒有強壯的存儲設備，就不能奢望應用程序可靠，它們本身就有一大堆問題，如果存儲也鬧別扭，事情只會變得更糟，這就是為什么企業愿意把大部分IT預算用于購買最好，最可靠的存儲基礎設施的原因。
Abstract：
Key words :
一般來說，企業級主存儲是相當穩定的，如果沒有強壯的存儲設備，就不能奢望應用程序可靠，它們本身就有一大堆問題，如果存儲也鬧別扭，事情只會變得更糟，這就是為什么企業愿意把大部分IT預算用于購買最好，最可靠的存儲基礎設施的原因。
冗余磁盤，冗余控制器，鏡像緩存，以及冗余存儲網絡都旨在提供具備容錯能力的存儲基礎設施，在關鍵任務環境中，這些都是必需的，但即使是最高強度的冗余存儲架構在人面前也是毫無保障的。
在我接觸過的企業存儲設備中，只有一個沒有因硬件故障導致災難性后果，相反，我已經記不清有多少因文檔糟糕、技術支持胡亂建議、培訓不充分，以及軟件或固件等原因導致存儲災難性故障，我想說的是，大部分都是人的原因造成的。
就在上個月，我就親眼目睹了兩起主存儲崩潰事件。
在企業存儲基礎設施中，用戶由兩個獨立的但同樣重要的小組支持：設備小組和管理小組，故事就發生了他們中間。
固件版本不匹配
在第一起案例中，在現有存儲環境中引入了新的存儲設備，按照設想，新舊存儲設備可以實現無縫整合，最終實現用新設備替換掉舊設備的目的。
由于新系統采用了最新的硬件，需要的固件版本比當前的舊系統要高，按正常情況，升級現有系統的固件版本，和新系統匹配是沒有問題的，但它需要一個維護窗口。
根據相關文檔的解釋，這里使用的兩個固件版本似乎可以共存，數據遷移可以平滑地從舊系統轉移到新系統，因此數據轉移工作就在兩個固件版本不同的存儲設備之間開始了。
起初，事情進展順利，測試數據成功轉移到了新設備，性能測試結果超出預期，沒有發現任何問題，接下來，一些非關鍵的數據卷也成功遷移了，于是決定遷移所有的生產數據，由于數據量巨大，遷移過程花了幾天時間才完成。
就在遷移完成大家終于松了一口氣的時候（不到30分鐘），新存儲設備（現在存儲了組織的所有生產數據）從存儲網絡掉線了，變得完全不可訪問，幸運的是，這事兒發生在周六早上，很少有用戶注意到，但最終導致整個虛擬服務器基礎設施無法使用。
重新給新設備加電后，它又返回到存儲網絡了，大家齊心協力花了幾個小時將所有系統全部上線，最后還算幸運，數據未丟失，也未遭到破壞。
接下來的任務是找出究竟發生了什么，是新設備不可靠？難道有硬件或實施問題在測試期間未被發現？兩周后，在廠家技術支持人員的幫助下，確定這起故障是兩個設備因固件不匹配引起的，最后，廠家也修改了相關文檔，建議任何時候應盡量將所有設備的固件版本升級為一致。
當然，在廠商提供的那些文檔中，我們還是看到許多用詞不明確的地方，給讀者留下了許多想象的空間，從這個案例中我們總結出一個經驗：文檔不一定可靠，千萬不要自以為是！
倒霉的現場技術人員
在第二個案例中，生產存儲陣列開始出現一些瞬時錯誤，這些錯誤似乎表明后端光纖通道循環出了問題，由于所有系統在控制器和磁盤之間的連接使用了多個冗余循環，不能立即確定究竟是哪里出了問題，但對進一步調查和修復行動提供了保證。
這個陣列簽訂了高級支持合同，因此廠商很快就派遣了一位技術人員抵達現場，確定問題的根源，這位技術人員到了現場就立即投入到工作中，首先閱讀了系統日志，并對硬件做了簡單檢查，看了看各種線纜和收發器是否連接正確。
但他什么問題也沒有發現，于是，他插上一根串口線，接到設備的維護端口，在管理軟件中發出特定的命令，直接從控制器導出了原始性能數據，其目的是讓控制器吐出詳細的錯誤信息，以便更高級的工程師解碼分析。
串口和控制器的軟件內核是直接相通的，輸錯一個字符就可能引起嚴重的后果，在這種情況下，如果你在終端模擬器按下Ctrl-Z，會導致兩個冗余控制器同時重啟，所有入站存儲連接會被突然重置，會發生什么只有求佛主保佑。
仔細看看你的鍵盤，你會發現Ctrl和Z鍵隔得并不遠，如果事先不知道同時按下它們后果有多嚴重，或一不小心誤按，我想你會一輩子記得這事的。
和第一起案例一樣，幸虧中斷時間不長，也沒有導致數據丟失或破壞，但還是花了幾個小時才將各種應用程序重新上線。
教訓
事后看來，不管文檔上有沒有明確說明，在固件不匹配的情況下做任何事情都是自找麻煩，此外，在處理大量數據遷移時不能掉以輕心，想一邊喝咖啡一邊操作還得悠著點。
也許你從來沒有想過一個完全冗余的企業級存儲網絡還會全部宕掉，是的，這種事情雖然很少見，但的確發生過。在眾多存儲事故中，我發現大部分都是人為因素造成的，有可能就是你，或你的同事，也可能是新進入的廠商。
各路存儲廠商都在努力讓自己的管理系統變得更具吸引力，更友好的管理界面，但他們忽略了天天擺弄這些軟件和硬件的IT人員，軟硬件環境越來越復雜，誰也不能保證不會出現誤操作。
除了廠商要做好嚴格的保護設計，文檔實時更新外，作為用戶一方，也要加強自身維護隊伍的建設，在不確定會引起什么后果之前，最好不要急著動手。
此內容為AET網站原創，未經授權禁止轉載。