Global Sources
電子工程專輯
 
電子工程專輯 > 記憶體/儲存
 
 
記憶體/儲存  

Facebook分享自家資料中心儲存系統秘方

上網時間: 2015年05月11日     打印版  Bookmark and Share  字型大小:  

關鍵字:Facebook  資料充新  儲存  硬碟  耗電 

Facebook的工程師在一篇新發表的部落格文章中,透露了他們用便宜的價格打造大規模儲存系統的「秘方」;該篇文章詳細敘述了Facebook如何建立目前在美國奧勒岡州(Oregon)與北卡羅萊納州(North Carolina)的「冷儲存中心(cold storage center)」,分享打造非常寬裕、低成本的硬碟陣列叢集之技巧。

那些技巧很多都是與傳統硬碟陣列廠商的作法大相逕庭,但可能為大規模儲存陣列的使用者帶來好處。Facebook並正在探索成本甚至可以更低的替代方案,利用低耐久性的快閃記憶體與藍光光碟,來儲存每天在該社交網站上儲存分享的20億張圖片;此外該公司也在研究橫跨多個資料中心分散儲存檔案的新方法,以改善儲存系統的耐久性。

Facebook利用4TB (terabyte)的硬碟機,將2PB (petabytes)的儲存容量整合在單一機架中,但所需能源是傳統儲存伺服器的四分之一;上述的部落格文章中寫道,這種冷儲存中心:「功耗只有傳統資料中心的六分之一,而且在全負載的情況下,每個資料中心機櫃(data hall)能支援最高1EB (Exabyte,1,000 PB)的儲存量。」

以Facebook的典型風格,成本節省部分來自於剔除了不必要的硬體,舉例來說,儲存機架是採用Facebook主導之Open Compute Project訂定的Open Vault規格為基礎,採用的風扇較少(4個而非6個),電源供應器也較少(從7個變成5個);此外也移除了中央冗餘電氣系統(center redundant electrical systems),包括不斷電電源供應器以及發電機。

該系統採用市面上的硬碟機,應該是SATA I規格,而不是大多數企業的磁碟陣列所採用的、更昂貴的Serial Attached SCSI硬碟機。

在其他硬體細節方面,Facebook更新了硬碟控制器中的韌體,確保每個托盤中一次只有一個硬碟被啟動,也就是用該公司自己的軟體來控制佔空比(duty cycle)以及功耗。不過這種機架確實會需要採購更好的滾輪腳架,因為現有的滾輪承受不住480個4TB硬碟機高達1,100公斤的重量。

 Facebook更新了硬碟控制器中的韌體,確保每個托盤中一次只有一個硬碟被啟動
Facebook更新了硬碟控制器中的韌體,確保每個托盤中一次只有一個硬碟被啟動

儲存軟體最佳化

Facebook在軟體方面的創新確實令人驚艷,舉例來說,該公司發現了一種方法,利用Reed-Solomon糾錯碼,來縮小在硬體故障時備份資料所需的硬碟空間需求量;這種解決方案能在1.4GB的空間儲存1GB的備份資料,同時又大幅增加耐久性。

舉例來說,其所謂的抹除編碼(erasure coding)技術能將1GB的檔案分成10小塊,Reed-Solomon編碼會產生額外的一組區塊(其案例是4個),扮演類似同位位元(parity bits)的角色;在不同的硬體領域中儲存那些小塊,讓Facebook能重新建構資料,甚至在數個資料片段遺失時。

 Facebook使用ECC來縮小在硬體故障時備份資料所需的硬碟空間
Facebook使用ECC來縮小在硬體故障時備份資料所需的硬碟空間

此外Facebook的工程師建立了一個程序,會在約每30天掃描所有的硬碟,偵測在位元衰減(bit rot)時損壞的資料;此外他們還開發了一種再平衡服務(re-balancing service),有助於在新儲存容量上線時搬移資料。

結合其深厚的技術研發實力與雄厚財力,Facebook吸納了許多頂尖工程人才,包括來自Apple、Cisco、EMC與IBM的資深工程師。而不同於傳統儲存系統供應商例如EMC,Facebook透過部落格、OCP計畫分享許多技術秘訣,期望能激勵原廠提供他們最需要的、可望能大幅降低其內部開發成本的相關設備。

編譯:Judith Cheng

(參考原文: Facebook Shares Storage Recipe,by Rick Merritt)





投票數:   加入我的最愛
我來評論 - Facebook分享自家資料中心儲存系統秘方
評論:  
*  您還能輸入[0]個字
*驗證碼:
 
論壇熱門主題 熱門下載
 •   將邁入40歲的你...存款多少了  •  深入電容觸控技術就從這個問題開始
 •  我有一個數位電源的專利...  •  磷酸鋰鐵電池一問
 •   關於設備商公司的工程師(廠商)薪資前景  •  計算諧振轉換器的同步整流MOSFET功耗損失
 •   Touch sensor & MEMS controller  •  針對智慧電表PLC通訊應用的線路驅動器
 •   下週 深圳 llC 2012 關於PCB免費工具的研討會  •  邏輯閘的應用


EE人生人氣排行
 
返回頁首