PCIe與乙太網路：對決或共存？

直到現在，PCI Express(PCIe)和乙太網路之間的界限涇渭分明：PCIe用於晶片與晶片間互連；乙太網路作為系統與系統之間的連接技術。有很好的理由可以說明為什麼該界限可以長久維持。無論如何，這兩種技術一直是絕對共存的。雖然目前並沒有任何跡象顯示這種局面很快地會徹底改變，但有越來越多的情況顯示PCIe正日益嶄露頭角，開始在過去由乙太網路獨大的領域展開競爭，特別是在機架內。PCIe真的能與乙太網路競爭並勝出嗎？

現有架構

目前大量部署的傳統系統都有幾項必須加以支援的互連技術。如圖1所示，光纖通道和乙太網路是這些互連技術的兩個例子(當然還有其他更多技術，如InfiniBand)。

圖1：目前使用的傳統I/O系統示例。

這種架構存在多種侷限，包括多種I/O互連技術共存、I/O端點利用率低、由於需要多個I/O端點而增加了系統的功耗與成本、在打造系統架構時就固定了I/O(缺少日後調整的彈性)，以及管理軟體必須處理多個I/O協定，進一步帶來額外開銷。

這種架構的致命弱點就是使用了多種I/O互連技術，因為這增加了延遲、成本、電路板空間和功耗。如果所有端點在這段時間都能100%地運作，這種架構可能會更有用些。然而，更多的情況是，端點常常是閒置的，這意味著系統使用者得為有限的利用率掏腰包。延遲增加是因為系統中處理器上原有的PCIe介面必須被轉換成多種協定。(設計者可以用處理器原有的PCIe來降低系統延遲，並以PCIe融合所有的端點。)

共用I/O端點(見圖2)顯然是解決這些限制的有效辦法。這個概念對系統設計者極具吸引力，因為它降低了成本和功耗，提高性能和利用率，並簡化設計。因為共用端點有如此多的優勢，所以多方組織都試圖實現這一目標，如PCI-SIG發表了多徑I/O虛擬化(MR-IOV)規格。然而，由於技術與商業因素等多種原因，即使MR-IOV已發佈五年多，但卻一直未被普遍接受。

圖2：利用PCIe共用I/O的傳統I/O系統

共用I/O的更多優點：

　　．隨著I/O速度提高，唯一需要的額外投資是更換I/O配接卡。在早期部署中，當同一張卡上使用多種I/O技術時，設計者必須重新設計整個系統，而在共用I/O模式，當需要升級一種特定I/O技術時，設計者可以僅以新卡取代舊卡。

　　．由於多個I/O端點不需要存在同一塊板卡上，設計者可以製造更小板卡，以進一步降低成本和功耗；或是保留現有板卡大小，利用移除卡上多個I/O端點所節省的空間，採用增加多個CPU、加大記憶體和/或增加其它端點的方式來差異化產品。

　　．設計者可以減少系統內縱橫交錯的纜線數量。因為多個互連技術會需要不同的線纜，以支援協定的頻寬和開銷。然而，隨著設計簡化以及有限的I/O互連技術類型，系統正常運作所需的纜線數量逐漸減少，從而降低了設計複雜性，也節約了成本。

在PCIe交換機內建共用I/O是實現圖2架構的關鍵驅動力。如前述，MR-IOV技術未能起飛而且普遍的看法是它可能永遠無法普及。為此，單徑I/O虛擬化(SR-IOV)技術出場救援，為了提高性能而使用硬體建置I/O虛擬化，並在一台實體伺服器上提供基於硬體的安全和品質服務(QoS)特性。SR-IOV還允許在同一台伺服器上執行多個客戶作業系統，從而實現I/O設備共用。

2007年，PCI-SIG發佈了SR-IOV規格，呼籲將單一實體PCIe設備劃分成多個虛擬功能，無論是網路介面卡、主機匯流排配接器還是主機通道配接器。然後，虛擬機器可以使用任一虛擬功能，允許許多虛擬機器及其客戶作業系統共用一台實體設備。

這需要I/O廠商開發支援SR-IOV的設備。SR-IOV可提供了在不同應用間共用資源或I/O設備的最簡單方法。目前的趨勢是大部份終端廠商都支援SR-IOV，而且越來越多的廠商也將加入這一陣營。除了先前列舉的多種優點，PCIe在傳輸層還是一種無耗損的結構。

PCIe規格定義了一種強健的流程控制機制，以防止資料封包丟失。在每一次跳頻，都會與每個PCIe資料進行確認，以確保傳輸成功。在傳輸錯誤的情況下，即重新傳輸封包——這個過程由硬體完成，無需任何上層協定介入。因此，在基於PCIe的儲存系統中，幾乎不可能發生資料遺失或損壞。

透過允許所有的I/O配接器(10GbE、FC或其他)移出伺服器，PCIe提供了一個簡化方案。藉由PCIe交換機架構提供的虛擬化支援，每個配接器都可被多個伺服器共用，而且同時為每個伺服器提供一個邏輯配接器。伺服器(或每個伺服器上的虛擬機器)可繼續在共用配接器上直接存取自己的硬體資源組。所實現的這種虛擬化可帶來更佳可擴展性，其中I/O和伺服器可以彼此獨立地進行調整。I/O虛擬化避免了伺服器或I/O資源的過度配置，從而降低了成本和功耗。

表1：PCIe和乙太網路所節省的成本比較

表2：PCIe和乙太網路所降低的功耗比較。

對於ToR(top-of-rack)交換機和配接器來說，價格估算基於廣泛的產業調查，而且其定價應該會因數量、可用性和與供應商的關係程度而有所不同。表1和表2比較PCIe應用在IO共用時(特別是拿掉了配接器)所帶來的成本和功耗優勢，以進一步瞭解這一架構。

當然，這也引發了一個疑問：比較成本和功耗為什麼按每秒10億位元組(GB)計算，而不以每埠為依據？主要的原因是對資料中心供應商來說，目前的收費方式是按照所用頻寬而非連接數計算。PCIe提供的頻寬大約是10G乙太網路的3倍，因而可讓供應商用它獲利更多，如果有人曾比較/打造具有同樣多埠數的系統，將會得到相同結論：PCIe比乙太網路更省50%以上。

總結

本文的重點是PCIe和乙太網路在成本和功耗方面的比較，當然，也應該比較二者的其他技術指標。但是，隨著主要處理器供應商越來越傾向於在處理器上內建PCIe，讓設計者從中受益匪淺。藉助此新一代CPU，設計者可直接將PCIe交換器與CPU連接，因而降低了延遲和元件成本。

PCIe技術已變得無所不在了，特別是這項強大互連技術的第3代(G3；每鏈路8Gbps)不僅能夠支援共用I/O與叢集，還為系統設計者提供了一款無與倫比的工具，使他們的設計最佳化與高效率。

為了滿足共用IO和叢集細分市場的需求，如PLX Technology等廠商推出了高性能、靈活、低功耗與體積小的設備。這些交換機被琢磨成為可適應上述要求的全方位應用。展望未來，速度可達每鏈路16Gbps的第四代PCIe更將有助於加速PCIe技術進入新的細分市場並進一步擴展，同時用於進行設計和使用也會更容易且經濟。

多家全球廠商已經採用了這種無處不在的互連技術以支援I/O端點共用，因而降低了系統成本和功耗，也減少了維護和升級的需求。基於PCI的共用I/O端點可望使價值數十億美元的資料中心市場脫胎換骨。

然而，乙太網路和PCIe仍將和諧共存——乙太網路用於系統間互連，而PCIe將繼續其機架革命。

(參考原文：PCI Express vs. Ethernet: A showdown or coexistence?，by Krishna Mallampati)