PCIe 與乙太網路:它真的是這個或那個選擇?

Publish Date:
July 1, 2023

最近,一位好奇的設計師向我們提出了一個問題,關於以前稱為「織物大戰」的問題,這導致了關於嵌入式計算系統中連接選擇的演變的有趣討論。這篇部落格文章導致的對話更具體地關注 OpenVPX 和 SOSA™(感應器開放系統架構)架構中的選擇。

問題來自《奇奇》:

「我很好奇聽到您對 PCIe 為什麼在 VPX 上勝過乙太網路的意見(因此為什麼 PCIe 會在機架層級通過乙太網上獲勝)的看法。是否因為 PCIe 沒有協議轉換?或者是因為 PCIe 更快,延遲更低,但性能是「桌上的重點」?PCIe 剛剛在公眾看起來是獲勝者,但我懷疑選擇的序列匯流排是在某個工作組中被打破了。」

親愛的好奇:

實際上,目前,以太網和 PCIe 之間沒有真正的「贏家」,至少在 OpenVPX 中沒有。這是一個概要... 關於將背板連接分開為數據平面 (DP),擴展平面(EP)和控制平面(CP)有一般(但不通用)共識。每個都在 VPX 系統中都有預期的角色,儘管開發人員並不一定限於其應用程序中的該功能。

•「控制平面」用於系統控制訊息,通常是集中發出的。乙太網對此有意義。

• 擴展平面通常用於將兩個或多個板緊密連接在一起,通常是根/葉組織。PCIe 對此有意義。一個很好的例子是 SBC 和 GPU 或 I/O 板。

o EP 也用於 FPGA 到 FPGA 鏈接等事情,因此經常使用極光或前面板數據端口(S-FPDP)

• 使用數據平面,線條更模糊一點:

o DP 通常用於點對等/全對所有連接。以太網比 PCIe 更容易進行這種連接(非透明的橋接等,軟件支持不好,而且通常很糟糕)。

o 乙太網路的負擔比 PCIe 更高,無論是在通訊協定和軟體堆疊方面。因此,有些人會接受使用 PCIe 來獲得性能的痛苦。

o 乙太網路和 PCIe 不斷在線速度上互相跳躍 — 有些人只想追尋最新/最快的。

SOSA 選擇專注於以太網 DP、乙太網路 CP 和 EP,具有多種協議(PCIe,Aurora,簡單 LVDS 起始,未來還有其他通訊協定)。這主要是為了實現插入式卡 (PIC) 之間的互通性和互換性。在這種情況下,乙太網路是整個系統的重型升降機,PCIe(和其他)在特定 PIC 之間更加本地化。但是,SOSA 並不是整個市場,人們仍在推出不符合標準的新板。

因此,市場仍在非常變化。儘管 SOSA 正在為一定(但相當大的)市場部分設定限制,但仍然有選擇,儘管市場規模較小,例如序列 Rapidio,Infiniband 等。

問題來自《奇奇》:

功能和功能怎麼樣?RaPidio 在每個版本中都引入了一系列功能,從而增加了其功能和吸引力,但即使是這一組不斷增長的功能也無法確保其生存。

親愛的好奇:

您對功能的評論也很好。RaPidio 具有兩個很好的功能,這些功能對 HPEC 系統非常有用-大多數實現包括 DMA 引擎(直接記憶體訪問)來卸載處理器的數據移動,並且包括原子測試和設置功能。DMA 現在只有 RoCE(通過融合乙太網路遠程 DMA)提供,我認為乙太網還沒有原子測試和設置功能(至少是本地方 — 有更高級別的通訊協定提供它)。儘管如此,Rapidio 從我們的空間中消失了。RoCE 尚未廣泛存在,所以人們沒有在 VPX 系統中大量使用它,但這只是時間問題。那麼它可能會是一個「必須具有」功能。

問題來自《奇奇》:

這是 PCIe 與乙太網路比較的好看法,但在可行性方面,這兩個協議都是可行的。系統架構設計師需要選擇要有效的協定,才能成功。因此,以更廣泛的術語來問,為什麼一個協議會勝過其他協議?是什麼推動它的成功?

也許這是經濟學和客戶群的實力。如果該協議的銷售額很大,它就可以存在,但僅 FORE Systems 每年銷售 700 億美元的 ATM(非同步轉賬模式),而 ATM 被出售給大型電信公司(一個富裕的客戶群),但 ATM 已經過時了。

您提到了 RaPidio(出售給嵌入式市場,我猜是相當可行的)和 InfiniBand(出售給超級計算機行業,相當大且可行),但兩者都已經死了。

我認為確保傳播的最佳答案是協議的「無處不在」。熟悉協議的開發人員的基礎有多廣泛,行業意識有多廣泛?InfiniBand 一直留在超級計算機行業,這確保了它的崩潰,儘管超級計算機市場以絕對美元計算而言相當大。

相較於 ATM 電信市場相比,以太網 LAN 市場的絕對美元計算更大,但乙太網路開發人員更多,對乙太網路的認識比 ATM 更多。似乎驅動協議的傳播是開發人員的數量,而不是其性能、功能或經濟性。以太網速為 10 Mbps 時,ATM 的速度為 155 Mbps。因此,如果是關於性能,ATM 如何失去領先地位,然後在性能上落後-乙太網路的開發人員已經熟悉它了。光纖通道永遠不會流失儲存空間。在儲存方面取得巨大成功,但沒有足夠的人意識到它並推動它向前進。所以,它消失了。

那麼,例如,以太網為什麼贏得自動櫃員機?似乎 ATM 從 WAN 垂直推向到 LAN 垂直(至少對於 FORE 系統)。乙太網路不僅將它推回 LAN 外,而且乙太網路進入 MAN 和 WAN,並將 ATM 從兩者推出。這是怎麼發生的?

親愛的好奇:

您的分析都非常合理,我認為它確實是您描述的因素的組合,最終以一種方式吸引市場。

首先,嵌入式系統主要由空間、重量和電源問題(SwAP)以及這些系統部署的作業環境來驅動。儘管 ATM 是市場表現的領導者,但由於它所需的電力和產生的熱量,它並不適合嵌入式系統使用。還有問題是針對我們系統運行的延長溫度評級的零件。Infiniband 也受到這種影響,儘管在較小的程度上是因為它的功率/熱量較低,實際上還有一些擴展的溫度零件可用。RaPidio 成功了一段時間,因為它可以應對這些挑戰。

我認為還有兩件事對自動櫃員機、RaPidio 和 Infiniband 有影響,這將是無處不在的軟件堆疊和價格。RaPidio 和 Infiniband 需要像 MPI 類似的東西,人們喜歡或討厭的 MPI,基本上是由一個相對較小的專業社區維護。Linux/乙太網路軟體由開放原始碼社群中的絕對開發人員組成的維護,並且有大量的軟件包可以支援幾乎所需的任何資料移動模型。此外,很容易找到知道如何使用它的人才。它是一個真正的通用網狀架構,但唯一的影響就是軟件堆疊的性能受到影響。從價格而言,乙太網路比這三個都便宜,解決方案的成本始終是一個重要決策驅動因素。由於價格和無處不在的軟件堆疊都有利於乙太網路,其他軟件真的沒有機會。

3U VPX 交換器的例子。
來自奇心的問題:

如果我們從相反的方向發現這個問題,並問下一個協議將死亡,或者協議將以什麼順序死亡,而不是問什麼協議會生存呢?

我認為如果我們知道每個協議的開發人員數量,我們可以預測協議的未來下降或上升。

親愛的好奇:

我認為我們剛剛將主要協議選項導入到高性能嵌入式空間中的最低設定。以太網和 PCIe 是非常明顯的獲勝者。我認為在流媒體數據空間中有競爭者的空間。極光很受歡迎,但它僅限 Xilinx。有關序列 FPDP 從基於線傳感器到節點通訊協定轉換為基於背板的節點對節點通訊協定。但是,確定市場是否真的採用它將需要時間。因此,我認為,可能會有空間來自各種供應商的 CPU 和 FPGA 的新低負荷高性能流媒體協議。只有時間才能告訴你

我肯定看到的是在以太網中需要新功能。目前兩個主要的是遠端 DMA(以 RoCE 形式)和時間敏感網絡(TSN)。支持 RoCE 和 TSN 的交換器和插入卡供應商將在未來幾年中受到高的需求。

Downloads

No items found.

Read More Blog Posts

An Alternative to End-of-Life (EOL) for Embedded Ethernet Switches

An Alternative to End-of-Life (EOL) for Embedded Ethernet Switches

In the past few years, several end-of-life (EOL) announcements in the embedded computing market have both caused angst and opportunity. Making the shift away from a tried-and-true solution always brings with it the need to review not only the mechanical elements of an embedded system, but the integration and networking elements as well. And when that review is forced upon a designer, as in the case of an EOL announcement, it may mean forced choices of not-as-optimum alternatives. Or it could be something different altogether.

Applying the Computing Power of AI to Demanding Industrial Environments

Applying the Computing Power of AI to Demanding Industrial Environments

Rugged platforms for demanding applications have historically been constrained by the limited operational temperature ranges of high-performance processors and other key system components. These applications often operate in challenging temperatures, and high-performance processors aren’t generally offered with these operational temperature ranges. Until now.