AI 云服務(wù)正面臨著前所未有的挑戰(zhàn)。

隨著 AI 技術(shù)的飛速發(fā)展，企業(yè)對(duì)云網(wǎng)絡(luò)的高性能、低延遲和高可擴(kuò)展性提出了更高的要求。AI 應(yīng)用通常需要兼顧訓(xùn)練與推理，在處理海量數(shù)據(jù)和復(fù)雜的計(jì)算任務(wù)的同時(shí)，應(yīng)對(duì)不可預(yù)測(cè)的突發(fā)和局部擁塞，這不僅對(duì)計(jì)算資源提出了挑戰(zhàn)，也對(duì)網(wǎng)絡(luò)基礎(chǔ)設(shè)施的性能和效率提出了嚴(yán)峻考驗(yàn)。

在剛結(jié)束的NVIDIA GTC上，NVIDIA 和 Crusoe Cloud 聯(lián)合舉辦了一場(chǎng)技術(shù)研討會(huì)，探討如何利用先進(jìn)的網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)可持續(xù)的 AI 云服務(wù)。

在這次研討會(huì)上，Keysight CyPerf 作為性能測(cè)試的黃金標(biāo)準(zhǔn)，成為了驗(yàn)證 NVIDIA OVS-DOCA 網(wǎng)絡(luò)加速解決方案性能的關(guān)鍵利器，其精準(zhǔn)的測(cè)試數(shù)據(jù)為技術(shù)突破提供了堅(jiān)實(shí)依據(jù)。

什么是AI 云服務(wù)？ 

AI 云服務(wù)是指通過云計(jì)算平臺(tái)提供人工智能（AI）相關(guān)的計(jì)算資源和服務(wù)。這些服務(wù)需要處理大量的數(shù)據(jù)和復(fù)雜的計(jì)算任務(wù)，因此對(duì)網(wǎng)絡(luò)的性能、安全性和可持續(xù)性提出了極高的要求。 

圖1: Crusoe的AI云服務(wù)架構(gòu)

什么是 OVS-DOCA？

Open Virtual Switch (OVS) 是一種開源的虛擬交換機(jī)，廣泛用于云計(jì)算環(huán)境中。NVIDIA DOCA 是一個(gè)為數(shù)據(jù)中心和 AI 應(yīng)用設(shè)計(jì)的加速軟件框架，能夠充分利用 NVIDIA 的硬件資源，如 ConnectX 網(wǎng)卡（NIC）和 BlueField 數(shù)據(jù)處理器（DPU）。 

OVS-DOCA是 NVIDIA 推出的一種高性能、用戶空間虛擬交換機(jī)解決方案，旨在為 AI 云網(wǎng)絡(luò)提供卓越的性能和可擴(kuò)展性。OVS-DOCA 基于 Open Virtual Switch (OVS) 和 NVIDIA DOCA 框架，通過硬件加速技術(shù)顯著提升網(wǎng)絡(luò)性能。 

圖2: OVS-DOCA 加速網(wǎng)絡(luò)框架

Crusoe Cloud 使用Keysight CyPerf 驗(yàn)證 NVIDIA OVS-DOCA  

Keysight CyPerf 是一種高性能的網(wǎng)絡(luò)測(cè)試工具，能夠模擬真實(shí)世界中的網(wǎng)絡(luò)流量，用于測(cè)試網(wǎng)絡(luò)的吞吐量、延遲和連接速率等關(guān)鍵性能指標(biāo)。它廣泛應(yīng)用于云計(jì)算、數(shù)據(jù)中心和網(wǎng)絡(luò)設(shè)備的性能測(cè)試中。 

在會(huì)議中，Crusoe Cloud 與 NVIDIA 合作，利用 Keysight CyPerf 對(duì) NVIDIA 的 OVS-DOCA 網(wǎng)絡(luò)加速解決方案進(jìn)行了全面測(cè)試。CyPerf 通過模擬真實(shí)世界中的高負(fù)載網(wǎng)絡(luò)流量，驗(yàn)證了 OVS-DOCA 在吞吐量、連接速率和延遲方面的卓越性能。 

圖3: Keysight CyPerf 驗(yàn)證OVS-DOCA 網(wǎng)絡(luò)測(cè)試流程

高吞吐量測(cè)試：

CyPerf 模擬了 400 Gbps 雙向流量，驗(yàn)證了 OVS-DOCA 在高負(fù)載下的線速性能。 

高連接速率測(cè)試：

在 25K 和 50K CPS 的條件下，CyPerf 測(cè)試了網(wǎng)絡(luò)的連接建立和關(guān)閉性能，結(jié)果顯示 OVS-DOCA 模式顯著優(yōu)于傳統(tǒng) OVS-Kernel 模式。

低延遲測(cè)試：

在高負(fù)載條件下，CyPerf 測(cè)量了網(wǎng)絡(luò)的延遲，證明 OVS-DOCA 模式能夠提供更低且更穩(wěn)定的延遲表現(xiàn)。

資源利用測(cè)試：

CyPerf 監(jiān)控了服務(wù)器的 CPU 利用率，驗(yàn)證了 OVS-DOCA 模式在高連接速率下顯著降低了 CPU 使用率，提高了系統(tǒng)的整體效率。

結(jié)語 

在 AI 云服務(wù)的快速發(fā)展中，網(wǎng)絡(luò)性能和效率至關(guān)重要。KeySight CyPerf 作為領(lǐng)先的性能測(cè)試工具，為驗(yàn)證先進(jìn)的網(wǎng)絡(luò)加速解決方案提供了強(qiáng)大的支持。通過在 Crusoe Cloud 和 NVIDIA 的實(shí)驗(yàn)中表現(xiàn)出色，CyPerf 證明了其在驗(yàn)證 AI 云網(wǎng)絡(luò)方案中的獨(dú)特優(yōu)勢(shì)。選擇 CyPerf，讓您的網(wǎng)絡(luò)性能測(cè)試更加精準(zhǔn)、高效和可靠。