NVIDIA JetPack 一直在不斷發(fā)展，通過提供量身定制的先進(jìn)軟件滿足邊緣 AI 和機(jī)器人開發(fā)者日益增長(zhǎng)的需求。每次發(fā)布的 JetPack 新版本都會(huì)升級(jí)性能、加入新功能與優(yōu)化現(xiàn)有工具，以便為用戶創(chuàng)造更大的價(jià)值。這意味著當(dāng)前基于 Jetson Orin 的產(chǎn)品在升級(jí)到最新版本的 JetPack 后將優(yōu)化性能。

2023 年第三季度發(fā)布的 JetPack 6 是這一歷程中的一座重要里程碑。該版本引入了自帶內(nèi)核（Bring Your Own Kernel）等強(qiáng)大的功能，能夠靈活地加入任何 LTS Linux 內(nèi)核并擴(kuò)大了對(duì)更多 Linux 發(fā)行版的支持，為不同的開發(fā)環(huán)境帶來了更多靈活性。

憑借其模塊化設(shè)計(jì)，用戶還能夠在不升級(jí) Jetson Linux 的情況下輕松升級(jí)到最新的 JetPack 計(jì)算堆棧。除了這些進(jìn)步之外，硬件加速增強(qiáng)等性能上的改進(jìn)還保證了 Jetson 平臺(tái)能夠以最高效率運(yùn)行。

JetPack 6.1 的功能

2024 年 7 月，NVIDIA 發(fā)布了 NVIDIA JetPack 6.1，進(jìn)一步兌現(xiàn)了持續(xù)改進(jìn) JetPack 堆棧的承諾。

其中的一項(xiàng)重要改進(jìn)是 Argus 攝像頭堆棧增強(qiáng)，這項(xiàng)改進(jìn)顯著將攝像頭應(yīng)用的 CPU 占用率降低了高達(dá) 40%。

另一項(xiàng)新功能是引入了基于固件的可信平臺(tái)模塊（fTPM）支持，通過強(qiáng)大的設(shè)備驗(yàn)證和安全存儲(chǔ)保存證書和密鑰，從而在無需額外分立 TPM 硬件的情況下實(shí)現(xiàn)了邊緣到云的安全。

其他重要功能包括 AI 計(jì)算堆棧更新、帶安全啟動(dòng)的空中下載（OTA）支持以及多媒體和網(wǎng)絡(luò)方面的改進(jìn)。

本文將討論改進(jìn)后的攝像頭堆棧和新的 fTPM 功能。

圖 1. JetPack 6.1 的新功能

• 攝像頭堆棧增強(qiáng)：增強(qiáng)后的 Argus 庫通過切換到更加高效、基于 Tegra 硬件的同步方法，最多將使用 Argus 庫的攝像頭的 CPU 占用率降低 40%。

• 更高的安全性：JetPack 6.1 開始支持基于固件的可信平臺(tái)模塊（fTPM），通過安全啟動(dòng)、加密密鑰管理和平臺(tái)完整性提高了安全性，而且由于無需額外的硬件，因此降低了成本和空間需求。

• 堆棧升級(jí)：JetPack 6.1 包含經(jīng)過升級(jí)的最新計(jì)算堆棧，同時(shí)可與 JetPack 6.0 BSP 一起使用。

• CUDA 12.6
• TensorRT 10.3
• cuDNN 9.3
• VPI 3.2
• DLA 3.1
• DLFW 24.0

• OTA 改進(jìn)：?jiǎn)⒂昧?UEFI 安全啟動(dòng)功能的 NVIDIA Jetson 設(shè)備提供基于映像的 OTA 支持。

攝像頭堆棧增強(qiáng)

JetPack 攝像頭堆棧提供的完整軟件和驅(qū)動(dòng)程序解決方案為 NVIDIA Jetson 平臺(tái)上的攝像頭提供了強(qiáng)大的支持。它集成了底層驅(qū)動(dòng)程序、多媒體 API 和先進(jìn)的圖像處理工具，可實(shí)現(xiàn)高效的視頻捕捉、處理和流式傳輸。該堆棧還支持 MIPI CSI、USB、以太網(wǎng)等各種攝像頭接口，可充分利用 NVIDIA 硬件加速器完成縮放、降噪、編碼等任務(wù)。

基于 NVIDIA Camera Core 構(gòu)建的 Argus Camera API 提供了一個(gè)易于訪問的接口，在實(shí)現(xiàn)先進(jìn)圖像捕捉、傳感器控制和視頻處理的同時(shí)，確保了高性能和定制化。這使其成為計(jì)算機(jī)視覺和 AI 應(yīng)用的理想選擇。

JetPack 6.1 引入了更加高效的 Argus Camera API 實(shí)現(xiàn)，通過 Argus 將 CSI 攝像頭捕捉功能的 CPU 占用率降低高達(dá)了 40%。這一優(yōu)化極大地釋放了處理能力，令使用 CSI 攝像頭的應(yīng)用能夠執(zhí)行更多任務(wù)并提高了整體性能。

圖 2 顯示了在同時(shí)使用 12 臺(tái) CSI 攝像頭時(shí)，JetPack 6.1 中的增強(qiáng) Argus API 實(shí)現(xiàn)較 JetPack 6.0 中默認(rèn) Argus API 實(shí)現(xiàn)的 CPU 性能提升情況。此次比較使用基于 AR0234 和雙 IMX274 的攝像頭在 1920x1200p 30 fps 的設(shè)置下進(jìn)行驗(yàn)證。

圖 2. JetPack 6.1 中的攝像頭堆棧 CPU 利用率

這一攝像頭堆棧更新還包含多項(xiàng)穩(wěn)定性和圖像質(zhì)量改進(jìn)措施。

引入基于固件的可信平臺(tái)模塊

JetPack 通過在每個(gè)新版本中集成先進(jìn)的功能不斷提高安全性，為整個(gè) NVIDIA Jetson 平臺(tái)提供了強(qiáng)大的保護(hù)。

基礎(chǔ)安全功能有助于為基于 Jetson 的應(yīng)用提供強(qiáng)大而全面的安全框架，從而抵御各種威脅并確保敏感數(shù)據(jù)的機(jī)密性、完整性與保護(hù)。這些功能包括：

• 硬件信任根（RoT）

• 安全啟動(dòng)

• 可信執(zhí)行環(huán)境

• 磁盤加密

• 內(nèi)存加密

• 回滾保護(hù)

• 物理攻擊保護(hù)

JetPack 6.1 通過引入基于固件的可信平臺(tái)模塊（fTPM）提高 JetPack 平臺(tái)的安全性。fTPM 是一種基于軟件的 TPM 標(biāo)準(zhǔn)實(shí)現(xiàn)方式。

fTPM 具有諸多優(yōu)勢(shì)，例如無需額外硬件即可實(shí)現(xiàn)安全密鑰管理等，在簡(jiǎn)化系統(tǒng)設(shè)計(jì)的同時(shí)降低了成本。它支持可信啟動(dòng)和遠(yuǎn)程驗(yàn)證，確保了設(shè)備的完整性和防篡改能力，并通過保障加密操作的安全加強(qiáng)了數(shù)據(jù)保護(hù)，實(shí)現(xiàn)了安全通信。

fTPM 為 Jetson 用戶提供以下主要優(yōu)勢(shì)：

• 更強(qiáng)大的安全性：fTPM 功能通過在可信執(zhí)行環(huán)境（TEE）中創(chuàng)建專用的隔離環(huán)境，大大加強(qiáng)了加密操作的安全性，確保密鑰生成、加密等敏感流程免受外部篡改或惡意軟件攻擊。

• 數(shù)據(jù)保護(hù)：fTPM 能夠安全地存儲(chǔ)加密密鑰、數(shù)字證書、密碼等關(guān)鍵信息，防止非授權(quán)訪問。這確保了敏感數(shù)據(jù)的機(jī)密性，并且只允許授權(quán)組件進(jìn)行訪問。

• 驗(yàn)證：fTPM 可提供加密證明，使系統(tǒng)能夠向外部實(shí)體證明硬件和軟件的完整性與安全性。憑借該驗(yàn)證功能，第三方（如遠(yuǎn)程服務(wù)器或其他設(shè)備）能夠驗(yàn)證并信任系統(tǒng)的當(dāng)前狀態(tài)。

通過使用 fTPM，Jetson Orin 設(shè)備加強(qiáng)了對(duì)非授權(quán)訪問和篡改的防護(hù)，使其在 AI、機(jī)器人和邊緣計(jì)算應(yīng)用中變得更加安全。

更多信息，請(qǐng)參閱基于 Jetson 固件的 TPM：

https://docs.nvidia.com/jetson/archives/r36.4/DeveloperGuide/SD/Security/FirmwareTPM.html

發(fā)行版合作伙伴

NVIDIA Linux 發(fā)行版合作伙伴在支持 Jetson 上的產(chǎn)品方面也取得了重大進(jìn)展。以下是一些值得關(guān)注的更新：

• Canonical 現(xiàn)在擁有了一個(gè)經(jīng)過全面認(rèn)證的 Ubuntu 環(huán)境，可為 Jetson Orin 模塊提供現(xiàn)成的長(zhǎng)期支持。

• Jetson Orin 上帶有 Red Hat Enterprise Linux 9.4 的 Red Hat Device Edge 現(xiàn)在處于技術(shù)預(yù)覽階段。

• Wind River Linux 目前正在驅(qū)動(dòng)基于 Jetson Orin 的機(jī)器人和自主化產(chǎn)品。

RedHawk Linux 也在為各行各業(yè)的關(guān)鍵任務(wù)應(yīng)用提供支持，meta-tegra 社區(qū)則在協(xié)助基于Jetson 的產(chǎn)品使用 Yocto 方面發(fā)揮了重要的作用。NVIDIA 與 Linux 發(fā)行版合作伙伴的合作正日益深入，這使我們能夠提供適合各種開發(fā)和部署需求的 Linux 發(fā)行版選擇。

JetPack 分支路線圖

一個(gè) JetPack 分支通常會(huì)保持兩年左右的活躍狀態(tài)，在此期間會(huì)定期接受更新，包括新功能、CVE 修復(fù)和 PCN 新增內(nèi)容。過了這段時(shí)間，分支就會(huì)過渡到持續(xù)狀態(tài)。在持續(xù)狀態(tài)下，它將繼續(xù)接收 CVE 修復(fù)和 PCN 更新，但不再加入新功能。

JetPack 6.1 是 JetPack 6 系列的最后一個(gè)活躍版本。之后，JetPack 6 分支將過渡到持續(xù)支持階段并繼續(xù)接收 CVE 修復(fù)和 PCN 更新。圖 3 顯示了 JetPack 5 和 JetPack 6 的生命周期。

圖 3. JetPack 5 和 JetPack 6 的 JetPack 分支路線圖

Jetson 模塊產(chǎn)品生命周期更新

由于對(duì) Jetson Xavier 和 Jetson Orin 產(chǎn)品系列的需求不斷增加，NVIDIA 延長(zhǎng)了以下產(chǎn)品的生命周期：

• NVIDIA Jetson Xavier NX 16GB 模塊將從最初計(jì)劃的 2026 年第一季度延長(zhǎng)至 2028 年第一季度。

• 所有 NVIDIA Jetson Orin 商用模塊（包括 AGX Orin、Orin NX 和 Orin Nano 產(chǎn)品）的生命周期將從最初計(jì)劃的 2030 年第一季度延長(zhǎng)至 2032 年第一季度。

更多信息，請(qǐng)參閱 Jetson 產(chǎn)品生命周期：

https://developer.nvidia.com/embedded/lifecycle

總結(jié)

NVIDIA JetPack 6.1 為使用 Jetson Orin 平臺(tái)的開發(fā)者提供了實(shí)質(zhì)性的增強(qiáng)功能。該版本的一個(gè)主要特點(diǎn)是升級(jí)了攝像頭堆棧，使基于攝像頭的 AI 應(yīng)用性能最多提升了 40%。而引入基于固件的 TPM 則增強(qiáng)了安全性和設(shè)備驗(yàn)證功能，從而提高了部署的安全性。除此之外，該版本還加入了其他一些小的改進(jìn)。

Jetson Orin 用戶現(xiàn)在可以升級(jí)到 JetPack 6.1，充分利用這些進(jìn)步并為 AI 和機(jī)器人技術(shù)領(lǐng)域帶來新的可能性。

想要了解更多信息，請(qǐng)參閱以下資源：

• JetPack SDK：

  https://developer.nvidia.com/embedded/jetpack

• JetPack 6.1版本說明：

  https://docs.nvidia.com/jetson/jetpack/release-notes/index.html

• 如何安裝和設(shè)置 JetPack SDK：

  https://docs.nvidia.com/jetson/jetpack/install-setup/index.html

點(diǎn)擊“閱讀原文”，或掃描下方海報(bào)二維碼，觀看 NVIDIA CEO 黃仁勛特別演講以及和軟銀集團(tuán) CEO 孫正義的爐邊談話回放。