隨著人工智能驅動的機器人和邊緣設備的開發部署速度持續增長,下一代AI算法模型對于設備算力的要求也在逐步提升,從而應對實時并發運行的多模態AI應用場景。
例如在制造、零售、建筑、農業、物流等多種行業中,人機交互場景在不斷增加,這些自主機器人必須同時執行3D感知、自然語言理解、路徑規劃、避障、姿勢估計以及許多需要高計算性能和高準確度的AI算法模型。
NVIDIA為了應對這樣的應用場景,給出一套優秀的解決方案——Jetson邊緣計算模組。其中,Jetson Orin NX作為NVIDIA Jetson中具有超高性價比的系列,在提供卓越性能和一流能效的同時,可以全面運行的NVIDIA AI軟件堆棧,為下一代要求嚴苛的邊緣AI應用場景提供動力。
Jetson Orin NX超高性能
憑借高達100TOPS的性能,Jetson Orin NX模組可以在邊緣運行服務器級的AI算法模型,并提供端到端的服務。與此前的Jetson Xavier NX相比,Jetson Orin NX為現代AI帶來了更高的性能、能效和推理能力。
表1.Jetson Xavier與Jetson Orin能力和價格對比
圖2.Jetson Xavier和Jetson Orin模組AI TOPS性能比較
Jetson Orin NX以NVIDIA Jetson中最小的外形尺寸、可擴展的NVMe存儲,相比Jetson Xavier NX提供5倍的性能升級(或以相同的價格提升高達3倍的性能),將更高級別的性能帶入下一代邊緣產品,如巡檢機器人、無人機和手持設備等。
圖3.Jetson Orin NX大小對比
Jetson Orin NX系列應用場景
Jetson Orin NX可以和NVIDIA強大的AI軟件堆棧、SDK和軟件平臺相結合,作為高性能、小尺寸、低功耗以及有預算限制的嵌入式邊緣計算設備,應用于制造、物流、零售、服務、農業、智慧城市、醫療保健、生命科學等領域的先進人工智能機器人、邊緣檢測設備和AI應用場景。
圖4.Jetson軟件概覽
搭配NVIDIA JetPack 5.0,Jetson Orin NX與Jetson Xavier NX相比,性能同樣也有極大的提升。NVIDIA JetPack是Jetson平臺的基礎SDK,為硬件加速的邊緣AI開發提供了完整的開發環境,實現端到端加速:NVIDIA TensorRT和cuDNN用于加速AI推理、CUDA用于加速通用計算、VPI用于加速計算機視覺和圖像處理、Jetson Linux Multimedia API用于加速多媒體......
JetPack中還包含NVIDIA-container-runtime,可在邊緣端實現云原生技術和工作流,同時將AI算法模型容器化,使用云原生技術大規模管理這些模型,優化軟件開發和部署流程。
為了在Jetson平臺上快速開發完全加速的應用程序,NVIDIA還提供了適用于各種用例的應用程序框架:
1、DeepStream:快速開發和部署視覺AI應用程序和服務。DeepStream借助端到端的AI管道硬件加速插件,提供了超越硬件的推理加速功能。
2、Isaac:提供硬件加速的ROS軟件包,使ROS開發人員能夠更輕松地實現高性能機器人解決方案。
3、Omniverse:提供NVIDIA Isaac Sim,對物理環境進行高度的仿真還原、實現物理上精確的虛擬環境,以開發、測試和管理基于AI的機器人。
4、Riva:為自動語音識別(ASR)和文本轉語音(TTS)提供最先進的預訓練模型,這些模型可以輕松定制、快速開發GPU加速的對話式AI應用程序。
為了縮短可用于生產且高度準確的AI模型開發時間,NVIDIA提供一系列的工具來生成數據集、訓練和優化模型,并快速創建可部署的AI模型。
用于生成合成數據的NVIDIA Omniverse Replicator,有助于創建大量多樣化、高質量數據集以促進模型訓練,在現實世界中這不僅很難,而且有時候是不可能創建的。使用合成數據和真實數據來訓練模型,可以顯著提高模型的準確性。NVIDIA NGC提供豐富的預訓練模型,適用于各種高精準的AI應用場景。結合此前創建的真實或合成數據,NVIDIA TAO(訓練-適配-優化)可以使用這些預模型進行遷移學習,實現AI應用場景從無到有。最后使用Triton快速部署這些AI應用模型。
圖5.基于Jetson的快速AI模型應用構建流程
通過以上流程,針對不同的場景,利用Jetson-JetPack的結合,實現對AI應用場景的賦能。
1
END
1