計算機(jī)發(fā)展成為今天的機(jī)器有著悠久的歷史，今天看到的許多計算機(jī)都遵循類似的設(shè)計結(jié)構(gòu)，至少包含CPU、GPU、內(nèi)存和存儲。迄今為止，我們對計算機(jī)設(shè)計的了解大部分都是基于這些使計算機(jī)正常運(yùn)行的關(guān)鍵組件。每個組件都帶來了獨(dú)特的作用和功能，可以讓計算機(jī)輸出一定的性能。就GPU而言，這個特定的部分早已發(fā)展成為拼圖中非常專業(yè)且獨(dú)特的部分。

GPU早已超越了渲染圖形的最初目的，成為并行處理任務(wù)不可或缺的工具，尤其是在當(dāng)今的人工智能和機(jī)器學(xué)習(xí)應(yīng)用中。隨著這些應(yīng)用程序的快速增長，GPU迅速普及，成為許多人利用工業(yè)4.0自動化或機(jī)器人技術(shù)中繁重工作負(fù)載需求的關(guān)鍵組件。當(dāng)計算機(jī)集成GPU時，這些系統(tǒng)會帶來增強(qiáng)的性能，從而實(shí)現(xiàn)比傳統(tǒng)CPU本身更強(qiáng)大的處理能力。 GPU擅長同時執(zhí)行大量計算，這使其成為神經(jīng)網(wǎng)絡(luò)訓(xùn)練和邊緣AI推理的基礎(chǔ)任務(wù)的理想選擇。

由于GPU技術(shù)是并行處理的基礎(chǔ)，因此迄今為止，NVIDIA一直是強(qiáng)大顯卡背后的半導(dǎo)體技術(shù)的主要設(shè)計者之一。該公司為世界各地的用戶設(shè)計并提供其 CUDA 核心技術(shù)，以訪問其專有的圖形處理單元來運(yùn)行從視頻游戲到繁重工作負(fù)載人工智能軟件的所有內(nèi)容。工業(yè) 4.0 受益于GPU的強(qiáng)大影響，尤其是當(dāng)今人工智能技術(shù)的巨大繁榮。隨著越來越多的人工智能應(yīng)用程序占領(lǐng)當(dāng)今的市場，越來越多的嵌入式應(yīng)用程序正在尋求利用異構(gòu)特定領(lǐng)域計算架構(gòu)的新方法，例如 GPU 或類似的性能加速器。

?

然而，許多工業(yè)應(yīng)用始終面臨的一個令人不安的問題是散熱功率和熱量背后的自然物理原理，尤其是在GPU中。 GPU很大，會產(chǎn)生大量熱量并消耗大量電量。當(dāng)今市場上的許多消費(fèi)級GPU都具有巨大的功耗，通常不適合工業(yè)計算機(jī)，而無需訴諸某種主動冷卻方法。

Jetson是什么？

NVIDIA認(rèn)識到許多工業(yè)環(huán)境在實(shí)施AI和邊緣計算時面臨的挑戰(zhàn)，尤其是涉及GPU時。隨著人工智能應(yīng)用擴(kuò)展到傳統(tǒng)數(shù)據(jù)中心和云環(huán)境之外，人們越來越需要一個能夠?qū)⑷斯ぶ悄軣o縫集成到邊緣設(shè)備且沒有任何缺點(diǎn)的專用平臺。 NVIDIA尋求實(shí)現(xiàn)AI民主化，并為許多工業(yè)應(yīng)用創(chuàng)建更易于訪問的解決方案。其動機(jī)是讓開發(fā)人員、研究人員和各種規(guī)模的企業(yè)能夠利用人工智能的力量，而無需經(jīng)歷通常與大規(guī)模計算基礎(chǔ)設(shè)施相關(guān)的復(fù)雜性。

該產(chǎn)品是NVIDIA的Jetson平臺，它是一系列嵌入式AI計算設(shè)備，旨在將深度學(xué)習(xí)和計算機(jī)視覺的變革能力引入邊緣設(shè)備或更不穩(wěn)定的遠(yuǎn)程環(huán)境。 Jetson系列的核心是提供高性能GPU、專用AI硬件和全面的軟件堆棧的獨(dú)特組合，以實(shí)現(xiàn)在現(xiàn)實(shí)場景中部署智能應(yīng)用程序。傳統(tǒng) x86系統(tǒng)帶來的痛點(diǎn)為NVIDIA努力創(chuàng)建一個能夠緩解世界各地許多人目前面臨的共同挑戰(zhàn)的系統(tǒng)鋪平了道路。

了解 Jetson 模塊，主要設(shè)計獨(dú)特性：

每個NVIDIA Jetson都是一個完整的模塊系統(tǒng) (SoM)，包括GPU、CPU、內(nèi)存、電源管理、高速接口等。這些組件經(jīng)過優(yōu)化，可提供高性能人工智能推理，同時保持功效，使邊緣設(shè)備能夠高效運(yùn)行復(fù)雜的人工智能算法。通過將所有關(guān)鍵部件組合到一個模塊中，NVIDIA Jetson 可以與更小、空間受限的解決方案集成，而無需犧牲許多邊緣設(shè)備所需的性能或能效。

Jetson平臺的進(jìn)一步與眾不同之處還在于NVIDIA獨(dú)特的設(shè)計理念。NVIDIA將Jetson打造為不僅僅是一款專用硬件，還創(chuàng)建了一個專為Jetson設(shè)備上的AI開發(fā)量身定制的工具生態(tài)系統(tǒng)。這包括對TensorFlow和NVIDIA自己的TensorRT等流行AI框架的支持，以及用于計算機(jī)視覺和深度學(xué)習(xí)的庫和 API。此外，NVIDIA對開源軟件和全面文檔的承諾培育了一個協(xié)作生態(tài)系統(tǒng)，社區(qū)可以為平臺的持續(xù)改進(jìn)做出貢獻(xiàn)并從中受益。NVIDIA的Jetpack SDK 是該公司最全面的Jetson產(chǎn)品庫，為客戶提供構(gòu)建端到端AI解決方案的完整解決方案。

Jetson的獨(dú)特設(shè)計

Jetson平臺的獨(dú)特之處不僅在于其原始計算能力，還在于其獨(dú)特的設(shè)計理念。 NVIDIA采用整體方法打造Jetson設(shè)備，同時考慮硬件和軟件方面，以打造無縫的開發(fā)體驗。

JetsonOrin模塊系列

最新的 NVIDIA Jetson設(shè)備是Jetson Orin 系列（于2023年3月推出），提供三種不同的外形尺寸，可以處理需要實(shí)時處理、數(shù)據(jù)遙測和豐富的I/O靈活性的各種邊緣AI工作負(fù)載。

Jetson AGX Orin模塊

Jetson AGX Orin 模塊可提供高達(dá) 275 TOPS 的 AI 性能，功率可配置在 15W 至 60W 之間。這是 Jetson Orin 系列中的旗艦型號，提供最高的性能和功能。它專為自動駕駛汽車、機(jī)器人、工業(yè)自動化和智慧城市等領(lǐng)域要求嚴(yán)格的人工智能應(yīng)用而設(shè)計。AGX Orin模塊提供強(qiáng)大的處理能力，適合需要實(shí)時AI推理、傳感器融合和高性能計算的應(yīng)用。

JetsonOrin NX模塊

Jetson Orin NX 模塊以最小的Jetson外形尺寸提供高達(dá)100 TOPS的AI性能，功率可配置在10W至25W之間。 Orin NX型號定位為中檔選項，在性能、功效和成本效益之間實(shí)現(xiàn)了平衡。它適用于廣泛的AI邊緣計算應(yīng)用，包括智能相機(jī)、無人機(jī)、智能家電和嵌入式AI系統(tǒng)。 Orin NX 模塊提供強(qiáng)大的處理能力，同時與AGX模塊相比更加緊湊且更具成本效益。

JetsonOrinNano 模塊

Jetson Orin Nano 系列模塊以最小的 Jetson 外形尺寸提供高達(dá) 40 TOPS 的 AI 性能，功率選項在 7W 至 15W 之間。 Orin Nano 是 Jetson Orin 系列中的入門級型號，面向優(yōu)先考慮較低功耗和成本但仍需要 AI 處理能力的應(yīng)用。它適用于邊緣 AI 設(shè)備、IoT（物聯(lián)網(wǎng)）設(shè)備以及空間、功耗和成本限制是關(guān)鍵因素的其他嵌入式系統(tǒng)。

應(yīng)用領(lǐng)域

Jetson 平臺的多功能性為各個行業(yè)的無數(shù)應(yīng)用程序打開了大門。一些值得注意的實(shí)現(xiàn)包括：自動駕駛汽車、機(jī)器人技術(shù)、智慧城市、衛(wèi)生保健、工業(yè)物聯(lián)網(wǎng)。

為工作選擇正確的工具

對于 NVIDIA Jetson，這并不一定會削弱GPU作為處理能力來源的能力。相反，它為系統(tǒng)集成商和原始設(shè)備制造商在決定如何實(shí)施人工智能計算任務(wù)解決方案時提供了更多選擇。當(dāng)涉及到工業(yè)應(yīng)用時，總是需要考慮某些因素。在很多情況下，GPU 可能是比選擇 Jetson 更有利的選擇，反之亦然。

• GPU：在訓(xùn)練大規(guī)模神經(jīng)網(wǎng)絡(luò)或執(zhí)行需要巨大計算能力的復(fù)雜人工智能算法時選擇 GPU。 GPU 在大規(guī)模并行性和原始計算能力至關(guān)重要的場景中表現(xiàn)出色。
• Jetson：選擇 Jetson 設(shè)備在邊緣部署 AI 應(yīng)用程序，其中低延遲、電源效率和緊湊外形等因素至關(guān)重要。 Jetson 擅長于需要實(shí)時推理并集成到小型、資源受限設(shè)備的場景。
• 其他 AI 加速器 (TPU)- 另一種選擇可能是完全不同的路線，其中張量處理單元可能比 GPU 或 Jetson 更有利。在許多情況下，在某些應(yīng)用中從 x86 過渡到 ARM 可能弊大于利。這些加速器是 GPU 和 NVIDIA Jetson 的低功耗、快速性能替代品。

結(jié)論

在人工智能計算的動態(tài)格局中，GPU 和 NVIDIA Jetson 平臺都扮演著不可或缺的角色，各自滿足不同的需求和用例。通過了解這些技術(shù)的優(yōu)勢和應(yīng)用，開發(fā)人員和工程師可以有效地利用它們來推動創(chuàng)新并釋放人工智能在不同領(lǐng)域的全部潛力。無論是利用 GPU 的并行處理能力，還是通過 Jetson 在邊緣直接部署 AI，AI 計算的未來都充滿了可能性，等待著人們?nèi)ヌ剿骱屠茫愿纳粕鐣?/p>