借助 Grace Hopper 超級(jí)芯片，有助于用戶個(gè)性化互聯(lián)網(wǎng)的大規(guī)模 AI 模型的性能更加準(zhǔn)確。

作為互聯(lián)網(wǎng)的經(jīng)濟(jì)引擎，推薦系統(tǒng)獲得了 NVIDIA Grace Hopper 超級(jí)芯片的全新加持。

推薦系統(tǒng)每天向數(shù)十億人提供數(shù)萬億的搜索結(jié)果、廣告、產(chǎn)品、音樂和新聞報(bào)道。這些系統(tǒng)在幫助用戶從嘈雜的信息中獲取有用信息時(shí)令人難以置信地高效，因此是我們這個(gè)時(shí)代最重要的 AI 模型之一。

這些機(jī)器學(xué)習(xí)工作流使用 TB 級(jí)數(shù)據(jù)。推薦系統(tǒng)消耗的數(shù)據(jù)越多，結(jié)果就越準(zhǔn)確，所提供的投資回報(bào)就越多。

為了應(yīng)對(duì)這些數(shù)據(jù)海嘯，各公司已經(jīng)開始采用加速計(jì)算來為客戶提供個(gè)性化服務(wù)。Grace Hopper 將把加速計(jì)算帶來的好處提升到一個(gè)新的高度。

GPU 可將參與度提高 16%

圖片共享社交媒體公司 Pinterest 通過采用 NVIDIA GPU，可以將推薦系統(tǒng)模型的規(guī)模提升至原來的 100 倍。直接幫助其 4 億多用戶的參與度提高了 16%。

該公司的一位軟件工程師在最近的一篇博客中表示：“通常情況下，能有 2% 的增長(zhǎng)我們就已經(jīng)感到很滿意了，而現(xiàn)在，16% 僅僅是個(gè)開始。我們看到了額外的收益，它打開了許多機(jī)會(huì)之門。”

新一代 NVIDIA AI 平臺(tái)有望為使用超大規(guī)模推薦系統(tǒng)模型處理大規(guī)模數(shù)據(jù)集的公司帶來更大的收益。

由于數(shù)據(jù)是 AI 的燃料，Grace Hopper 相比地球上任何其他處理器旨在將更多數(shù)據(jù)輸送給推薦系統(tǒng)。

NVLink 加速 Grace Hopper

Grace Hopper 能夠?qū)崿F(xiàn)這一點(diǎn)，是因?yàn)樗且环N超級(jí)芯片，一個(gè)單元包含兩個(gè)芯片，共享高速的芯片到芯片互連。它包括一個(gè)基于 ARM 的 NVIDIA Grace CPU 和一個(gè) Hopper GPU，它們之間通過 NVIDIA NVLink-C2C 進(jìn)行通信。

此外，NVLink 還將許多超級(jí)芯片連接成一個(gè)超級(jí)系統(tǒng)，是專為運(yùn)行 TB 級(jí)推薦系統(tǒng)而構(gòu)建的計(jì)算集群。

NVLink 以高達(dá)每秒 900 GB 的速度傳輸數(shù)據(jù)，是 PCIe 5.0 帶寬的 7 倍，后者是即將推出的前沿系統(tǒng)將使用的互聯(lián)帶寬。

這意味著 Grace Hopper 向推薦系統(tǒng)提供 7 倍以上的向量表示（包含上下文），滿足用戶對(duì)個(gè)性化結(jié)果的需求。

內(nèi)存越大，效率越高

Grace CPU 使用 LPDDR5X，這種內(nèi)存在用于推薦系統(tǒng)和其他要求苛刻的工作負(fù)載時(shí)，能夠在帶寬、能效、容量和成本之間達(dá)到最佳平衡。它提供的帶寬增加 50%，而每 GB 的功耗僅為傳統(tǒng) DDR5 內(nèi)存子系統(tǒng)的八分之一。

集群中的任何 Hopper GPU 都可以通過 NVLink 訪問 Grace 的內(nèi)存。這是 Grace Hopper 的一項(xiàng)功能，可提供之前沒有的龐大的 GPU 顯存池。

此外，NVLink-C2C 每傳輸一位數(shù)據(jù)僅需 1.3 皮焦，其能效是 PCIe 5.0 的 5 倍以上。

總體效果上，與采用傳統(tǒng) CPU 的 Hopper 相比，推薦系統(tǒng)在使用 Grace Hopper 時(shí)的性能和效率提升高達(dá) 4 倍（請(qǐng)參閱下圖）。

您需要的所有軟件

Grace Hopper 超級(jí)芯片使用全堆棧的 NVIDIA AI 軟件，這些軟件被用于當(dāng)今世界最大的推薦系統(tǒng)之中。

NVIDIA Merlin 是推薦系統(tǒng)的強(qiáng)大動(dòng)力，它包含構(gòu)建 AI 系統(tǒng)的模型、方法和庫的集合，可以提供更好的預(yù)測(cè)并增加點(diǎn)擊率。

NVIDIA Merlin HugeCTR 是一種推薦系統(tǒng)框架，可在 NVIDIA 集合通信庫的幫助下，幫助用戶在分布式 GPU 集群下快速處理大量數(shù)據(jù)集。

審核編輯：湯梓紅