近日，沐曦PDE-AI Solution團隊與香港科技大學(xué)合作，在兩大人工智能頂級會議NeurIPS2025與EMNLP 2025上發(fā)表重要研究成果，涵蓋大語言模型（LLM）的多樣化解碼與高效訓(xùn)練優(yōu)化方向，展現(xiàn)了中國企業(yè)在AI基礎(chǔ)研究領(lǐng)域的持續(xù)創(chuàng)新力。

頂會背景：AI研究的全球高地

關(guān)于NeurIPS

定位與聲譽：人工智能和機器學(xué)習(xí)領(lǐng)域的“天花板”級會議，與ICML并列為全球最頂尖的兩大會議。被工業(yè)界（如Google, Meta, OpenAI等）視為技術(shù)風(fēng)向標(biāo)。NeurIPS的論文錄用，是全球?qū)W術(shù)界與工業(yè)界評估機構(gòu)與個人在人工智能基礎(chǔ)研究領(lǐng)域核心競爭力的黃金標(biāo)準(zhǔn)，是通往全球頂尖AI研究機構(gòu)的關(guān)鍵履歷。

特點：非常注重論文的理論深度、算法創(chuàng)新和基礎(chǔ)性貢獻。涵蓋深度學(xué)習(xí)、強化學(xué)習(xí)、概率模型、計算機視覺、人工智能倫理等廣泛而核心的機器學(xué)習(xí)方向。

難度：歷年錄用率極低（通常在20%-25%左右），2025年投稿數(shù)20000+， 競爭極為激烈。

關(guān)于EMNLP

定位與聲譽：自然語言處理領(lǐng)域的世界頂級會議之一，由國際計算語言學(xué)協(xié)會（ACL）主辦， NLP領(lǐng)域的三大頂會之一。在EMNLP上發(fā)表論文，是展現(xiàn)研究機構(gòu)在自然語言處理領(lǐng)域具備世界級創(chuàng)新與應(yīng)用能力的權(quán)威證明，已成為全球頭部科技公司及實驗室爭相吸納高端人才的重要依據(jù)。

特點：側(cè)重于具有堅實實證基礎(chǔ)的自然語言處理研究，強調(diào)通過實驗和數(shù)據(jù)分析來驗證新方法、新模型的有效性。覆蓋機器翻譯、文本生成、信息抽取、情感分析、大語言模型等熱門方向。

難度：作為NLP領(lǐng)域的旗艦會議，EMNLP吸引了全球頂尖高校和科技公司的投稿，2025年投稿數(shù)接近10000，歷年錄用率極低（通常在15%-20%左右）。

Semantic-guided Diverse Decoding for Large Language Model (NeurIPS 2025）

論文鏈接：https://arxiv.org/pdf/2506.23601

摘要

在大語言模型（LLM）的實際應(yīng)用中，生成多樣且有意義的回答始終是關(guān)鍵需求 —— 無論是 Best-of-N 策略中通過多候選提升小模型性能，還是 RLHF 訓(xùn)練中通過多樣本優(yōu)化獎勵信號，亦或是數(shù)據(jù)合成時構(gòu)建豐富訓(xùn)練集，都需要模型跳出換詞不換義的局限。

然而，當(dāng)前主流的解碼方法如溫度采樣、多樣化束搜索等，大多只能實現(xiàn)表層詞匯的多樣性，生成的回答看似不同，核心語義卻高度重合。這一痛點嚴(yán)重制約了大模型在復(fù)雜任務(wù)中的潛力。

香港科技大學(xué)聯(lián)合沐曦研究團隊提出了SemDiD（Semantic-guided Diverse Decoding）—— 一種直接在語義嵌入空間操作的解碼算法，通過三大核心機制實現(xiàn)質(zhì)量與多樣性的平衡，在 Best-of-N 和 RLHF 任務(wù)中均實現(xiàn)顯著性能提升。

核心痛點：現(xiàn)有解碼方法的

語義多樣性陷阱

為什么現(xiàn)有多樣化解碼方法效果有限？研究團隊通過實驗指出了兩大關(guān)鍵問題：

多樣性停留在詞匯層面：溫度采樣通過調(diào)整概率分布增加隨機性，多樣化束搜索通過 n-gram 懲罰避免重復(fù)，但這些方法均未觸及語義層面。例如，對于如何解決數(shù)學(xué)應(yīng)用題的問題，模型可能生成先算 A 再算 B和先計算 A 然后計算 B這類表層差異，而非不同解題思路。

概率評估的固有偏見：傳統(tǒng)方法用 token 概率衡量回答質(zhì)量，但存在嚴(yán)重的位置偏差和長度偏差 —— 序列越靠后的 token 因上下文更確定，概率往往更高；句子中遠(yuǎn)離標(biāo)點的 token 也會獲得更高置信度。這導(dǎo)致長回答被過度高估，短回答被不公平扣分，質(zhì)量評估失真。

SemDiD：三大機制實現(xiàn)

語義級多樣化解碼

SemDiD 的核心思路是直接在語義嵌入空間引導(dǎo)解碼過程，而非在 token 層面做文章。它通過正交方向引導(dǎo)、動態(tài)組間排斥、去偏概率評估三大機制，同時保證回答質(zhì)量與語義多樣性，整體架構(gòu)如圖 1 所示。

實驗：在 Best-of-N 和 RLHF 中

全面領(lǐng)先

研究團隊在 9 個基準(zhǔn)任務(wù)（涵蓋推理、問答、機器翻譯）和 3 種 RLHF 算法（Iterative-RLHF、GRPO、RLOO）上驗證了 SemDiD 的效果，對比了溫度采樣、算術(shù)采樣、多樣化束搜索等主流方法。

1. Best-of-N 任務(wù)：覆蓋度提升 1.4%-5.2%

Best-of-N 的核心指標(biāo)是「覆蓋度」（測試集中至少有一個正確回答的樣本比例）和「準(zhǔn)確率」（通過投票 / LLM-Judge 選出正確回答的比例）。結(jié)果顯示：

在推理任務(wù)中，SemDiD 用 25 個樣本實現(xiàn) 82.4%（ARC-Challenge）、85.6%（BBH）、98.1%（GSM8K）的覆蓋度，較最佳基線提升 1.8%-4.3%。

在問答任務(wù)中，MMLU-Pro + 的覆蓋度提升最為顯著，達 5.2%（25 個樣本時 82.63% vs 77.43%）。

即使是小嵌入模型（0.5B 參數(shù)），SemDiD 的語義聚類效果也優(yōu)于基于 n-gram 的聚類，25 個樣本時覆蓋度達 95%，遠(yuǎn)超概率選擇的 92%。

2. RLHF 任務(wù)：訓(xùn)練收斂加速 15%，準(zhǔn)確率提升 2.1%

在 RLHF 訓(xùn)練中，多樣化的候選能提供更豐富的獎勵信號，避免策略坍縮。實驗顯示：

在 TLDR 摘要任務(wù)中，SemDiD 使 GRPO 算法的 win rate（GPT-o1-mini 評估）達 73.4%，較最佳基線提升 3.2%。

在 GSM8K 數(shù)學(xué)推理任務(wù)中，SemDiD 幫助 Iterative-RLHF、GRPO、RLOO 的準(zhǔn)確率分別達 85.5%、88.2%、82.4%，最高提升 2.1%。

更重要的是，SemDiD 使 RLHF 訓(xùn)練收斂速度加快 15%—— 在 60 次 rollout 時就能達到其他方法 100 次 rollout 的性能，大幅降低訓(xùn)練成本。

Domain Impact-aware Data Sampling for Large Language Model Training (EMNLP 2025）

論文鏈接：https://arxiv.org/pdf/2504.13227

摘要

在大語言模型（LLM）訓(xùn)練中，數(shù)據(jù)選擇始終是決定效率與性能的關(guān)鍵 —— 海量多領(lǐng)域訓(xùn)練數(shù)據(jù)（如代碼、學(xué)術(shù)論文、網(wǎng)頁文本）中，不同領(lǐng)域?qū)ο掠稳蝿?wù)的貢獻差異巨大，且這種貢獻會隨訓(xùn)練過程動態(tài)變化。傳統(tǒng)靜態(tài)采樣策略（如均勻采樣、固定比例混合）要么浪費算力在低效數(shù)據(jù)上，要么無法適應(yīng)訓(xùn)練動態(tài)，導(dǎo)致模型性能難以最大化。

香港科技大學(xué)聯(lián)合沐曦的研究團隊提出DIDS（Domain Impact-aware Data Sampling）—— 一種基于領(lǐng)域影響的動態(tài)數(shù)據(jù)采樣框架。它通過梯度聚類重劃分領(lǐng)域、FIM 引導(dǎo)評估領(lǐng)域影響、結(jié)合學(xué)習(xí)軌跡動態(tài)調(diào)整采樣比例三大核心步驟，在僅使用 10% 訓(xùn)練數(shù)據(jù)的情況下，實現(xiàn)平均 3.4% 的性能提升，同時保持訓(xùn)練效率與基線相當(dāng)。

核心痛點：傳統(tǒng)領(lǐng)域采樣策略的

兩大局限

現(xiàn)有領(lǐng)域級數(shù)據(jù)采樣方法難以平衡領(lǐng)域內(nèi)一致性與動態(tài)影響評估，導(dǎo)致訓(xùn)練效率低下：

領(lǐng)域劃分缺乏訓(xùn)練相關(guān)性：傳統(tǒng)方法要么按數(shù)據(jù)源（如 “代碼數(shù)據(jù)”“數(shù)學(xué)數(shù)據(jù)”）劃分領(lǐng)域，要么用 BERT 語義聚類，但這些方式無法保證同一領(lǐng)域內(nèi)的數(shù)據(jù)對模型訓(xùn)練有相似影響。例如，數(shù)學(xué)證明與編程實現(xiàn)雖屬不同數(shù)據(jù)源，卻因共享邏輯推理特性，對模型參數(shù)更新的模式高度相似；反之，同一數(shù)據(jù)源的網(wǎng)頁文本也可能因內(nèi)容差異觸發(fā)完全不同的梯度變化。

領(lǐng)域影響評估失真且靜態(tài)：現(xiàn)有方法要么依賴計算昂貴的網(wǎng)格搜索（如 MM1），無法適應(yīng)訓(xùn)練過程中領(lǐng)域重要性的動態(tài)變化；要么僅通過梯度相似度衡量領(lǐng)域影響（如 DGA、Doge），卻忽略了參數(shù)更新對模型下游任務(wù)預(yù)測行為的實際影響。例如，梯度相似的兩個領(lǐng)域，可能對模型在數(shù)學(xué)推理任務(wù)上的輸出分布改變程度完全不同。

DIDS：三步實現(xiàn)動態(tài)領(lǐng)域采樣優(yōu)化

DIDS 的核心思路是從 “訓(xùn)練影響” 出發(fā)定義領(lǐng)域，并動態(tài)評估領(lǐng)域?qū)ο掠稳蝿?wù)的實際價值，最終實現(xiàn)資源向高價值領(lǐng)域傾斜。其整體流程分為 “領(lǐng)域重劃分”“領(lǐng)域影響評估”“采樣比例更新” 三步（圖 2），形成閉環(huán)優(yōu)化。

實驗：10% 數(shù)據(jù)實現(xiàn) 3.4%

性能提升，多場景驗證有效性

研究團隊在 Llama-3.1-8B/70B、Mixtral-7B 等模型上，基于 Tulu-3（93.9 萬樣本）和 OpenHermes-2.5 數(shù)據(jù)集，在 9 個下游任務(wù)（涵蓋推理、數(shù)學(xué)、指令跟隨、生物醫(yī)學(xué)問答等）上驗證了 DIDS 的效果，對比了均勻采樣、Random、Doremi、Velocitune、Doge、DGA 等主流基線。

多任務(wù)優(yōu)化：DIDS 僅用 10 萬樣本（約 10% 全量數(shù)據(jù)），平均得分 62.3，不僅超過所有基線（如最強基線 Doge 得 60.2），還超越了全量數(shù)據(jù)訓(xùn)練的模型（61.2）。其中數(shù)學(xué)推理任務(wù)提升最顯著，Minerva-MathQA 從 17.8 提升至 20.5（+2.7），TruthfulQA 從 37.2 提升至 43.0（+5.8）。

單任務(wù)優(yōu)化：DIDS 平均得分 63.7，較第二好的 DGA（61.6）提升 2.1，在知識密集型任務(wù)上優(yōu)勢明顯 ——IFEval（指令跟隨）從 53.2 提升至 57.5（+4.3），TruthfulQA 從 38.5 提升至 44.8（+6.3）。

關(guān)于沐曦

沐曦致力于自主研發(fā)全棧高性能GPU芯片及計算平臺，為智算、通用計算、云渲染等前沿領(lǐng)域提供高能效、高通用性的算力支撐，助力數(shù)字經(jīng)濟發(fā)展。