近日,機器學習與計算神經(jīng)科學領域全球頂級學術頂級會議NeurIPS 2025公布論文錄用結果,思必馳-上海交大聯(lián)合實驗室共有5篇論文被收錄。NeurIPS(Conference on Neural Information Processing Systems)是機器學習與計算神經(jīng)科學領域的頂級學術盛會,長期匯聚來自學術界與產(chǎn)業(yè)界的最新突破,具有廣泛而深遠的國際影響力。
本次收錄的論文成果聚焦大模型訓練與指令微調的數(shù)據(jù)工程、可解釋表征與穩(wěn)健泛化等前沿方向,為思必馳大模型人機對話產(chǎn)品的核心能力提供技術支撐。相關研究成果在實際應用中,支撐了多智能體協(xié)同與復雜任務拆解執(zhí)行、提升了Agent的自治規(guī)劃與容錯能力,在端到端語音理解與生成中實現(xiàn)了更高的魯棒性與跨模態(tài)一致性,同時為生態(tài)Agent的分發(fā)管控與個性化對話記憶提供了可解釋的模型基礎。這些進展讓產(chǎn)品在車載語音、家庭助手、客服中臺等場景下,能夠以更穩(wěn)定、更智能、更自然的方式完成任務與交互,推動人機協(xié)同體驗的全面升級。下面介紹本次收錄的代表性成果:
指令微調的數(shù)據(jù)選取與可解釋表征學習
Task-Specific Data Selection for Instruction Tuning via Monosemantic Neuronal Activations
以模型內部神經(jīng)元激活而非僅文本語義來表征樣本,并通過稀疏自編碼器將多義激活解耦為可解釋的“單義”特征,在稀疏空間完成任務對齊與相似度度量,實現(xiàn)更穩(wěn)健的數(shù)據(jù)精選,為企業(yè)級指令微調與垂直應用提供“少而精”的數(shù)據(jù)基座。

論文簡介:指令微調顯著提升了大語言模型對多樣化人類指令的遵循能力,但在特定目標任務上取得更優(yōu)表現(xiàn)的關鍵瓶頸在于如何以盡可能小的代價挑選最相關的數(shù)據(jù)。現(xiàn)有方法要么依賴易受噪聲與實現(xiàn)細節(jié)影響的影響力估計,要么采用穩(wěn)定但高度依賴樣本表征質量的分布對齊。而無論是BM25等淺層特征,還是BGE、LLM2Vec等神經(jīng)嵌入,都往往難以反映模型實際的內部計算。為此,本文提出以模型為中心的數(shù)據(jù)選擇范式MONA:以基座模型特定層的神經(jīng)元激活直接表征樣本,使表示與模型決策過程同構。再利用稀疏自編碼器將多義激活解耦為稀疏、可解釋的單義特征,并在該空間構建更契合稀疏性的相似性度量以對齊目標任務原型,從而穩(wěn)健打分并篩選候選樣本。覆蓋多數(shù)據(jù)源、多任務、多模型與多選取比例的系統(tǒng)實驗表明,MONA在穩(wěn)定性與任務特定性能上持續(xù)優(yōu)于現(xiàn)有基線。在若干設置下,經(jīng)MONA精選的少量數(shù)據(jù)即可達到或超過全量微調的效果,同時顯著降低訓練成本并提升可解釋性與遷移性。
長期以來,思必馳深度參與國內外學術前沿研究,在ICASSP、INTERSPEECH、ACL、EMNLP、AAAI、ICML、NeurIPS等頂級學術會議上屢獲佳績,持續(xù)產(chǎn)出高質量科研成果。思必馳-上海交大聯(lián)合實驗室憑借一系列高水平論文,彰顯了在人工智能語音語言關鍵技術領域的深度探索和重大突破,為行業(yè)的發(fā)展注入了強大動力。思必馳秉持科研與產(chǎn)業(yè)應用緊密結合的理念,未來也將持續(xù)探索科技成果的應用轉化。
作為專業(yè)的對話式人工智能平臺型企業(yè),思必馳具有源頭技術創(chuàng)新和應用創(chuàng)新的能力,自2022年7月獲國家科技部批準建設“語言計算國家新一代人工智能開放創(chuàng)新平臺”以來,接連于2023-2024年獲批組建蘇州市、江蘇省、長三角三級創(chuàng)新聯(lián)合體,并于2025年攜手上海交通大學、蘇州大學,牽頭組建“江蘇省語言計算及應用重點實驗室”,成為國家人工智能戰(zhàn)略科技力量的重要組成部分。
思必馳承擔了包括國家重點研發(fā)計劃、國家發(fā)改委“互聯(lián)網(wǎng)+”重大工程和人工智能創(chuàng)新發(fā)展工程、國家工信部人工智能與實體經(jīng)濟深度融合項目、長三角科技創(chuàng)新共同體聯(lián)合攻關計劃項目等十余項國家級、省部級項目,展現(xiàn)出卓越的科研實力與項目落地能力。
思必馳深耕語音語言領域,憑借自主研發(fā)的核心技術多次在國際研究機構評測中奪得冠軍;曾三度斬獲國內人工智能最高獎“吳文俊獎”,榮獲中國專利優(yōu)秀獎,以及信通院車載智能語音交互系統(tǒng)最高級別認證等重要榮譽。技術創(chuàng)新能力備受全球矚目,被高盛全球人工智能報告列為關鍵參與者,也被Gartner評為東亞五大明星AI公司之一。
截至2024年年底,思必馳擁有近100項全球獨創(chuàng)技術,已授權知識產(chǎn)權1597件,其中已授權發(fā)明專利633項,參與了71項國家/行業(yè)/團體標準,獲得23項國家級的產(chǎn)品認證。近期,大模型人機對話技術創(chuàng)新與產(chǎn)業(yè)賦能發(fā)展提速,思必馳堅持自主的大模型技術路線,即“構建可靠性優(yōu)先的1+N分布式智能體系統(tǒng):1 個中樞大模型+ N 個垂域模型及全鏈路交互組件組成全功能系統(tǒng)”,以任務型交互為核心,結合智能硬件感知優(yōu)勢,構建垂域大模型和中樞大模型系統(tǒng),服務企業(yè)客戶。
-
實驗室
+關注
關注
0文章
280瀏覽量
20237 -
機器學習
+關注
關注
66文章
8534瀏覽量
136042 -
思必馳
+關注
關注
4文章
366瀏覽量
15841
原文標題:NeurIPS2025|思必馳-上海交大聯(lián)合實驗室5篇論文被收錄
文章出處:【微信號:思必馳,微信公眾號:思必馳】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
強強聯(lián)合:之江實驗室與沐曦股份共建智算集群聯(lián)合實驗室
華為星辰聯(lián)合創(chuàng)新實驗室揭牌成立
思必馳聲音轉換算法通過國家備案
思必馳7月份大事件回顧
思必馳與上海交大聯(lián)合實驗室研究成果入選兩大頂級會議
格靈深瞳六篇論文入選ICCV 2025
思必馳與上海交大聯(lián)合實驗室兩篇論文入選ICML 2025
思必馳AI辦公本亮相京東直播間
思必馳技術創(chuàng)新加速AI產(chǎn)業(yè)化落地
思必馳與上海交大聯(lián)合實驗室12篇論文被ICASSP 2025收錄

思必馳與上海交大聯(lián)合實驗室五篇論文入選NeurIPS 2025
評論