影響AI生態(tài)系統(tǒng)的七大主要趨勢(shì)

過(guò)去，計(jì)算機(jī)只能在人類(lèi)語(yǔ)言首先被翻譯成代碼后才能理解。但通過(guò)使用NLP，機(jī)器能夠在文本保持其自然狀態(tài)的情況下獲取智能。

2024-01-31 標(biāo)簽：AI自然語(yǔ)言處理nlp 2.9k 0

基礎(chǔ)模型能為機(jī)器人帶來(lái)怎樣的可能性？

機(jī)器人是一種擁有無(wú)盡可能性的技術(shù)，尤其是當(dāng)搭配了智能技術(shù)時(shí)。近段時(shí)間創(chuàng)造了許多變革性應(yīng)用的大模型有望成為機(jī)器人的智慧大腦，幫助機(jī)器人感知和理解這個(gè)世界并...

2024-01-26 標(biāo)簽：機(jī)器人計(jì)算機(jī)視覺(jué)自然語(yǔ)言處理 585 0

Continous Batching大模型推理關(guān)鍵技術(shù)

TurboTransformers算是比較早期指出輸入變長(zhǎng)需要新的Batching方法的論文。在2020年上半年，我開(kāi)始思考如何把變長(zhǎng)輸入Batchin...

2024-01-23 標(biāo)簽：gpuGPTnlp 1.3k 0

Transformers的功能概述

近年來(lái)，我們聽(tīng)說(shuō)了很多關(guān)于Transformers的事情，并且在過(guò)去的幾年里，它們已經(jīng)在NLP領(lǐng)域取得了巨大成功。Transformers是一種使用注意...

2024-01-23 標(biāo)簽：編碼器模型nlp 1.5k 0

教您如何精調(diào)出自己的領(lǐng)域大模型

BERT和 GPT-3 等語(yǔ)言模型針對(duì)語(yǔ)言任務(wù)進(jìn)行了預(yù)訓(xùn)練。微調(diào)使它們適應(yīng)特定領(lǐng)域，如營(yíng)銷(xiāo)、醫(yī)療保健、金融。在本指南中，您將了解 LLM 架構(gòu)、微調(diào)過(guò)程...

2024-01-19 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)nlpChatGPT 2.9k 0

詳解機(jī)器人技術(shù)基礎(chǔ)模型

基礎(chǔ)模型在解決機(jī)器人技術(shù)中的數(shù)據(jù)稀缺問(wèn)題上至關(guān)重要。它們?yōu)槭褂米钌俚奶囟〝?shù)據(jù)學(xué)習(xí)和適應(yīng)新任務(wù)提供了堅(jiān)實(shí)的基礎(chǔ)。

2024-01-08 標(biāo)簽：機(jī)器人人工智能自然語(yǔ)言處理 931 0

如何利用位置編碼實(shí)現(xiàn)長(zhǎng)度外推？

無(wú)論是縮放位置索引還是修改基地，所有token都變得彼此更接近，這將損害LLM區(qū)分相近token的位置順序的能力。結(jié)合他們對(duì)RoPE的波長(zhǎng)的觀察，存在一...

2024-01-08 標(biāo)簽：語(yǔ)言模型Transformer位置編碼器 876 0

NLP領(lǐng)域的語(yǔ)言偏置問(wèn)題分析

許多研究證明，學(xué)術(shù)論文表達(dá)的nativeness會(huì)影響其被接受發(fā)表的可能性[1, 2]。先前的研究也揭示了非英語(yǔ)母語(yǔ)的作者在國(guó)際期刊發(fā)表論文時(shí)所經(jīng)歷的壓...

2024-01-03 標(biāo)簽：數(shù)據(jù)收集數(shù)據(jù)集自然語(yǔ)言處理 892 0

什么是AI Agent？NLP到AGI的發(fā)展路線

大模型在語(yǔ)言理解、決策制定以及泛化能力等方面展現(xiàn)出強(qiáng)大的潛力，成為代理構(gòu)建過(guò)程中的關(guān)鍵角色，而代理的進(jìn)展也為大模型提出了更高的要求。

2023-12-18 標(biāo)簽：AI人工智能Agi 2.3k 0

什么是神經(jīng)網(wǎng)絡(luò)？神經(jīng)網(wǎng)絡(luò)是如何工作的？GPT與神經(jīng)網(wǎng)絡(luò)的關(guān)系

作為一名程序員，我們習(xí)慣于去了解所使用工具、中間件的底層原理，本文則旨在幫助大家了解 AI 模型的底層機(jī)制，讓大家在學(xué)習(xí)或應(yīng)用各種大模型時(shí)更加得心應(yīng)手，...

2023-12-13 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)RGB人工智能 2.5k 0

無(wú)監(jiān)督域自適應(yīng)場(chǎng)景：基于檢索增強(qiáng)的情境學(xué)習(xí)實(shí)現(xiàn)知識(shí)遷移

本文對(duì)比了多種基線方法，包括無(wú)監(jiān)督域自適應(yīng)的傳統(tǒng)方法（如Pseudo-labeling和對(duì)抗訓(xùn)練）、基于檢索的LM方法（如REALM和RAG）和情境學(xué)習(xí)...

2023-12-05 標(biāo)簽：解碼器編碼器語(yǔ)言模型 1.2k 0

深入理解BigBird的塊稀疏高效實(shí)現(xiàn)方案

RoBERTa 架構(gòu)的 BigBird 模型現(xiàn)已集成入 transformers 中。本文的目的是讓讀者 深入 了解 BigBird 的實(shí)現(xiàn)，并讓讀者能...

2023-11-29 標(biāo)簽：gpu算法Transformer 1.1k 0

基于顯式證據(jù)推理的few-shot關(guān)系抽取CoT

最近，上下文學(xué)習(xí)策略已被證明在沒(méi)有訓(xùn)練的情況下顯示出顯著的結(jié)果。很少有研究利用上下文學(xué)習(xí)進(jìn)行zero-shot信息提取。不幸的是，推理的證據(jù)在思維鏈提示...

2023-11-20 標(biāo)簽：語(yǔ)言模型nlpLLM 1.7k 0

大模型壓縮首篇綜述來(lái)啦

模型壓縮涉及將大型資源密集型模型轉(zhuǎn)化為適合在受限移動(dòng)設(shè)備上存儲(chǔ)的緊湊版本。此外，它還可以優(yōu)化模型以實(shí)現(xiàn)更快的執(zhí)行速度和最小的延遲，或在這些目標(biāo)之間取得平衡。

2023-09-26 標(biāo)簽：模型數(shù)據(jù)集nlp 1.9k 0

這篇究極諷刺的文章一出，NLP無(wú)了

一個(gè)在推上測(cè)試Phi-1.5的例子引發(fā)了眾多討論。例如，如果你截?cái)嘞聢D這個(gè)問(wèn)題并輸入給Phi-1.5，它會(huì)自動(dòng)完成為計(jì)算第三個(gè)月的下載數(shù)量，并且回答是正確的。

2023-09-25 標(biāo)簽：模型數(shù)據(jù)集nlp 571 0

什么是零樣本學(xué)習(xí)？為什么要搞零樣本學(xué)習(xí)？

零樣本分類(lèi)的技術(shù)目前正處于高速發(fā)展時(shí)期， 所涉及的具體應(yīng)用已經(jīng)從最初的圖像分類(lèi)任務(wù)擴(kuò)展到了其他計(jì)算機(jī)視覺(jué)任務(wù)乃至自然語(yǔ)言處理等多個(gè)相關(guān)領(lǐng)域。 對(duì)此， 本...

2023-09-22 標(biāo)簽：深度學(xué)習(xí)自然語(yǔ)言處理nlp 3.5k 0

大模型基礎(chǔ)Transformer結(jié)構(gòu)的原理解析

該研究的結(jié)果適用于一般數(shù)據(jù)集，可以擴(kuò)展到交叉注意力層，并且研究結(jié)論的實(shí)際有效性已經(jīng)通過(guò)徹底的數(shù)值實(shí)驗(yàn)得到了驗(yàn)證。該研究建立一種新的研究視角，將多層 tr...

2023-09-07 標(biāo)簽：AI向量機(jī)Transformer 1.7k 0