Prompt Tuning相比于Fine Tuning在哪些場景下表現(xiàn)更好？

第三范式：基于「預(yù)訓(xùn)練模型 + finetuning」的范式，如 BERT + finetuning 的NLP任務(wù)，相比于第二范式，模型準(zhǔn)確度顯著提高，...

2023-02-02 標(biāo)簽：模型深度學(xué)習(xí)nlp 3.2k 0

decaNLP通用模型誕生，可以輕松搞定十項(xiàng)自然語言任務(wù)

近日，Salesforce發(fā)布了一項(xiàng)新的研究成果：decaNLP——一個(gè)可以同時(shí)處理機(jī)器翻譯、問答、摘要、文本分類、情感分析等十項(xiàng)自然語言任務(wù)的通用模型。

2018-07-17 標(biāo)簽：深度學(xué)習(xí)自然語言NLP 3.1k 0

基于OpenAI的GPT-2的語言模型ProtGPT2可生成新的蛋白質(zhì)序列

人類語言與蛋白質(zhì)有很多共同點(diǎn)，至少在計(jì)算建模方面。這使得研究團(tuán)隊(duì)將自然語言處理（NLP）的新方法應(yīng)用于蛋白質(zhì)設(shè)計(jì)。其中，德國Bayreuth大學(xué)Birt...

2022-09-08 標(biāo)簽：解碼器語言模型nlp 3.1k 0

介紹兩種高效的參數(shù)更新方式LoRA與BitFit

NLP一個(gè)重要的范式包括在通用領(lǐng)域數(shù)據(jù)上的大規(guī)模預(yù)訓(xùn)練和在特定任務(wù)或者領(lǐng)域上的微調(diào)。

2022-11-24 標(biāo)簽：PLMLoRa技術(shù)nlp 3.1k 0

基于圖文多模態(tài)領(lǐng)域典型任務(wù)

圖文多模態(tài)領(lǐng)域典型任務(wù)如img-text retrieval、VQA、captioning、grounding等，目前的學(xué)術(shù)設(shè)定難度尚可。但是， 一旦知...

2022-09-01 標(biāo)簽：語言模型數(shù)據(jù)集nlp 3k 0

講一講ChatGPT的技術(shù)細(xì)節(jié)

通過人工標(biāo)注等方式，使用監(jiān)督學(xué)習(xí)的模式對(duì)GPT3模型（對(duì)這個(gè)是chatGPT模型的base）進(jìn)行初步訓(xùn)練（有監(jiān)督微調(diào)，SFT），從而得到一個(gè)初步能夠理解...

2023-01-03 標(biāo)簽：SFTGPTnlp 3k 0

NLP-Progress庫NLP的最新數(shù)據(jù)集、論文和代碼

方向是自然語言處理的同學(xué)們有福啦，為了跟蹤自然語言處理(NLP)的進(jìn)展，有大量仁人志士在 Github 上維護(hù)了一個(gè)名為 NLP-Progress 的庫...

2018-11-17 標(biāo)簽：代碼數(shù)據(jù)集NLP 2.9k 0

為什么了解NLP基礎(chǔ)知識(shí)的重要？

為什么bigram或者trigram的LM很重要呢？去做一個(gè)語言模型的問題，實(shí)現(xiàn)深度模型之前，第一步其實(shí)就要寫一個(gè)bigram或者trigram的LM。...

2019-03-15 標(biāo)簽：深度學(xué)習(xí)自然語言處理nlp 2.9k 0

用于自然語言處理的神經(jīng)網(wǎng)絡(luò)有哪些

自然語言處理（Natural Language Processing, NLP）是人工智能領(lǐng)域的一個(gè)重要分支，旨在讓計(jì)算機(jī)能夠理解和處理人類語言。隨著深...

2024-07-03 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)自然語言處理nlp 2.8k 0

用于學(xué)習(xí)對(duì)象級(jí)、語言感知和語義豐富視覺表征的GLIP模型

Visual recognition 模型通常只能預(yù)測一組固定的預(yù)先確定的目標(biāo)類別，這限制了在現(xiàn)實(shí)世界的可擴(kuò)展能力，因?yàn)閷?duì)于新的視覺概念類別和新的任務(wù)領(lǐng)...

2022-10-26 標(biāo)簽：Clipcnnnlp 2.8k 0

nlp自然語言處理的主要任務(wù)及技術(shù)方法

自然語言處理（Natural Language Processing，簡稱NLP）是人工智能和語言學(xué)領(lǐng)域的一個(gè)分支，它研究如何讓計(jì)算機(jī)能夠理解、生成和處...

2024-07-09 標(biāo)簽：語音識(shí)別人工智能自然語言處理 2.7k 0