從預(yù)訓(xùn)練語(yǔ)言模型看MLM預(yù)測(cè)任務(wù)

為了解決這一問(wèn)題，本文主要從預(yù)訓(xùn)練語(yǔ)言模型看MLM預(yù)測(cè)任務(wù)、引入prompt_template的MLM預(yù)測(cè)任務(wù)、引入verblize類(lèi)別映射的Promp...

2022-11-14 標(biāo)簽：語(yǔ)言模型nlp 3.6k 0

CogBERT：腦認(rèn)知指導(dǎo)的預(yù)訓(xùn)練語(yǔ)言模型

另一方面，從語(yǔ)言處理的角度來(lái)看，認(rèn)知神經(jīng)科學(xué)研究人類(lèi)大腦中語(yǔ)言處理的生物和認(rèn)知過(guò)程。研究人員專(zhuān)門(mén)設(shè)計(jì)了預(yù)訓(xùn)練的模型來(lái)捕捉大腦如何表示語(yǔ)言的意義。之前的工...

2022-11-03 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集 1.6k 0

KT利用NVIDIA AI平臺(tái)訓(xùn)練大型語(yǔ)言模型

韓國(guó)先進(jìn)的移動(dòng)運(yùn)營(yíng)商構(gòu)建包含數(shù)百億個(gè)參數(shù)的大型語(yǔ)言模型，并使用 NVIDIA DGX SuperPOD 平臺(tái)和 NeMo Megatron 框架訓(xùn)練該模型。

2022-09-27 標(biāo)簽：NVIDIAAI語(yǔ)言模型 1.8k 0

針對(duì)文本生成任務(wù)提出一種基于提示的遷移學(xué)習(xí)方法

理解是一個(gè)復(fù)雜且多面的能力，包括對(duì)文本詞匯、背景知識(shí)、語(yǔ)言結(jié)構(gòu)的理解。因此，我們采用GLUE, SuperGLUE, SQuAD v1.1, SQuAD...

2022-09-23 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集遷移學(xué)習(xí) 2k 0

預(yù)先訓(xùn)練的語(yǔ)言模型能像人類(lèi)一樣聰明地解釋明喻嗎？

明喻主要分為兩類(lèi)：封閉式明喻(ClosedSimile)，以及開(kāi)放式明喻(OpenSimile)。如圖2所示，二者區(qū)別在于是否顯式地指明本體、喻體的共同...

2022-09-23 標(biāo)簽：模型語(yǔ)言模型數(shù)據(jù)集 1.2k 0

NVIDIA NeMo最新語(yǔ)言模型服務(wù)幫助開(kāi)發(fā)者定制大規(guī)模語(yǔ)言模型

NVIDIA NeMo 大型語(yǔ)言模型（LLM）服務(wù)幫助開(kāi)發(fā)者定制大規(guī)模語(yǔ)言模型；NVIDIA BioNeMo 服務(wù)幫助研究人員生成和預(yù)測(cè)分子、蛋白質(zhì)及 DNA

2022-09-22 標(biāo)簽：NVIDIAAI語(yǔ)言模型 1.2k 0

一種將知識(shí)圖譜與語(yǔ)言模型結(jié)合的具體方式分享

知識(shí)嵌入（Knowledge Embedding）將知識(shí)圖譜中的關(guān)系和實(shí)體嵌入向量空間進(jìn)行表示。

2022-09-05 標(biāo)簽：編碼CLS語(yǔ)言模型 2.2k 0

計(jì)算語(yǔ)言學(xué)的發(fā)展趨勢(shì)、不足與挑戰(zhàn)

NAACL 會(huì)議是 ACL 的北美分會(huì)，每年舉辦一次，也是 NLP 領(lǐng)域備受關(guān)注的頂會(huì)之一。NAACL 主要涉及對(duì)話(huà)、信息抽取、信息檢索、語(yǔ)言生成、機(jī)器...

2022-08-18 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)計(jì)算語(yǔ)言模型 2.3k 0

如何進(jìn)行MLM訓(xùn)練

Bert的MLM是靜態(tài)mask，而在后續(xù)的其他預(yù)訓(xùn)練模型中，這一策略通常被替換成了動(dòng)態(tài)mask。除此之外還有 whole word mask 的模型，這...

2022-08-13 標(biāo)簽：模型語(yǔ)言模型mask 3.3k 0

基于對(duì)抗自注意力機(jī)制的預(yù)訓(xùn)練語(yǔ)言模型

表示輸入的特征，在傳統(tǒng)的對(duì)抗訓(xùn)練中， 通常是 token 序列或者是 token 的 embedding， 表示 ground truth. 對(duì)于由 參...

2022-07-08 標(biāo)簽：自動(dòng)化語(yǔ)言模型 1.8k 0

匯總在事件抽取方向的相關(guān)廠(chǎng)商調(diào)研結(jié)果

值得關(guān)注的是在論元提?。ㄒ爻槿。╇A段，除了CRF外，他們也嘗試了MRC（閱讀理解范式）、Biaffine。其中Biaffine思想來(lái)自論文Named ...

2022-07-07 標(biāo)簽：事件語(yǔ)言模型 1.4k 0

Zero-shot-CoT是multi-task的方法

大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型借助于針對(duì)特定任務(wù)設(shè)計(jì)的prompt（無(wú)論是few shot還是zero shot），在單步驟的system-1任務(wù)上有著出色表現(xiàn)，...

2022-06-15 標(biāo)簽：自動(dòng)化語(yǔ)言模型 3.2k 0

一種緩解負(fù)采樣偏差的對(duì)比學(xué)習(xí)句表示框架DCLR

近年來(lái)，預(yù)訓(xùn)練語(yǔ)言模型在各種 NLP 任務(wù)上取得了令人矚目的表現(xiàn)。然而，一些研究發(fā)現(xiàn)，由預(yù)訓(xùn)練模型得出的原始句表示相似度都很高，在向量空間中并不是均勻分...

2022-06-07 標(biāo)簽：框架語(yǔ)言模型nlp 2.4k 0

一種基于亂序語(yǔ)言模型的預(yù)訓(xùn)練模型-PERT

由于亂序語(yǔ)言模型不使用[MASK]標(biāo)記，減輕了預(yù)訓(xùn)練任務(wù)與微調(diào)任務(wù)之間的gap，并由于預(yù)測(cè)空間大小為輸入序列長(zhǎng)度，使得計(jì)算效率高于掩碼語(yǔ)言模型。PERT...

2022-05-10 標(biāo)簽：語(yǔ)言模型自然語(yǔ)言處理 2k 0

Multilingual多語(yǔ)言預(yù)訓(xùn)練語(yǔ)言模型的套路

Facebook在Crosslingual language model pretraining（NIPS 2019）一文中提出XLM預(yù)訓(xùn)練多語(yǔ)言模型，...

2022-05-05 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集nlp 3.7k 0

基于神經(jīng)轉(zhuǎn)移模型的論辯挖掘任務(wù)

論文提出了一種針對(duì)論辯挖掘任務(wù)的新方法，該方法通過(guò)產(chǎn)生一系列的動(dòng)作來(lái)逐步構(gòu)建出一個(gè)論證圖，從而有效地避免了枚舉操作；此外，該方法還可以在不引入任何新的結(jié)...

2022-03-30 標(biāo)簽：模型語(yǔ)言模型 1.5k 0

谷歌開(kāi)發(fā)出一個(gè)新的語(yǔ)言模型，包含了超過(guò)1．6萬(wàn)億個(gè)參數(shù)

開(kāi)發(fā)人工智能的語(yǔ)言模型，一直是人工智能的重要細(xì)分領(lǐng)域。人工智能語(yǔ)言模型應(yīng)用包括搜索引擎、文字生成、個(gè)性化的對(duì)話(huà)工具以及軟件生成等。 2020年5月，Op...

2021-01-19 標(biāo)簽：AI人工智能語(yǔ)言模型 2.2k 0

Google科學(xué)家設(shè)計(jì)簡(jiǎn)化稀疏架構(gòu)Switch Transformer，語(yǔ)言模型的參數(shù)量可擴(kuò)展至 1.6 萬(wàn)億

剛剛，Google Brain 高級(jí)研究科學(xué)家 Barret Zoph 發(fā)帖表示，他們?cè)O(shè)計(jì)了一個(gè)名叫「Switch Transformer」的簡(jiǎn)化稀疏架...

2021-01-13 標(biāo)簽：Google架構(gòu)語(yǔ)言模型 3.9k 0