【導(dǎo)讀】Mixtral 8x7B模型開(kāi)源后，AI社區(qū)再次迎來(lái)一大波微調(diào)實(shí)踐。來(lái)自Nous Research應(yīng)用研究小組團(tuán)隊(duì)微調(diào)出新一代大模型Nous-Hermes 2 Mixtral 8x7B，在主流基準(zhǔn)測(cè)試中擊敗了Mixtral Instruct。

Mixtral 8x7B開(kāi)源模型的誕生，正如Llama一樣，為開(kāi)源社區(qū)了帶來(lái)曙光。

前段時(shí)間，Mixtral剛剛發(fā)布了8x7B模型的論文。在基準(zhǔn)測(cè)試結(jié)果中，其性能達(dá)到或超過(guò) Llama 2-70B和GPT-3.5。

甚至，Mixtral在數(shù)學(xué)、代碼生成和多語(yǔ)言理解任務(wù)方面表現(xiàn)亮眼。

最近，一個(gè)開(kāi)源研究小組Nous Research推出了新一代旗艦大模型Nous-Hermes 2 Mixtral 8x7B。

這是首個(gè)通過(guò)RLHF訓(xùn)練的模型，并在主流基準(zhǔn)測(cè)試中超越Mixtral Instruct，成為最佳開(kāi)源模型。

此外，Nous Research團(tuán)隊(duì)發(fā)布的SFT和SFT+DPO模型，以及DPO適配器將為用戶(hù)提供更多選擇。

在所有的基準(zhǔn)測(cè)試中，Nous-Hermes 2 Mixtral 8x7B模型也略不遜色。

目前，這些模型同樣在Hugging Face上開(kāi)源上線(xiàn)。

最佳開(kāi)源模型誕生

據(jù)介紹，最新模型是在Mixtral 8x7B MoeLLM微調(diào)訓(xùn)練而來(lái)。

具體來(lái)說(shuō)，Nous-Hermes 2 Mixtral 8x7B是在1,000,000個(gè)條目進(jìn)行了訓(xùn)練（主要是GPT-4生成的數(shù)據(jù)），以及整個(gè)AI領(lǐng)域開(kāi)放數(shù)據(jù)集等其他高質(zhì)量數(shù)據(jù)集。

研究人員同時(shí)還發(fā)布了SFT Only版本，以及SFT+DPO版本。

模型演示

那么，Nous Research團(tuán)隊(duì)最新的模型能力有多強(qiáng)？

編寫(xiě)可視化數(shù)據(jù)代碼完全是小菜一碟。

它還能寫(xiě)賽博朋克的迷幻詩(shī)。

可以執(zhí)行反向翻譯，從輸入文本中創(chuàng)建提示信息。

基準(zhǔn)測(cè)試

與Mixtral基礎(chǔ)模型相比，Mixtral 8x7B上的Nous-Hermes 2在以下基準(zhǔn)測(cè)試中取得了全面提升，也是MistralAI首次擊敗旗艦型號(hào)Mixtral Finetune。

在GPT4All中，Nous-Hermes Mixtral 8x7B（SFT+DPO）拿下了75.7分，位列榜單第三。

在AGIEval的排行中，Nous-Hermes Mixtral 8x7B（SFT+DPO）拿下了46.05的成績(jī)。

此外，在BigBench Reasoning Test中，Nous-Hermes 2 Mixtral 8x7B（SFT+DPO）霸榜第一。

背后團(tuán)隊(duì)

成立于2023年，Nous Research是一個(gè)在大模型領(lǐng)域發(fā)布開(kāi)源研究而聞名的私人應(yīng)用研究小組。

去年12月，這個(gè)研究團(tuán)隊(duì)成員曾發(fā)布了一款輕量的視覺(jué)語(yǔ)言模型——Nous Hermes 2 Vision。

這個(gè)模型以希臘神使赫爾墨斯的名字命名。它通過(guò)用戶(hù)上傳的圖像數(shù)據(jù)，通過(guò)自然語(yǔ)言提供詳細(xì)的答案。

就在前幾天，Nous Research宣布了一輪520萬(wàn)美元的種子融資，涉及了多位天使投資人。

到目前為止，Nous Research已經(jīng)發(fā)布了40多個(gè)開(kāi)源模型，包括Hermes、YaRN、Capybara、Puffin和Obsidian系等系列。

Mixtral模型，會(huì)將成為開(kāi)源版GPT-4

繼2023年年初Llama發(fā)布之后，一系列羊駝家族瞬間爆發(fā)。年底，Mixtral的開(kāi)源MoE發(fā)布，更是為開(kāi)源年做了一個(gè)完美的收尾。

有網(wǎng)友表示，Mixtral或?qū)⒂袑?shí)力將于今年接管GPT-4。

在Chatbot Arena排行榜上，Mixtral成為（繼GPT-4、Claude和Mistral Medium之后）唯一能打的開(kāi)源模型，也是僅有7B參數(shù)的最小模型，甚至比谷歌的Gemini Pro還要好！

而且它是開(kāi)源的！任何人可以獲取該模型，并將其部署到自己的設(shè)備，而且可以對(duì)其進(jìn)行微調(diào)，可以隨心所欲地使用它。

現(xiàn)在，在Mixtral-7B上進(jìn)行微調(diào)、部署的模型案例，也是非常的多。

比如，有網(wǎng)友用樹(shù)莓派在本地跑起了Phi-2、Mistral和LLaVA等模型。

還有人出了一款A(yù)PP，名為Offline Chat：Private AI，能夠在iPhone上離線(xiàn)跑Mistral 7B模型。

這樣一來(lái)，模型生成的內(nèi)容，可以保障安全和隱私。

還有人用直接偏好微調(diào)了Mistral-7B模型。

具體來(lái)說(shuō)，研究人員將使用一種類(lèi)似RLHF的技術(shù)：直接偏好優(yōu)化(DPO)對(duì)OpenHermes-2.5進(jìn)行微調(diào)，從而創(chuàng)建NeuralHermes-2.5。

為此，他們還引入了一個(gè)偏好數(shù)據(jù)集，描述DPO算法的工作原理，并將其應(yīng)用到模型中。我們將看到它顯著提高了OpenLLM排行榜上基本模型的性能。

有網(wǎng)友進(jìn)行的海底撈針實(shí)驗(yàn)中， Mistral-7B-Instruct-v0.2在80000 token情況下，召回率下降。

相信未來(lái)，Mixtral模型會(huì)向羊駝家族一樣，迎來(lái)大爆發(fā)。