中科大團隊開發(fā)首個通用的大語言模型分子交互學(xué)習(xí)框架，在多個數(shù)據(jù)集超 4,000,000 個分子對上驗證了其可靠性。

簡述

分子關(guān)系學(xué)習(xí)（Molecular Relational Learning）旨在理解和建模分子對的交互作用，如分子對交互（Drug-drug Interaction，DDI）、溶液-溶劑交互（Solution-solvent Interaction）。近來，憑借豐富的知識儲備和優(yōu)秀的推演能力，大型語言模型（LLMs）已成為實現(xiàn)分子關(guān)系高效學(xué)習(xí)的重要工具。

盡管這一方法頗有成效，但當(dāng)前范式的主要問題是數(shù)據(jù)利用的不充分。如下圖（a）所示，當(dāng)前范式主要依賴于文本數(shù)據(jù)（如 SMILES），未能充分且顯式地利用分子圖中固有的豐富結(jié)構(gòu)信息。

加劇這一問題的是統(tǒng)一學(xué)習(xí)框架的缺失，因為其阻礙了從各個數(shù)據(jù)集中學(xué)習(xí)到的關(guān)鍵交互信息與底層交互邏輯的高效共享和整合。如下圖 b 所示，這一缺失擴大了數(shù)據(jù)利用的不充分的影響，使得 LLMs 因高度過擬合的風(fēng)險而無法建模那些廣泛存在的、數(shù)據(jù)量較少的分子交互任務(wù)。

▲ 圖1：當(dāng)前基于 LLMs 的分子交互學(xué)習(xí)范式與 MolTC 的比較。（a）現(xiàn)行方法的通用范式；（b）將當(dāng)前范式應(yīng)用于樣本量較少的任務(wù)時所帶來的挑戰(zhàn)；（c）我們的 MolTC 的架構(gòu)。

為了緩解這一問題，我們提出了一個通用的、基于 LLM 的多模態(tài)分子交互學(xué)習(xí)框架，MolTC(Molecular inTeraction Modeling enhanced by Chain-of-thought theory)。如上圖 c 所示，MolTC 通過圖編碼器（Encoder）和映射器（Projector）高效地建模分子圖信息，并創(chuàng)新性地提出了多層級思維鏈（Multi-hierarchical Chain-of-thought）的概念來引導(dǎo)訓(xùn)練范式的優(yōu)化。

此外，為了加強數(shù)據(jù)間的信息共享，我們?yōu)槠湓O(shè)計了一個新穎的動態(tài)參數(shù)共享策略，以實現(xiàn)效率和精度的雙贏。同時，鑒于這一領(lǐng)域數(shù)據(jù)集的缺失，我們還構(gòu)建了一個全面的分子交互指令數(shù)據(jù)集，MoT-instructions，用于提高當(dāng)前基于 LLMs 的學(xué)習(xí)框架（包擴我們的 MolTC）對分子交互任務(wù)的理解能力。

我們在涉及超過 4,000,000 個分子對的十二個不同領(lǐng)域數(shù)據(jù)集上進(jìn)行了驗證實驗。結(jié)果表明，我們的方法優(yōu)于當(dāng)前基于 GNN 的、基于（除 GNN 外）其它傳統(tǒng)深度學(xué)習(xí)架構(gòu)的、和基于 LLMs 的基線方法。

多模態(tài)輸入框架

我們首先簡要介紹上圖 c 中所示的 MolTC 框架。其中，Graph Encoder 采用傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)（GNN）架構(gòu)；Projector 采用在視覺領(lǐng)域常用于多模態(tài)對齊的 Querying Transformers （Q-Former）架構(gòu)，作為 backbone 的 LLM 則是采用在生化任務(wù)中表現(xiàn)突出的 Galactica。更多細(xì)節(jié)勞請移步我們的論文和代碼。

基于多層級思維鏈的訓(xùn)練范式

我們重點介紹基于多層級思維鏈的 MolTC 訓(xùn)練范式。首先，考慮到從分子對中直接生成復(fù)雜相互作用的挑戰(zhàn)性，處于上層的思維鏈指導(dǎo) MolTC 的預(yù)訓(xùn)練過程優(yōu)先識別并按次序輸出輸入分子對中，每個分子的關(guān)鍵生化性質(zhì)，為準(zhǔn)確預(yù)測它們的交互奠定基礎(chǔ)。具體而言，在預(yù)訓(xùn)練階段，Prompts 的統(tǒng)一設(shè)計如下：

預(yù)訓(xùn)練階段的數(shù)據(jù)來自多個權(quán)威的、包含分子-性質(zhì)對的生化數(shù)據(jù)庫如 Drugbank 和 PubChem。為了提高 MolTC 在不同分子交互場景下的泛化能力，我們對上述數(shù)據(jù)庫中的分子進(jìn)行隨機組合，來構(gòu)造不同的分子對。

隨后，在微調(diào)階段，針對定性分子交互分析任務(wù)，Prompts 直接根據(jù)特定的下游任務(wù)進(jìn)行定制。而針對傳統(tǒng) LLMs 較難處理的定量分析任務(wù)，下層的思維鏈指導(dǎo) MolTC 優(yōu)先為目標(biāo)數(shù)值預(yù)估一個大致的范圍，然后逐步將其細(xì)化到一個精確的值。以溶液-溶劑交互任務(wù)為例，其 Prompts 的設(shè)計如下：

動態(tài)參數(shù)共享策略

為了提高上述訓(xùn)練范式的效率，MolTC 引入了一種新穎的參數(shù)共享策略。具體而言，我們首先考慮分子交互任務(wù)的以下關(guān)鍵屬性：

（1）交互中分子角色的重要性。例如，在溶液-溶劑交互場景中，水和乙醇互為溶劑會產(chǎn)生不同的能量釋放。某些時候，角色的顛倒甚至?xí)?dǎo)致交互反應(yīng)的停滯。

（2）交互中分子順序的重要性。例如，在藥物對交互場景中，藥物引入順序的不同可能會導(dǎo)致不同的治療效果。

（3）分子角色/順序帶來的特征重要性的差異。例如，在發(fā)色團-溶液對中，一個化學(xué)基團在溶液內(nèi)會對交互屬性產(chǎn)生關(guān)鍵的影響，但其在發(fā)色團中時，則可能對交互無足輕重。

▲ 圖2：應(yīng)用動態(tài)參數(shù)共享策略后的的 MolTC 訓(xùn)練范式。其中，鏈環(huán)表示兩個模塊之間的參數(shù)共享；雪花表示參數(shù)凍結(jié)；火焰表示參數(shù)更新。

這些屬性自然地啟發(fā) MolTC 適應(yīng)性地優(yōu)先考慮倆個分子內(nèi)的不同信息，即根據(jù)角色和順序為分子創(chuàng)建獨特的編碼。具體而言，為了學(xué)習(xí)到這種差異性，同時維持分子對中學(xué)習(xí)到的共性信息的共享，我們引入了如下參數(shù)共享策略：

（1）考慮 Graph Encoder 專注于提取底層的分子圖結(jié)構(gòu)，并未將語義與分子結(jié)構(gòu)進(jìn)行對齊，因此，在預(yù)訓(xùn)練和微調(diào)階段，MolTC 共享倆個 Graph Encoder 的參數(shù)，以增強其學(xué)習(xí)效率。

（2）考慮 Projector 專注于實現(xiàn)分子結(jié)構(gòu)與語義信息的對齊，因此，在預(yù)訓(xùn)練階段，MolTC 共享倆個 Projector 的參數(shù)以提高系統(tǒng)的泛化性和魯棒性；在微調(diào)階段，MolTC 終止這一共享，實現(xiàn)根據(jù)不同下游任務(wù)中的分子角色和順序量身定制的語義映射。

MoT-instruction數(shù)據(jù)集開發(fā)

在 MolTC 的訓(xùn)練過程中，鑒于當(dāng)前缺乏一個通用的、為大模型分子關(guān)系學(xué)習(xí)量身定制的指令數(shù)據(jù)集，我們首先給出這一數(shù)據(jù)集應(yīng)當(dāng)滿足的關(guān)鍵性質(zhì)：（1）它應(yīng)包含橫跨多個領(lǐng)域的、可以進(jìn)行交互的大量分子對；（2）它應(yīng)詳細(xì)描述這些分子對中每個分子的重要生化屬性，以及（3）它應(yīng)根據(jù)思維鏈的形式闡述分子對的交互性質(zhì)。

具體來說，我們通過以下三步構(gòu)建上述 MoT-instructions 數(shù)據(jù)集：

（1）我們首先收集多個具有代表性的分子交互數(shù)據(jù)集，并從 DrugBank 和 PubChem 等權(quán)威生化數(shù)據(jù)庫中獲取這些交互所涉及分子的生化屬性；

（2）隨后，我們進(jìn)行最優(yōu)指令確定。具體而言，我們根據(jù)訓(xùn)練 MolTC 得到的預(yù)測性能作為指標(biāo)，來對定量交互 instructions 中的數(shù)值區(qū)間進(jìn)行設(shè)定。并結(jié)合該值的統(tǒng)計數(shù)據(jù)（如均值和方差）得出最優(yōu)區(qū)間設(shè)定和統(tǒng)計數(shù)據(jù)之間的規(guī)律，推廣至更多的定量交互數(shù)據(jù)集中；

（3）最后，我們將交互涉及的每個屬性單獨抽取至一個獨立的數(shù)據(jù)空間，以在排除交互屬性中缺失值、模糊值的干擾下，不浪費分子對所提供的其他有用信息。

實驗

為了更全面地評估 MolTC 的有效性，我們將基線算法分為三類：基于 GNN 的、基于其他深度學(xué)習(xí)模型的以及基于 LLMs 的方法。部分定性和定量的實驗結(jié)果如下表所示。更多結(jié)果如消融實驗結(jié)果煩請移步我們的文章或代碼。

▲ 表1：定性實驗結(jié)果（以藥物對交互任務(wù)為例）

▲ 表2：定量實驗結(jié)果（以溶液溶劑交互任務(wù)為例）




審核編輯：劉清