以下文章來(lái)源于腦啟社區(qū)，作者腦啟社區(qū)

據(jù)悉，“杭州靈汐類(lèi)腦智算集群”已于7月底實(shí)現(xiàn)了大模型快速推理API的企業(yè)服務(wù)試運(yùn)行。該集群由杭州靈汐類(lèi)腦科技有限公司牽頭搭建運(yùn)營(yíng)，中國(guó)電信、中國(guó)電子科技南湖研究院以及腦啟社區(qū)作為合作方參與，由杭州電信具體承擔(dān)集成建設(shè)。該集群部署在中國(guó)電信杭州智算中心，算力規(guī)模超200POPS。這也是類(lèi)腦智算集群在全球范圍內(nèi)，首次以支持大模型快速推理的方式，走向商用試運(yùn)行。

作為類(lèi)腦智能技術(shù)的創(chuàng)新應(yīng)用成果，該智算集群具有”存算一體、眾核并行、稀疏計(jì)算、事件驅(qū)動(dòng)”的特性，可顯著提升計(jì)算效率、大幅降低能耗，實(shí)現(xiàn)大語(yǔ)言模型推理的“一快、一低、一降”：一是推理速度快，單用戶(hù)的推理延遲控制在毫秒級(jí)別，速度性能相對(duì)于傳統(tǒng)方案有明顯優(yōu)勢(shì)（可流暢響應(yīng)實(shí)時(shí)交互及長(zhǎng)本文深度推理），告別卡頓；二是首token延遲低，可降至百毫秒乃至十毫秒級(jí)；三是智算集群的功耗大幅下降，較業(yè)界同等推理算力水平可降低功耗二分之一至三分之二以上。異構(gòu)融合類(lèi)腦芯片具有兼容PyTorch框架的類(lèi)CUDA軟件棧，可直接服務(wù)于多類(lèi)開(kāi)源大模型的快速推理、而不需要轉(zhuǎn)換類(lèi)腦算法。

當(dāng)前，大模型推理普遍存在吞吐速度慢（每秒十到幾十詞輸出）和高延遲問(wèn)題（常常超過(guò)1秒甚至數(shù)秒），對(duì)眾多行業(yè)場(chǎng)景構(gòu)成了制約。在此背景下，靈汐科技基于類(lèi)腦智能技術(shù)給出了“高實(shí)時(shí)、高吞吐、低延遲”的推理服務(wù)解決方案，將在金融應(yīng)用、情感陪聊、快速導(dǎo)覽、大規(guī)模數(shù)據(jù)標(biāo)注以及無(wú)人機(jī)實(shí)時(shí)航拍處理、災(zāi)害預(yù)警與應(yīng)急處置等領(lǐng)域場(chǎng)景逐步落地。據(jù)介紹，該智算集群（中心）將持續(xù)升級(jí)，新一代類(lèi)腦智算高密度計(jì)算平臺(tái)也將在近期正式發(fā)布推出，集群能效比預(yù)計(jì)將進(jìn)一步提升。