近幾年來(lái)，人工智能行業(yè)飛速發(fā)展。麥肯錫預(yù)測(cè)人工智能可在未來(lái)十年為全球GDP增長(zhǎng)貢獻(xiàn)1.2個(gè)百分點(diǎn)，為全球經(jīng)濟(jì)活動(dòng)增加13萬(wàn)億美元產(chǎn)值，其貢獻(xiàn)率可以與歷史上第一次“工業(yè)革命”中蒸汽機(jī)等變革技術(shù)的引入相媲美。

從產(chǎn)業(yè)鏈來(lái)看，人工智能可以分為技術(shù)支撐層、基礎(chǔ)應(yīng)用層和產(chǎn)品層,各層面環(huán)環(huán)相扣，基礎(chǔ)層和支撐層提供技術(shù)運(yùn)算的平臺(tái)、資源、算法，應(yīng)用層的發(fā)展離不開(kāi)基礎(chǔ)層和技術(shù)的應(yīng)用。

人工智能產(chǎn)業(yè)鏈

資料來(lái)源：凱聯(lián)資本投研部

基礎(chǔ)層分為硬件和軟件。硬件即具備儲(chǔ)存、運(yùn)算能力的芯片，以及獲取外部數(shù)據(jù)信息的傳感器；軟件則為用以計(jì)算的大數(shù)據(jù)。這里我們著重分析硬件部分的智能芯片。

1、智能芯片

按技術(shù)架構(gòu)來(lái)看，智能芯片可分為通用類芯片（CPU、GPU、FPGA）、基于FPGA的半定制化芯片、全定制化ASIC芯片、類腦計(jì)算芯片（IBMTureNorth）。對(duì)于絕大多數(shù)智能需求來(lái)說(shuō)，基于通用處理器的傳統(tǒng)計(jì)算機(jī)成本高、功耗高、體積大、速度慢，難以接受。因此以CPU、GPU、FPGA、ASIC和類腦芯片為代表的計(jì)算芯片以高性能計(jì)算能力被引入深度學(xué)習(xí)。

AI半導(dǎo)體分類

資料來(lái)源：谷歌，凱聯(lián)資本投研部

2017年各AI企業(yè)公開(kāi)芯片數(shù)據(jù)

資料來(lái)源：中國(guó)科學(xué)院自動(dòng)化研究所，凱聯(lián)資本投研部

(1)GPU

大規(guī)模數(shù)據(jù)量下，傳統(tǒng)CPU運(yùn)算性能受限。遵循的是馮諾依曼架構(gòu)，其核心就是：存儲(chǔ)程序，順序執(zhí)行。隨著摩爾定律的推進(jìn)以及對(duì)更大規(guī)模與更快處理速度的需求的增加，CPU執(zhí)行任務(wù)的速度受到限制。GPU在計(jì)算方面具有高效的并行性。用于圖像處理的GPU芯片因海量數(shù)據(jù)并行運(yùn)算能力，被最先引入深度學(xué)習(xí)。CPU中的大部分晶體管主要用于構(gòu)建控制電路（如分支預(yù)測(cè)等）和Cache，只有少部分的晶體管來(lái)完成實(shí)際的運(yùn)算工作。GPU 與 CPU 的設(shè)計(jì)目標(biāo)不同，其控制電路相對(duì)簡(jiǎn)單，而且對(duì)Cache的需求較小，所以大部分晶體管可以組成各類專用電路和多條流水線，使GPU的計(jì)算速度有了突破性的飛躍，擁有驚人的處理浮點(diǎn)運(yùn)算的能力。

GPU與CPU結(jié)構(gòu)對(duì)比

資料來(lái)源：谷歌，凱聯(lián)資本投研部

(2)FPGA

FPGA（可編程門陣列，F(xiàn)ield Programmable GateArray）是一種集成大量基本門電路及存儲(chǔ)器的芯片，最大特點(diǎn)為可編程?？赏ㄟ^(guò)燒錄FPGA配置文件來(lái)來(lái)定義這些門電路及存儲(chǔ)器間的連線，從而實(shí)現(xiàn)特定的功能。此外可以通過(guò)即時(shí)編程燒入修改內(nèi)部邏輯結(jié)構(gòu)，從而實(shí)現(xiàn)不同邏輯功能。FPGA具有能耗優(yōu)勢(shì)明顯、低延時(shí)和高吞吐的特性。不同于采用馮諾依曼架構(gòu)的CPU與GPU，F(xiàn)PGA 主要由可編程邏輯單元、可編程內(nèi)部連接和輸入輸出模塊構(gòu)成。FPGA每個(gè)邏輯單元的功能和邏輯單元之間的連接在寫入程序后就已經(jīng)確定，因此在進(jìn)行運(yùn)算時(shí)無(wú)需取指令、指令譯碼，邏輯單元之間也無(wú)需通過(guò)共享內(nèi)存來(lái)通信。因此，盡管FPGA主頻遠(yuǎn)低于CPU，但完成相同運(yùn)算所需時(shí)鐘周期要少于CPU，能耗優(yōu)勢(shì)明顯，并具有低延時(shí)、高吞吐的特性。

FPGA結(jié)構(gòu)圖

資料來(lái)源：谷歌，凱聯(lián)資本投研部

(3)ASIC

ASIC 芯片是專用定制芯片，為實(shí)現(xiàn)特定要求而定制的芯片。除了不能擴(kuò)展以外，在功耗、可靠性、體積方面都有優(yōu)勢(shì)，尤其在高性能、低功耗的移動(dòng)端。谷歌的TPU、寒武紀(jì)的GPU，地平線的BPU都屬于ASIC芯片。谷歌的TPU比CPU和GPU的方案快30-80倍，與CPU和GPU相比，TPU把控制縮小了，因此減少了芯片的面積，降低了功耗。其缺點(diǎn)在于開(kāi)發(fā)周期長(zhǎng)、投入成本大，一般公司難以承擔(dān)。

張量處理器（tensor processing unit，TPU）是Google為機(jī)器學(xué)習(xí)定制的專用芯片（ASIC），專為Google的深度學(xué)習(xí)框架TensorFlow而設(shè)計(jì)。與GPU相比，TPU采用低精度（8 位）計(jì)算，以降低每步操作使用的晶體管數(shù)量。降低精度對(duì)于深度學(xué)習(xí)的準(zhǔn)確度影響很小，但卻可以大幅降低功耗、加快運(yùn)算速度。Google在2016年首次公布了TPU。2017年公布第二代TPU，并將其部署在Google云平臺(tái)之上，第二代TPU的浮點(diǎn)運(yùn)算能力高達(dá)每秒180 萬(wàn)億次。

AI芯片主要性能對(duì)比

資料來(lái)源：學(xué)術(shù)論文，凱聯(lián)資本投研部

2、智能芯片架構(gòu)

架構(gòu)創(chuàng)新是解決成本不斷上漲的關(guān)鍵。隨著市場(chǎng)對(duì)芯片計(jì)算能力的需求提高，芯片制造工藝也在不斷提高，與之而來(lái)的是芯片制造成本不斷漲高，解決這個(gè)問(wèn)題的關(guān)鍵則是架構(gòu)創(chuàng)新。目前 AI 芯片主要架構(gòu)有CPU+GPU、CPU+FPGA、CPU+ASIC等。

主流AI處理器的制程和架構(gòu)

資料來(lái)源：電子發(fā)燒友，凱聯(lián)資本投研部

3、智能芯片的應(yīng)用

深度學(xué)習(xí)主要分為訓(xùn)練和推斷兩個(gè)環(huán)節(jié)：在數(shù)據(jù)訓(xùn)練（training）階段，大量的標(biāo)記或者未標(biāo)記的數(shù)據(jù)被輸入深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，隨著深度神經(jīng)網(wǎng)絡(luò)模型層數(shù)的增多，與之相對(duì)應(yīng)的權(quán)重參數(shù)成倍的增長(zhǎng)，從而對(duì)硬件的計(jì)算能力有著越來(lái)越高的需求，此階段的設(shè)計(jì)目標(biāo)是高并發(fā)高吞吐量。

推斷（inference）則分為兩大類——云側(cè)推斷與端側(cè)推斷，云側(cè)推斷推斷不僅要求硬件有著高性能計(jì)算，更重要的是對(duì)于多指令數(shù)據(jù)的處理能力。就比如Bing搜索引擎同時(shí)要對(duì)數(shù)以萬(wàn)計(jì)的圖片搜索要求進(jìn)行識(shí)別推斷從而給出搜索結(jié)果；端側(cè)推斷更強(qiáng)調(diào)在高性能計(jì)算和低功耗中尋找一個(gè)平衡點(diǎn)，設(shè)計(jì)目標(biāo)是低延時(shí)低功耗。

因此從目前市場(chǎng)需求來(lái)看，人工智能芯片可以分為三個(gè)類別：

1) 用于訓(xùn)練（training）的芯片：主要面向各大AI企業(yè)及實(shí)驗(yàn)室的訓(xùn)練環(huán)節(jié)市場(chǎng)。目前被業(yè)內(nèi)廣泛接受的是“CPU+GPU”的異構(gòu)模式，由于AMD在通用計(jì)算以及生態(tài)圈構(gòu)建方面的長(zhǎng)期缺位，導(dǎo)致了在深度學(xué)習(xí)GPU加速市場(chǎng) NVIDIA一家獨(dú)大。面臨這一局面，谷歌今年發(fā)布TPU2.0 能高效支持訓(xùn)練環(huán)節(jié)的深度網(wǎng)絡(luò)加速。我們?cè)诖撕筮M(jìn)行具體分析；

2) 用于云側(cè)推斷（inferenceoncloud）的芯片：在云端推斷環(huán)節(jié)，GPU不再是最優(yōu)的選擇，取而代之的是，目前 3A（阿里云、Amazon、微軟 Azure）都紛紛探索“云服務(wù)器+FPGA”模式替代傳統(tǒng)CPU以支撐推斷環(huán)節(jié)在云端的技術(shù)密集型任務(wù)。但是以谷歌TPU為代表的ASIC也對(duì)云端推斷的市場(chǎng)份額有所希冀；

3) 用于端側(cè)推斷（inferenceondevice）的芯片：未來(lái)在相當(dāng)一部分人工智能應(yīng)用場(chǎng)景中，要求終端設(shè)備本身需要具備足夠的推斷計(jì)算能力，而顯然當(dāng)前ARM等架構(gòu)芯片的計(jì)算能力，并不能滿足這些終端設(shè)備的本地深度神經(jīng)網(wǎng)絡(luò)推斷，業(yè)界需要全新的低功耗異構(gòu)芯片，賦予設(shè)備足夠的算力去應(yīng)對(duì)未來(lái)越發(fā)增多的人工智能應(yīng)用場(chǎng)景。我們預(yù)計(jì)在這個(gè)領(lǐng)域的深度學(xué)習(xí)的執(zhí)行將更多的依賴于ASIC。