動態(tài)
- 
                                發(fā)布了文章 2023-10-10 10:17 TPU-MLIR量化敏感層分析,提升模型推理精度 背景介紹TPU-MLIR編譯器可以將機器學(xué)習(xí)模型轉(zhuǎn)換成算能芯片上運行的bmodel模型。由于浮點數(shù)的計算需要消耗更多的計算資源和存儲空間,實際應(yīng)用中往往采用量化后的模型(也稱定點模型)進行推理。相比于浮點數(shù)模型,量化模型的推理精度會有一定程度的損失。當(dāng)精度損失較大時,需要搜索模型中對精度影響較大的層,即敏感層,將其改回浮點類型,生成混精度模型進行推理。以mo2.5k瀏覽量 背景介紹TPU-MLIR編譯器可以將機器學(xué)習(xí)模型轉(zhuǎn)換成算能芯片上運行的bmodel模型。由于浮點數(shù)的計算需要消耗更多的計算資源和存儲空間,實際應(yīng)用中往往采用量化后的模型(也稱定點模型)進行推理。相比于浮點數(shù)模型,量化模型的推理精度會有一定程度的損失。當(dāng)精度損失較大時,需要搜索模型中對精度影響較大的層,即敏感層,將其改回浮點類型,生成混精度模型進行推理。以mo2.5k瀏覽量
- 
                                發(fā)布了文章 2023-10-10 10:17 
 
		 
		