Anakin 是一款跨平臺的高性能推理引擎，最初是由百度工程師開發(fā)的，是工業(yè)產(chǎn)品的大規(guī)模應(yīng)用。您可以在 x86-cpu、arm、nv-gpu、amd-gpu、bitmain 和 cambricon 設(shè)備上運(yùn)行?Anakin。

下載安裝命令

## CPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

特征

• 靈活性

  Anakin 是一個跨平臺的高性能推理引擎，支持廣泛的神經(jīng)網(wǎng)絡(luò)架構(gòu)和不同的硬件平臺。在 GPU / x86 / ARM 平臺上運(yùn)行 Anakin 很容易。

  Anakin 已與 NVIDIA TensorRT 集成，并開放了集成 API 的這一部分以提供服務(wù)，開發(fā)人員可以直接調(diào)用該 API 或根據(jù)需要對其進(jìn)行修改，這將更加靈活地滿足開發(fā)要求。

• 高性能

  為了充分發(fā)揮硬件的性能，該團(tuán)隊在不同級別優(yōu)化了前向預(yù)測。

  • 自動圖形融合。給定算法下所有性能優(yōu)化的目標(biāo)是使 ALU 盡可能繁忙，操作員融合可以有效減少內(nèi)存訪問并保持 ALU 繁忙。

  • 內(nèi)存重用。前向預(yù)測是一種單向計算，該團(tuán)隊在不同運(yùn)算符的輸入和輸出之間重用內(nèi)存，從而減少了整體內(nèi)存開銷。

  • 裝配級優(yōu)化。Sabre 是 Anakin 的基礎(chǔ)DNN庫，在裝配級別進(jìn)行了深度優(yōu)化。