99视频偷窥在线精品国自产拍,亚洲一区二区三区中文字幂

【拆·應用】是為開源鴻蒙應用開發(fā)者打造的技術分享平臺，是匯聚開發(fā)者的技術洞見與實踐經(jīng)驗、提供開發(fā)心得與創(chuàng)新成果的展示窗口。誠邀您踴躍發(fā)聲，期待您的真知灼見與技術火花！

引言

本期內容由AI Model SIG提供，介紹了在開源鴻蒙中，利用圖形接口Vulkan的計算著色器能力，在端側部署大模型的的整體思路和實踐分享。

開源鴻蒙是由開放原子開源基金會孵化及運營的開源項目，目標是面向全場景、全連接、全智能時代，搭建一個智能終端設備操作系統(tǒng)的框架和平臺，促進萬物互聯(lián)產(chǎn)業(yè)的繁榮發(fā)展。在人工智能時代下，與其它成熟的操作系統(tǒng)相比，開源鴻蒙部署AI LLM模型的能力欠缺。為了補齊開源鴻蒙在端側部署大模型的能力，筆者將分享如何在端側打通大模型部署的整體思路和實踐。

軟硬件選型

在硬件上選取國產(chǎn)CPU飛騰D2000，顯卡選用AMD GPU。目前能夠在OpenHarmony5.0.0 Release上點亮AMD GPU，包括RX 550、RX 580和RX 7900 XTX。

其次是推理框架的選擇，筆者選取了llama.cpp這個開源的推理框架，倉庫地址為：github.com/ggml-org/llama.cpp。目前很火的ollama，其也是選用了llama.cpp作為推理后端。llama.cpp是一個專注于在邊緣設備、個人PC上進行l(wèi)lm部署的高性能推理框架。其相比于vllm等主流llm推理框架來說，有以下明顯的優(yōu)點：

純 C++/C 實現(xiàn)，在Windows、mac、Linux等多種系統(tǒng)下編譯都非常簡單。

豐富的后端支持：如圖所示，支持x86、arm、Nidia_GPU、AMD_GPU、Vulkan甚至華為昇騰NPU_CANN。

支持CPU AVX指令集進行矢量計算加速、CPU多核并行計算、CPU+GPU混合計算

支持低精度量化：1.5bit、2 bit、3 bit、4 bit、5 bit、6 bit和 8 bit整數(shù)量化，可加快推理速度并減少內存使用。

llama.cpp支持的后端及其硬件

在上圖中，llama.cpp支持Vulkan后端。筆者通過查閱相關資料和閱讀llama.cpp關于Vulkan的相關代碼，發(fā)現(xiàn)其是利用圖形接口Vulkan的計算著色器（Compute Shader）的能力來運行大模型的。計算著色器（Compute Shader）是GPU上用于通用計算（GPGPU）的特殊程序，與傳統(tǒng)圖形渲染管線解耦，可直接操作GPU并行處理非圖形任務（如AI推理、物理模擬、數(shù)據(jù)處理）等。下表是計算著色器的特點：

綜合多因素的考量，在軟硬件上最終選用飛騰D2000 + AMD GPU + OpenHarmony 5.0.0 Release的組合，利用圖形接口Vulkan的計算著色器能力，在終端設備上高效運行大模型。

在開源鴻蒙部署大模型的難點

在第一部分提到將利用圖形接口Vulkan的計算著色器的能力，在端側高效運行大模型。在開源鴻蒙社區(qū)有個Vulkan的demo樣例，倉庫地址為：https://gitee.com/openharmony/applications_app_samples/tree/master/code/BasicFeature/Native/NdkVulkan，通過筆者的實踐，目前在HarmonyOS能跑通該樣例，但是在開源鴻蒙上尚不能跑通該樣例。通過閱讀該例子的文檔說明，如下圖，發(fā)現(xiàn)核心原因是缺少AMD GPU的Vulkan用戶態(tài)驅動庫libvulkan_radeon.so以及Vulkan的sdk。因此核心難點是要能將Vulkan的計算著色器在開源鴻蒙上正常跑起來。

NdkVulkan例子

整體思路

為了能夠利用圖形接口Vulkan的計算著色器的能力跑大模型。筆者總結了以下四個的關鍵步驟：

在開源鴻蒙上正常點亮AMD GPU。

交叉編譯出AMD的Vulkan用戶態(tài)驅動。

交叉編譯出Vulkan sdk。

移植llama.cpp到OpenHarmony上。

實踐要點

點亮AMDGPU

1.確保AMD GPU 內核態(tài)是正常的選用的內核版本為linux 6.6.22，需要將內核的以下選項打開。

系統(tǒng)正常啟動后，采用modetest工具進行測試，在測試前需要關閉render_service、composer_host和allocator_host這三個進程，具體的命令如下：

在hdc shell中運行以下命令：

如果能夠在顯示屏上看到彩色的條紋，如下圖，說明AMD GPU的內核態(tài)是正常的。

modetest測試結果

2.確保AMD GPU的用戶態(tài)是正常的

首先通過mesa3d交叉編譯出AMD GPU的用戶態(tài)驅動，主要為libEGL.so.1.0.0、libgallium_dri.so、libgbm.so.1.0.0、libglapi.so.0.0.0、libGLESv1_CM.so.1.1.0和libGLESv2.so.2.0.0這個5個動態(tài)庫。

大家可以參考laval社區(qū)的《開源鴻蒙開源GPU庫Mesa3D適配說明》這篇文章，了解GPU的適配過程，鏈接地址為：https://laval.csdn.net/64804567ade290484cb2ed06.html

這篇文章主要講的是mali gpu的mesa3d點亮過程。由于跑Vulkan的計算著色器可以不用到顯示的功能，因此在這里具體的適配過程就不展開，感興趣的讀者可在AI Model SIG的ohos_vulkan倉庫獲取相關的AMD GPU 的mesa用戶態(tài)驅動的庫，倉庫地址為：https://gitcode.com/ai_model_sig/ohos_vulkan 成功適配后，可以在顯示屏正?？吹介_源鴻蒙的桌面。

Vulkan用戶態(tài)驅動

這一步的核心是能夠獲得libvulkan_radeon.so這個動態(tài)庫。在mesa3d中有Vulkan用戶態(tài)驅動的實現(xiàn)，因此通過編譯mesa3d這個開源項目編譯出libvulkan_radeon.so這個Vulkan用戶態(tài)驅動庫。

在build_ohos.py文件中需要指定 -Dgallium-drivers=amd 和 -Dvulkan-drivers=amd這兩個參數(shù)，如下圖：