PCIe通信案例（DMA方式）

案例說明

案例功能：ARM端基于PCIe總線（開啟PCIe DMA）對(duì)FPGABRAM進(jìn)行讀寫測試。應(yīng)用程序通過ioctl函數(shù)發(fā)送命令開啟PCIe DMA傳輸數(shù)據(jù)后，等待驅(qū)動(dòng)上報(bào)input事件；當(dāng)應(yīng)用層接收到input事件，說明DMA傳輸數(shù)據(jù)完成。

ARM端案例位于產(chǎn)品資料“4-軟件資料Demoplatform-demosdma_memcpy_demo”目錄下，F(xiàn)PGA端案例位于產(chǎn)品資料“4-軟件資料DemoFPGA-demosbram_pcie”目錄下，具體說明如下：

表 1

備注：dma_memcpy_demo案例同時(shí)支持使用CPU DMA對(duì)DDR進(jìn)行讀寫測試，詳情請(qǐng)查看“基于CPU DMA的DDR讀寫測試”小節(jié)。

程序流程如下圖所示。

圖 1

程序原理說明：

ARM端：

采用PCIe DMA方式；

將數(shù)據(jù)寫入至dma_memcpy/pcie_dma_memcpy驅(qū)動(dòng)申請(qǐng)的連續(xù)內(nèi)存空間（位于DDR）；

配置PCIe DMA，如源地址、目標(biāo)地址、傳輸?shù)臄?shù)據(jù)大小等；

寫操作：通過ioctl函數(shù)啟動(dòng)PCIe DMA，通過PCIe總線將數(shù)據(jù)搬運(yùn)至FPGA BRAM；

程序接收驅(qū)動(dòng)上報(bào)input事件后，將通過ioctl函數(shù)獲取PCIe DMA搬運(yùn)數(shù)據(jù)耗時(shí)，并計(jì)算DMA傳輸速率（即寫速率）；

讀操作：通過ioctl函數(shù)啟動(dòng)PCIe DMA，通過PCIe總線將FPGA BRAM中的數(shù)據(jù)搬運(yùn)至dma_memcpy/pcie_dma_memcpy驅(qū)動(dòng)申請(qǐng)的連續(xù)內(nèi)存空間（位于DDR）；

程序接收驅(qū)動(dòng)上報(bào)input事件后，將數(shù)據(jù)從內(nèi)核空間讀取至用戶空間，然后校驗(yàn)數(shù)據(jù)，同時(shí)通過ioctl函數(shù)獲取PCIe DMA搬運(yùn)數(shù)據(jù)耗時(shí)，并計(jì)算DMA傳輸速率（即讀速率）。

FPGA端：

實(shí)現(xiàn)PCIeEndpoint功能；

處理PCIeRC端發(fā)起的PCIeBAR0空間讀寫事務(wù)；

將PCIeBAR0讀寫數(shù)據(jù)緩存至FPGA BRAM中。

案例測試

請(qǐng)將創(chuàng)龍科技TLZU-EVM評(píng)估板PCIe(CON25)接口連接至TL3588-EVM評(píng)估板PCIeRC(CON21)接口，硬件連接如下圖所示。

圖 2

請(qǐng)將創(chuàng)龍科技TLZU-EVM評(píng)估板上電啟動(dòng)，加載運(yùn)行FPGA案例"bram_pciebin"目錄下的可執(zhí)行程序。

請(qǐng)將案例"dma_memcpy_demodtsbin"目錄下的boot-dma-memcpy.img內(nèi)核鏡像文件拷貝至評(píng)估板文件系統(tǒng)。執(zhí)行如下命令，替換內(nèi)核鏡像文件至系統(tǒng)啟動(dòng)卡，評(píng)估板重啟生效。

備注：如需固化至eMMC，請(qǐng)將設(shè)備節(jié)點(diǎn)修改為"/dev/mmcblk0p3"。

Target# dd if=boot-dma-memcpy.imgof=/dev/mmcblk1p3

Target# sync

Target# reboot

圖 3

請(qǐng)將案例"bindma_memcpy_demo"可執(zhí)行程序和"driverbinpcie_dma_memcpy.ko"PCIe DMA驅(qū)動(dòng)程序拷貝至文件系統(tǒng)任意目錄下。

圖 4

執(zhí)行如下命令，賦予可執(zhí)行程序dma_memcpy_demo執(zhí)行權(quán)限。

Target# chmod a+x dma_memcpy_demo

圖 5

進(jìn)入評(píng)估板文件系統(tǒng)，在可執(zhí)行程序所在目錄執(zhí)行如下命令查看程序參數(shù)。

Target# ./dma_memcpy_demo -h

參數(shù)解析：

-a：設(shè)置DDR或PCIe地址；

-s：設(shè)置傳輸數(shù)據(jù)大?。▎挝唬築yte）；

-c：設(shè)置循環(huán)讀寫次數(shù)；

-d：設(shè)置輸入設(shè)備；

-v：顯示版本信息；

-h：顯示幫助內(nèi)容。

圖 6

執(zhí)行如下命令，查看PCIeBAR空間地址。從下圖可見，PCIeBAR空間映射至0xf0200000地址，大小為128KByte，并查看PCIe設(shè)備連接狀態(tài)。

備注：若打印信息與"Speed 5GT/s(ok)，Width x4(ok)"不一致，可能是接觸不良導(dǎo)致，需斷電后擦拭金手指部分，重新插拔。

Target# lspci -s 01:00.0 -vv

圖 7

進(jìn)入評(píng)估板文件系統(tǒng)執(zhí)行如下命令，加載PCIe DMA驅(qū)動(dòng)程序。

Target# insmod -f pcie_dma_memcpy.ko

圖 8

執(zhí)行如下命令，查看事件號(hào)。

Target# cat /proc/bus/input/devices

圖 9

圖 10

執(zhí)行如下命令，調(diào)整打印級(jí)別，避免調(diào)試串口終端打印內(nèi)核信息影響觀察測試結(jié)果。

Target# echo 1 4 1 7 > /proc/sys/kernel/printk

圖 11

執(zhí)行如下命令，使能PCIe設(shè)備。

Target# echo 1 > /sys/class/pci_bus/0000:01/device/0000:01:00.0/enable

圖 12

執(zhí)行如下命令，將隨機(jī)數(shù)據(jù)先寫入FPGABRAM，再從FPGABRAM讀出。測試完成后，程序?qū)?huì)打印最終測試結(jié)果，包含讀寫平均傳輸耗時(shí)、讀寫平均傳輸速率、讀寫錯(cuò)誤統(tǒng)計(jì)等信息。

Target# ./dma_memcpy_demo -a 0xf0200000 -s 131072-c 100-d /dev/input/event8

圖 13

表 2

PCIeGen2編碼開銷為8b/10b，PCIeGen2傳輸數(shù)據(jù)的開銷如下：

（1）物理層：Start(1Byte)、End(1Byte)

（2）數(shù)據(jù)鏈路層：Sequence(2Byte)、LCRC(4Byte)

（3）傳輸層：Header(12Byte或16Byte)、ECRC(4Byte)

PCIe理論帶寬計(jì)算如下：

寫速率：rate = 5Gb/s x num-lanes x 編碼開銷x (MPS/ (MPS + 傳輸數(shù)據(jù)的開銷))

讀速率：rate = 5Gb/s x num-lanes x 編碼開銷x (RCB/ (RCB + 傳輸數(shù)據(jù)的開銷))

MaxPayload為128Byte，RCB為64Byte，為了計(jì)算協(xié)議消耗更高的理論帶寬，取TLP header size =16Byte，因此可計(jì)算到PCIeGen2傳輸數(shù)據(jù)的開銷為28字節(jié)。

若num-lanes為2，則計(jì)算得到理論速率為：

寫速率：rate = 5Gb/s x 2x 8/10 x (128 / (128 + 28)) ≈840.20MB/s

讀速率：rate = 5Gb/s x 2x 8/10 x (64 / (64 + 28)) ≈712.34MB/s

若num-lanes為4，則計(jì)算得到理論速率為：

寫速率：rate = 5Gb/s x 4x 8/10 x (128 / (128 + 28)) ≈1640.4MB/s

讀速率：rate = 5Gb/s x 4x 8/10 x (64 / (64 + 28)) ≈1424.68MB/s

案例編譯（ARM端）

請(qǐng)將產(chǎn)品資料“4-軟件資料Demoplatform-demosdma_memcpy_demo”案例源碼拷貝至Ubuntu工作目錄。

（1）應(yīng)用程序編譯

進(jìn)入案例應(yīng)用程序源碼目錄，執(zhí)行如下命令，配置應(yīng)用程序交叉編譯工具鏈環(huán)境變量，然后進(jìn)行編譯，編譯完成將會(huì)在當(dāng)前目錄下生成dma_memcpy_demo可執(zhí)行程序。

Host# export PATH=/home/tronlong/RK3588/rk3588_linux_release_v1.2.1/extra-tools/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/:$PATH

Host# make

圖 14

（2）驅(qū)動(dòng)程序編譯

進(jìn)入案例驅(qū)動(dòng)程序源碼目錄，執(zhí)行如下命令，配置驅(qū)動(dòng)程序交叉編譯工具鏈環(huán)境變量，然后進(jìn)行編譯，編譯完成將會(huì)在當(dāng)前目錄下生成dma_memcpy.ko、pcie_dma_memcpy.ko驅(qū)動(dòng)程序。

Host# export PATH=/home/tronlong/RK3588/rk3588_linux_release_v1.2.1/extra-tools/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/:$PATH

Host# make KDIR=/home/tronlong/RK3588/rk3588_linux_release_v1.2.1/kernel/

圖 15

（3）設(shè)備樹編譯

請(qǐng)將案例"dtssrctl3588-evm-dma-memcpy.dts"設(shè)備樹源文件拷貝至LinuxSDK源碼目錄"kernel/arch/arm64/boot/dts/rockchip/"。

圖 16

備注：案例"armdtssrctl3588-evm-dma-memcpy.dts"設(shè)備樹源文件主要新增dma_memcpy節(jié)點(diǎn)，用于加載dma_memcpy或pcie_dma_memcpy驅(qū)動(dòng)，具體如下圖所示。內(nèi)核鏡像文件"armdtsbinboot-dma-memcpy.img"已包含tl3588-evm-dma-memcpy.dts編譯生成的設(shè)備樹鏡像文件。

圖 17

由于tl3588-evm-dma-memcpy.dts設(shè)備樹源文件需要引用reserved-mempcy節(jié)點(diǎn)，因此需要新增reserved-mempcy節(jié)點(diǎn)別名。進(jìn)入LinuxSDK源碼目錄，執(zhí)行如下命令，修改"rk3588-evb7-lp4.dtsi"文件。

Host# vi kernel/arch/arm64/boot/dts/rockchip/rk3588-evb7-lp4.dtsi

圖 18

修改內(nèi)容如下：

reserved_memory:reserved-memory { //新增內(nèi)容

圖 19

修改完成后，保存退出，請(qǐng)按照《Debian系統(tǒng)使用手冊(cè)》文檔Debian系統(tǒng)鏡像編譯、生成章節(jié)，替換設(shè)備樹并重新編譯內(nèi)核，將生成的內(nèi)核鏡像文件拷貝至評(píng)估板文件系統(tǒng)進(jìn)行固化。該內(nèi)核鏡像已包含tl3588-evm-dma-memcpy.dts對(duì)應(yīng)的設(shè)備樹鏡像文件。

關(guān)鍵代碼說明（ARM端）

（1）打開設(shè)備節(jié)點(diǎn)。

圖 20

（2）寫數(shù)據(jù)操作。

圖 21

圖 22

圖 23

（3）讀取數(shù)據(jù)操作。

圖 24

圖 25

基于CPU DMA的DDR讀寫測試

本小節(jié)使用dma_memcpy_demo案例，通過CPU DMA對(duì)DDR進(jìn)行讀寫，并計(jì)算傳輸速率。

備注：本次測試由CPU對(duì)DDR進(jìn)行讀寫，未使用PCIe總線。

請(qǐng)將案例"bindma_memcpy_demo"可執(zhí)行程序和"driverbindma_memcpy.ko"驅(qū)動(dòng)程序拷貝至文件系統(tǒng)任意目錄下。

圖 26

執(zhí)行如下命令，賦予可執(zhí)行程序dma_memcpy_demo執(zhí)行權(quán)限。

Target# chmod a+x dma_memcpy_demo

圖 27

進(jìn)入評(píng)估板文件系統(tǒng)執(zhí)行如下命令，加載CPU DMA驅(qū)動(dòng)程序。

Target# insmod -f dma_memcpy.ko

圖 28

執(zhí)行如下命令，查看事件號(hào)。

Target# cat /proc/bus/input/devices

圖 29

圖 30

執(zhí)行如下命令，調(diào)整打印級(jí)別，避免調(diào)試串口終端打印內(nèi)核信息影響觀察測試結(jié)果。

Target# echo 1 4 1 7 > /proc/sys/kernel/printk

圖 31

執(zhí)行如下命令，進(jìn)行DDR讀寫測試。測試完成后，程序?qū)?huì)打印最終測試結(jié)果，包含讀寫平均傳輸耗時(shí)、讀寫平均傳輸速率、讀寫錯(cuò)誤統(tǒng)計(jì)等信息。其中，寫速率為2575.41MB/s，讀速率為2583.04MB/s。

Target# ./dma_memcpy_demo-a 0x80000000-s 4194304 -c 100-d /dev/input/event8

圖 32

表 3

備注：0x80000000為預(yù)留的DDR地址空間，如下圖所示，大小為128MByte。

圖 33?tl3588-evm-dma-memcpy.dts

PCIe通信案例（非DMA方式）

案例說明

案例功能：ARM端通過PCIe總線（非DMA方式）對(duì)FPGABRAM進(jìn)行數(shù)據(jù)讀寫測試，同時(shí)校驗(yàn)數(shù)據(jù)和計(jì)算讀寫速率。

ARM端案例位于產(chǎn)品資料“4-軟件資料Demobase-demosdevmem_rw”目錄下，F(xiàn)PGA端案例位于產(chǎn)品資料“4-軟件資料DemoFPGA-demosbram_pcie”目錄下，具體說明如下：

表 4

程序流程說明：

（1）ARM端通過PCIe總線將數(shù)據(jù)寫入FPGA BRAM；

（2）ARM端通過PCIe總線從FPGA BRAM讀取數(shù)據(jù)；

（3）判斷寫入與讀取數(shù)據(jù)的正確性，并計(jì)算讀寫速率。

圖 34

案例原理說明：

ARM端：

ARM端使用mmap函數(shù)對(duì)物理地址進(jìn)行轉(zhuǎn)換；

可根據(jù)指定的訪問操作類型按字節(jié)(Byte)、按半字(Halfword)進(jìn)行訪問。

FPGA端：

實(shí)現(xiàn)PCIeEndpoint功能；

處理PCIeRC端發(fā)起的PCIeBAR0空間讀寫事務(wù)；

將PCIeBAR0讀寫數(shù)據(jù)緩存至FPGA BRAM中。

案例測試

請(qǐng)將創(chuàng)龍科技TLZU-EVM評(píng)估板PCIe(CON25)接口連接至TL3588-EVM評(píng)估板PCIeRC(CON21)接口，硬件連接如下圖所示。

圖 35

請(qǐng)將創(chuàng)龍科技TLZU-EVM評(píng)估板上電啟動(dòng)，加載運(yùn)行FPGA案例"bram_pciebin"目錄下的可執(zhí)行程序。

評(píng)估板默認(rèn)內(nèi)核鏡像未支持PCIe RC接口測試，請(qǐng)將產(chǎn)品資料“4-軟件資料DebianKernelimagelinux-5.10.160-[版本號(hào)]-[Git序列號(hào)]”目錄下boot-enable-pcie.img文件（支持PCIe RC接口測試）拷貝至評(píng)估板文件系統(tǒng)，執(zhí)行如下命令將其固化至系統(tǒng)啟動(dòng)卡。

備注：若從eMMC啟動(dòng)系統(tǒng)，請(qǐng)將設(shè)備節(jié)點(diǎn)"mmcblk1p3"修改為"mmcblk0p3"。

Target# dd if=boot-enable-pcie.img of=/dev/mmcblk1p3

Target# sync

Target# reboot

圖 36

執(zhí)行如下命令，查看PCIeBAR空間地址。從下圖可見，PCIeBAR空間映射至0xf0200000地址，大小為128KByte，并查看PCIe設(shè)備連接狀態(tài)。

備注：若打印信息與"Speed 5GT/s(ok)，Width x4(ok)"不一致，可能是接觸不良導(dǎo)致，需斷電后擦拭金手指部分，重新插拔。

Target# lspci -s 01:00.0 -vv

圖 37

請(qǐng)將ARM端案例"devmem_rwbin"目錄下的可執(zhí)行程序devmem_rw拷貝至文件系統(tǒng)任意目錄，在devmem_rw可執(zhí)行程序所在目錄執(zhí)行如下命令，查看程序參數(shù)。

Target# ./devmem_rw-h

參數(shù)解析：

-t：表示測試模式。先寫后讀，并檢驗(yàn)數(shù)據(jù)的準(zhǔn)確性。

-r：讀模式，從參數(shù)"-a

"指定的內(nèi)存空間地址處，讀出參數(shù)"-s "指定長度的數(shù)據(jù)（以字節(jié)為單位）。

-w：寫模式，從參數(shù)"-f "指定的文件獲取數(shù)據(jù)，寫入?yún)?shù)"-a

"指定的內(nèi)存空間地址。

-a

：指定內(nèi)存空間地址。

-s ：指定數(shù)據(jù)的長度，以字節(jié)為單位。

-o：以字節(jié)或半字方式訪問內(nèi)存空間。

-f ：指定文件。用于寫模式測試。

圖 38

執(zhí)行如下命令，使能PCIe設(shè)備。

Target# echo 1 > /sys/class/pci_bus/0000:01/device/0000:01:00.0/enable

圖 39

執(zhí)行如下命令，將隨機(jī)數(shù)據(jù)先寫入FPGABRAM，再從FPGABRAM讀出，校驗(yàn)數(shù)據(jù)并統(tǒng)計(jì)讀寫速率。

Target# ./devmem_rw -t -a 0xf0200000-s 131072 -o halfword

圖 40

重復(fù)三次測試，調(diào)試串口終端打印"Testpass!"信息，表示讀寫測試通過。

備注：由于本案例采用非DMA方式對(duì)FPGA BRAM進(jìn)行數(shù)據(jù)讀寫測試，可能會(huì)出現(xiàn)速率波動(dòng)較大的情況。

案例編譯（ARM端）

請(qǐng)將產(chǎn)品資料“4-軟件資料Demobase-demosdevmem_rwsrc”案例源碼拷貝至Ubuntu工作目錄。進(jìn)入案例源碼目錄，執(zhí)行如下命令進(jìn)行編譯，編譯完成將會(huì)在當(dāng)前目錄下生成可執(zhí)行程序。

Host# source /home/tronlong/RK3588/rk3588_linux_release_v1.2.1/debian/sysroots/environment

Host# make CC=aarch64-linux-gnu-gcc

圖 41

關(guān)鍵代碼（ARM端）

（1）將內(nèi)存設(shè)備地址映射至虛擬地址。

圖 42

（2）根據(jù)指定的操作方式進(jìn)行數(shù)據(jù)讀取。

圖 43

（3）根據(jù)指定的操作方式進(jìn)行數(shù)據(jù)寫入。

圖 44

審核編輯 黃宇