背景

• Read the ***ing source code! --By 魯迅
• A picture is worth a thousand words. --By 高爾基

說(shuō)明：

1. Kernel版本：4.14
2. ARM64處理器，Contex-A53，雙核
3. 使用工具：Source Insight 3.5， Visio

1. 概述

• V4L2(Video for Linux 2)：Linux內(nèi)核中關(guān)于視頻設(shè)備驅(qū)動(dòng)的框架，對(duì)上向應(yīng)用層提供統(tǒng)一的接口，對(duì)下支持各類(lèi)復(fù)雜硬件的靈活擴(kuò)展；
• V4L2框架，主要包括v4l2-core、meida framework、videobuf2等模塊，這也是本文將要展開(kāi)的內(nèi)容，僅提綱挈領(lǐng)；

開(kāi)始吧。

2. v4l2-core

2.1 應(yīng)用視角

先從應(yīng)用的角度來(lái)看如何使用v4l2吧：

假如要進(jìn)行視頻數(shù)據(jù)采集，大體的步驟如上圖左側(cè)所示：

1. 打開(kāi)設(shè)備文件/dev/videoX；
2. 根據(jù)打開(kāi)的設(shè)備，查詢(xún)?cè)O(shè)備能力集；
3. 設(shè)置視頻數(shù)據(jù)的格式、參數(shù)等；
4. 分配buffer，這個(gè)buffer可以是用戶(hù)態(tài)分配的，也可以是從內(nèi)核中獲取的；
5. 開(kāi)始視頻流采集工作；
6. 將buffer enqueue到v4l2框架，底層負(fù)責(zé)將視頻數(shù)據(jù)填充后，應(yīng)用層再將buffer dequeue以便獲取數(shù)據(jù)，然后再將buffer enqueue，如此循環(huán)往復(fù)；

上圖右側(cè)是v4l2-core的大體框架，右側(cè)是對(duì)硬件的抽象，要想理解好它，可以先看一下較常見(jiàn)的硬件拓?fù)浣Y(jié)構(gòu)：

• 通常一個(gè)camera的模組如圖所示，通常包括Lens、Sensor、CSI接口等，其中CSI接口用于視頻數(shù)據(jù)的傳輸；
• SoC的Mipi接口對(duì)接Camera，并通過(guò)I2C/SPI控制camera模組；
• Camera模組中也可以包含ISP模塊，用于對(duì)圖像進(jìn)行處理，有的SoC中也集成了ISP的IP，接收camera的raw數(shù)據(jù)后，進(jìn)行圖像處理；

2.2 數(shù)據(jù)結(jié)構(gòu)

如果以上圖的硬件為例，對(duì)攝像頭的硬件該怎么來(lái)抽象呢？沒(méi)錯(cuò)，就是以v4l2_device和v4l2_subdev來(lái)進(jìn)行抽象,以v4l2_device來(lái)代表整個(gè)輸入設(shè)備，以v4l2_subdev來(lái)代表子模塊，比如CSI、Sensor等；

• v4l2_device：對(duì)視頻設(shè)備的整體進(jìn)行抽象，可以看成是一個(gè)紐帶，將各個(gè)子設(shè)備聯(lián)系在一起，通常它會(huì)嵌入在其他結(jié)構(gòu)體中以提供v4l2框架的功能，比如strcut isp_device；
• v4l2_subdev：對(duì)子設(shè)備進(jìn)行抽象，該結(jié)構(gòu)體中包含的struct v4l2_subdev_ops是一個(gè)完備的操作函數(shù)集，用于對(duì)接各種不同的子設(shè)備，比如video、audio、sensor等，同時(shí)還有一個(gè)核心的函數(shù)集struct v4l2_subdev_core_ops，提供更通用的功能。子設(shè)備驅(qū)動(dòng)根據(jù)設(shè)備特點(diǎn)實(shí)現(xiàn)該函數(shù)集中的某些函數(shù)即可；
• video_device：用于向系統(tǒng)注冊(cè)字符設(shè)備節(jié)點(diǎn)，以便用戶(hù)空間可以進(jìn)行交互，包括各類(lèi)設(shè)置以及數(shù)據(jù)buffer的獲取等，在該結(jié)構(gòu)體中也能看到struct v4l2_ioctl_ops和struct vb2_queue結(jié)構(gòu)體字段，這些與上文中的應(yīng)用層代碼編寫(xiě)息息相關(guān)；
• 如果子設(shè)備不需要與應(yīng)用層交互，struct v4l2_subdev中內(nèi)嵌的video_device也可以不向系統(tǒng)注冊(cè)字符設(shè)備；
• video_device結(jié)構(gòu)體，可以?xún)?nèi)嵌在其他結(jié)構(gòu)體中，以便提供用戶(hù)層交互的功能，比如struct isp_video；
• 針對(duì)圖中回調(diào)函數(shù)集，v4l2-core提供了一些實(shí)現(xiàn)，所以driver在實(shí)現(xiàn)時(shí)，非特殊情況下可以不用重復(fù)造輪子；

2.3 流程分析

來(lái)進(jìn)一步看一下內(nèi)部的注冊(cè)，及調(diào)用流程吧：

• 在驅(qū)動(dòng)實(shí)現(xiàn)中，驅(qū)動(dòng)結(jié)構(gòu)體中內(nèi)嵌struct video_device，同時(shí)實(shí)現(xiàn)struct v4l2_file_operations結(jié)構(gòu)體中的函數(shù)，最終通過(guò)video_register_device向提供注冊(cè)；
• v4l2_register_device函數(shù)通過(guò)cdev_add向系統(tǒng)注冊(cè)字符設(shè)備，并指定了file_operations，用戶(hù)空間調(diào)用open/read/write/ioctl等接口，便可回調(diào)到驅(qū)動(dòng)實(shí)現(xiàn)中；
• v4l2_register_device函數(shù)中，通過(guò)device_register向系統(tǒng)注冊(cè)設(shè)備，會(huì)在/sys文件系統(tǒng)下創(chuàng)建節(jié)點(diǎn)；

完成注冊(cè)后，用戶(hù)空間便可通過(guò)文件描述符來(lái)進(jìn)行訪問(wèn)，從應(yīng)用層看，大部分都是通過(guò)ioctl接口來(lái)完成，流程如下：

• 用戶(hù)層的ioctl回調(diào)到__video_do_ioctl中，該函數(shù)會(huì)對(duì)系統(tǒng)提供的struct v4l2_ioctl_info v4l2_ioctls[]表進(jìn)行查詢(xún)，找到對(duì)應(yīng)的項(xiàng)后進(jìn)行調(diào)用；
• 驅(qū)動(dòng)做的工作就是填空題，實(shí)現(xiàn)對(duì)應(yīng)的回調(diào)，在合適的時(shí)候被調(diào)用；

下一個(gè)小節(jié)，讓我們看看更復(fù)雜一點(diǎn)的情況。

3. media framework

3.1 問(wèn)題引入

為了更好的描述，本節(jié)以omap3isp為例，先看一下它的硬件構(gòu)成：

• CSI：camera接口，接收?qǐng)D像數(shù)據(jù)，RGB/YUV/JPEG等；
• CCDC：視頻處理前端，CCDC為圖像傳感器和數(shù)字視頻源提供接口，并處理圖像數(shù)據(jù)；
• Preview/Resizer：視頻處理后端，Preview提供預(yù)覽功能，可針對(duì)不同類(lèi)型的傳感器進(jìn)行定制，Resizer提供將輸入圖像數(shù)據(jù)按所需的顯示或視頻編碼分辨率調(diào)整大小的方法；
• H3A/HIST：靜態(tài)統(tǒng)計(jì)模塊，H3A支持AF、AWB、AE的回路控制，HIST根據(jù)輸入數(shù)據(jù)，提供各種3A算法所需的統(tǒng)計(jì)數(shù)據(jù)；

上述硬件模塊，可以對(duì)應(yīng)到驅(qū)動(dòng)結(jié)構(gòu)體struct isp_device中的各個(gè)字段。

omap3isp的硬件模塊，支持多種數(shù)據(jù)流通路，它并不是唯一的，以RGB為例，如下圖：

• Raw RGB數(shù)據(jù)進(jìn)入ISP模塊后，可以在運(yùn)行過(guò)程中，根據(jù)實(shí)際的需求進(jìn)行通路設(shè)置；
• 所以，重點(diǎn)是：它需要?jiǎng)討B(tài)設(shè)置路徑！

那么，軟件該如何滿(mǎn)足這種需求呢？

3.2 框架

沒(méi)錯(cuò)，pipeline框架的引入可以解決這個(gè)問(wèn)題。說(shuō)來(lái)很巧，我曾經(jīng)也實(shí)現(xiàn)過(guò)一個(gè)類(lèi)似的框架，在閱讀media framework時(shí)有一種似曾相識(shí)的感覺(jué)，核心的思想大體一致。

• 模塊之間相互獨(dú)立，通過(guò)struct media_entity來(lái)進(jìn)行抽象，通常會(huì)將struct media_entity嵌入到其他結(jié)構(gòu)中，以支持media framework功能；
• entity模塊包含struct media_pad，pad可以認(rèn)為是端口，與其他模塊進(jìn)行聯(lián)系的媒介，針對(duì)特定模塊來(lái)說(shuō)它是確定的；
• pad通過(guò)struct media_link來(lái)建立連接，指定source和sink，即可將通路建立起來(lái)；
• 各個(gè)模塊之間最終建立一條數(shù)據(jù)流，便是一條pipeline了，同一條pipeline中的模塊，可以根據(jù)前一個(gè)模塊查找到下一個(gè)模塊，因此也可以很方便進(jìn)行遍歷，并做進(jìn)一步的設(shè)置操作；

因此，只需要將struct media_entity嵌入到特定子模塊中，最終便可以將子模塊串聯(lián)起來(lái)，構(gòu)成數(shù)據(jù)流。所以，omap3isp的驅(qū)動(dòng)中，數(shù)據(jù)流就如下圖所示：

• video devnode代表video device，也就是前文中提到的導(dǎo)出到用戶(hù)空間的節(jié)點(diǎn)，用于與用戶(hù)進(jìn)行控制及數(shù)據(jù)交互；
• 每個(gè)模塊分別有source pad和sink pad，從連接圖就可以看出，數(shù)據(jù)通路靈活多變；
• 至于數(shù)據(jù)通路選擇問(wèn)題，可以在驅(qū)動(dòng)初始化的時(shí)候進(jìn)行鏈接創(chuàng)建，比如isp_create_links；

還是看一下數(shù)據(jù)結(jié)構(gòu)吧：

• media_device：與v4l2_device類(lèi)似，也是負(fù)責(zé)將各個(gè)子模塊集中進(jìn)行管理，同時(shí)在注冊(cè)的時(shí)候，會(huì)向系統(tǒng)注冊(cè)設(shè)備節(jié)點(diǎn)，方便用戶(hù)層進(jìn)行操作；
• media_entity、media_pad、media_link等結(jié)構(gòu)體的功能在上文中描述過(guò)，注意，這幾個(gè)結(jié)構(gòu)體會(huì)添加到media_device的鏈表中，同時(shí)它們結(jié)構(gòu)體的開(kāi)始字段都需是struct media_gobj，該結(jié)構(gòu)中的mdev將會(huì)指向它所屬的media_device。這種設(shè)計(jì)方便結(jié)構(gòu)之間的查找；
• media_entity中包含多個(gè)media_pad，同時(shí)media_pad又會(huì)指向它所屬的media_entity；
• media_graph和media_pipeline是media_entity的集合，直觀來(lái)理解，就是由一些模塊構(gòu)成的一條數(shù)據(jù)通路，由一個(gè)統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)來(lái)組織管理；

羅列一下常見(jiàn)的幾個(gè)接口吧，細(xì)節(jié)不表了：

/*初始化entity的pads*/
intmedia_entity_pads_init(structmedia_entity*entity,u16num_pads,
structmedia_pad*pads);

/*在兩個(gè)entity之間創(chuàng)建link*/
intmedia_create_pad_links(conststructmedia_device*mdev,
constu32source_function,
structmedia_entity*source,
constu16source_pad,
constu32sink_function,
structmedia_entity*sink,
constu16sink_pad,
u32flags,
constboolallow_both_undefined);

/*開(kāi)始graph的遍歷，從指定的entity開(kāi)始*/
voidmedia_graph_walk_start(structmedia_graph*graph,
structmedia_entity*entity);

/*啟動(dòng)pipeline*/
__must_checkintmedia_pipeline_start(structmedia_entity*entity,
structmedia_pipeline*pipe);

將media framework和v4l2_device及v4l2_subdev結(jié)合起來(lái)，就可以將各個(gè)子設(shè)備構(gòu)建pipeline，完美！

4. videobuf2

4.1 框架分析

• 框架可以分成兩個(gè)部分看：控制流+數(shù)據(jù)流，上文已經(jīng)大概描述了控制流，數(shù)據(jù)流的部分就是video buffer了。
• V4L2的buffer管理是通過(guò)videobuf2來(lái)完成的，它充當(dāng)用戶(hù)空間和驅(qū)動(dòng)之間的中間層，并提供low-level，模塊化的內(nèi)存管理功能；

• 上圖大體包含了videobuf2的框架；
• vb2_queue：核心的數(shù)據(jù)結(jié)構(gòu)，用于描述buffer的隊(duì)列，其中struct vb2_buffer *bufs[]是存放buffer節(jié)點(diǎn)的數(shù)組，該數(shù)組中的成員代表了vb2 buffer，并將在queued_list和done_list兩個(gè)隊(duì)列中進(jìn)行流轉(zhuǎn)；
• struct vb2_buf_ops：buffer的操作函數(shù)集，由驅(qū)動(dòng)來(lái)實(shí)現(xiàn)，并由框架通過(guò)call_bufop宏來(lái)對(duì)特定的函數(shù)進(jìn)行調(diào)用；
• struct vb2_mem_ops：內(nèi)存buffer分配函數(shù)接口，buffer類(lèi)型分為三種：1）虛擬地址和物理地址都分散，可以通過(guò)dma-sg來(lái)完成；2）物理地址分散，虛擬地址連續(xù)，可以通過(guò)vmalloc分配；3）物理地址連續(xù)，可以通過(guò)dma-contig來(lái)完成；三種類(lèi)型也vb2框架中都有實(shí)現(xiàn)，框架可以通過(guò)call_memop來(lái)進(jìn)行調(diào)用；
• struct vb2_ops：vb2隊(duì)列操作函數(shù)集，由驅(qū)動(dòng)來(lái)實(shí)現(xiàn)對(duì)應(yīng)的接口，并在框架中通過(guò)call_vb_qop宏被調(diào)用；

4.2 流程分析

本節(jié)以omap3isp為例進(jìn)行簡(jiǎn)要分析，感覺(jué)直接看圖就可以了：

1. buffer申請(qǐng)

2. buffer enqueue

3. buffer dequeue

4. stream on

行文至此，主體講完了，相信看完本文應(yīng)該有個(gè)大概的輪廓了，還有一些細(xì)節(jié)未進(jìn)一步描述，就此打住。