本篇進(jìn)行EASY EAI Nano的屏幕顯示與攝像頭顯示測(cè)試，先來(lái)看下最終的測(cè)試效果：

• 左圖是顯示圖片
• 右圖是顯示多個(gè)攝像頭，包括：
  • 雙面攝像頭中左邊的紅外攝像頭
  • 雙面攝像頭中右邊的RGB攝像頭
  • 外接USB攝像頭

本篇測(cè)評(píng)參考了官方文檔的一些內(nèi)容：https://www.easy-eai.com/document_details/3/129

1 攝像頭

1.1 MIPI CSI-2接口簡(jiǎn)介

MIPI CSI-2接口是由MIPI聯(lián)盟下的Camera工作組指定的CSI(Camera Serial Interface)的第2版接口標(biāo)準(zhǔn)，主要由應(yīng)用層、協(xié)議層、物理層組成，最大支持4個(gè)虛擬通道傳輸數(shù)據(jù)。

EASY EAI Nano的雙面攝像頭，包括一個(gè)RGB攝像頭和一個(gè)紅外攝像頭，都是MIPI CSI-2接口。

通過(guò)指令檢查EASY EAI nano的MIPI-CSI2接口模塊是否正常工作

dmesg | grep mipi

1.2 三種類(lèi)型的攝像頭

1.2.1 RGB攝像頭與IR攝像頭

MIPI CSI-2的RGB攝像頭在EASY EAI Nano套件下的位置定義如下所示，占用J3的bit1~18

MIPI CSI-2的紅外攝像頭在EASY EAI Nano套件下的位置定義如下所示，占用J3的bit22~37

1.2.2 USB攝像頭

USB攝像頭是基于UVC驅(qū)動(dòng)工作的，

USB設(shè)備具有熱插拔、易擴(kuò)展等特性，故應(yīng)用場(chǎng)合十分廣泛。

在Linux系統(tǒng)通過(guò)sysfs管理USB設(shè)備。

EASY EAI nano評(píng)估套件上集成了多路USB接口，其中有2路USB2.0 Host、1路USB2.0 Device。

1.3 攝像頭操作的API介紹

EASY EAI nano已庫(kù)文件+頭文件的形式提供了攝像頭的使用，攝像頭的底層操作邏輯看不到，我們只需要關(guān)系頭文件中API接口的使用方法即可。

easyeai-api/peripheral_api/camera/camera.h中的主要接口

/* usb camera */
int usbcamera_init(int bus, int port, int width, int height, int rot);
void usbcamera_exit(int bus, int port);
int usbcamera_getframe(int bus, int port, char *pbuf);
void usbcamera_preset_fps(int fps);
?
/* rgb camera */
int rgbcamera_init(int width, int height, int rot);
void rgbcamera_exit(void);
int rgbcamera_getframe(char *pbuf);
void rgbcamera_set_format(int format);
?
/* ir camera */
int ircamera_init(int width, int height, int rot);
void ircamera_exit(void);
int ircamera_getframe(char *pbuf);
void ircamera_set_format(int format);

1.4 測(cè)試?yán)?/h2>

三種攝像頭的使用方式類(lèi)似，RGB攝像頭IR攝像頭的使用方式幾乎一樣

RGB/IR攝像頭的使用：

// 打開(kāi)攝像頭
#define CAMERA_WIDTH          720
#define CAMERA_HEIGHT         1280
ret = rgbcamera_init(CAMERA_WIDTH, CAMERA_HEIGHT,  90);
?
//獲取圖片
ret = rgbcamera_getframe(pbuf);
?
//保存圖片
fp = fopen("/tmp/photo", "w");
fwrite(pbuf, 1, IMAGE_SIZE, fp);
fclose(fp);
?
//釋放攝像頭
rgbcamera_exit();

USB攝像頭的使用：

// 打開(kāi)攝像頭
#define CAMERA_WIDTH          720
#define CAMERA_HEIGHT         1280
ret = usbcamera_init(USB2_0, USB_DIRECT, CAMERA_WIDTH, CAMERA_HEIGHT,  90);
?
//獲取圖片
ret = usbcamera_getframe(USB2_0, USB_DIRECT, pbuf);
?
//保存圖片
fp = fopen("/tmp/photo", "w");
fwrite(pbuf, 1, IMAGE_SIZE, fp);
fclose(fp);
?
//釋放USB攝像頭
usbcamera_exit(USB2_0, USB_DIRECT);

以上測(cè)試函數(shù)，會(huì)用攝像頭拍一張照片，并保存到/tmp目錄中。

2 顯示屏

2.1 DRM驅(qū)動(dòng)框架介紹

EASY EAI nano評(píng)估板上默認(rèn)支持5寸顯示屏（帶電容觸摸屏），分辨率為720x1280，EASY EAI nano產(chǎn)品使用DRM（Direct Rendering Manager）驅(qū)動(dòng)框架實(shí)現(xiàn)多應(yīng)用同時(shí)使用同一個(gè)顯示器的目的，而EASY-EAI-Toolkit的display庫(kù)則是對(duì)DRM的封裝。

2.2 顯示屏操作的API介紹

頭文件與庫(kù)文件

easyeai-api/peripheral_api/display/disp.h中的主要接口

/* 公共api */
void disp_preset_uiLayer(int enable);
?
/* 適合初次使用 */
int disp_init(int width, int height); //默認(rèn)輸入RGB888
void disp_exit(void);
void disp_commit(void *ptr, int data_len);
?
/* pro, 顯示多路視頻時(shí)，或旋轉(zhuǎn)輸入圖像角度，或裁切圖像*/
int disp_init_pro(disp_screen_t *screen);
void disp_exit_pro(void);
void disp_commit_pro(void *ptr, int chn, int data_len);

一些參數(shù)的含義：

• width：顯示區(qū)域?qū)挾?/span>
• height：顯示區(qū)域高度
• ptr：用戶(hù)空間的顯示內(nèi)容空間
• data_len：輸入圖像數(shù)據(jù)內(nèi)存長(zhǎng)度
• screen：顯示屏屬性，包含顯示區(qū)域大小、子窗口的描述等
• chn：目標(biāo)窗口索引號(hào)

結(jié)構(gòu)體定義

typedef struct disp_win {
int enable;
int win_x;
int win_y;
int win_w;
int win_h;
int rotation;//順時(shí)針旋轉(zhuǎn)輸入圖像角度，支持90、180、270、0度
IMAGE_TYPE_E in_fmt;
int in_w;//輸入圖像寬度
int in_h;//輸入圖像高度
int HorStride;//輸入圖像水平步長(zhǎng)
int VirStride;//輸入圖像垂直步長(zhǎng)
/* 如果不設(shè)置crop系列參數(shù)，則默認(rèn)拉伸原圖鋪滿(mǎn)整個(gè)win ;
 *設(shè)置crop則先裁切再把裁切后的圖像鋪滿(mǎn)整個(gè)win，以便保持圖像寬高比例
 */
int crop_x;//裁切起始X坐標(biāo)(基于旋轉(zhuǎn)前圖像的坐標(biāo)系)
int crop_y;//裁切起始Y坐標(biāo)(基于旋轉(zhuǎn)前圖像的坐標(biāo)系)
int crop_w;//裁切后的圖像寬度(以旋轉(zhuǎn)前的圖像為參考)
int crop_h;//裁切后的圖像高度(以旋轉(zhuǎn)前的圖像為參考)
} disp_win_t;
?
typedef struct disp_screen {
    int screen_width;
int screen_height;
disp_win_t wins[VMIX_MAX_CHN_NUM];
} disp_screen_t;

2.3 測(cè)試?yán)?/h2>

參考官方給的例程，進(jìn)行修改，增加通過(guò)參數(shù)顯示指定圖片的功能，測(cè)試不同圖片顯示到屏幕的效果。

my-display.c的主程序如下：

int main(int argc, char *argv[])
{
    char *img_path = IMAGE_PATH;
    if (argc == 2)
    {
        img_path = argv[1];
        printf("recv:%sn", img_path);
    }
        
int ret = 0;
    char *pbuf = NULL;
FILE *fp = NULL;
disp_screen_t screen = {0};
?
signal(SIGINT, sigterm_handler);
?
/* 1、準(zhǔn)備圖像數(shù)據(jù) */
pbuf = (char *)malloc(IMAGE_SIZE);
    if (!pbuf) {
        printf("malloc error: %s, %dn", __func__, __LINE__);
        return -1;
    }
fp = fopen(img_path, "r");
if (!fp) {
printf("fopen error: %s, %dn", __func__, __LINE__);
return -1;
}
    ret = fread(pbuf, 1, IMAGE_SIZE, fp);
fclose(fp);
if (ret != IMAGE_SIZE) {
printf("fread error: %s, %dn", __func__, __LINE__);
free(pbuf);
return -1;
}
?
/* 2、初始化顯示 */
screen.screen_width = DISP_WIDTH;
screen.screen_height = DISP_HEIGHT;
screen.wins[0].enable = 1;
    screen.wins[0].win_x = 0;
screen.wins[0].win_y = 0;
screen.wins[0].win_w = 720;
screen.wins[0].win_h = 1280;
    screen.wins[0].rotation = 0;
screen.wins[0].in_fmt = IMAGE_TYPE_RGB888;
screen.wins[0].in_w = DISP_WIDTH;
screen.wins[0].in_h = DISP_HEIGHT;
screen.wins[0].HorStride = DISP_WIDTH;
screen.wins[0].VirStride = DISP_HEIGHT;
?
ret = disp_init_pro(&screen);
if (ret) {
printf("error func:%s, line:%dn", __func__, __LINE__);
goto exit1;
}
?
/* 3、提交顯示 */
g_run = 1;
disp_commit_pro(pbuf, 0, IMAGE_SIZE);
    
while(g_run) {
sleep(1);
}
?
disp_exit_pro();
exit1:
free(pbuf);
pbuf = NULL;
    
    return ret;
}

修改CMakeLists.txt，增加如下內(nèi)容：

#--------------------------
# my-display
#--------------------------
link_directories(${toolkit_root}/peripheral_api/display)#-L
add_executable(my-display my-display.c)#-o
target_link_libraries(my-display pthread easymedia display)#-l
target_include_directories(my-display PRIVATE ${api_inc})#-I

在執(zhí)行函數(shù)時(shí)，附加一個(gè)圖片的路徑參數(shù)，可以顯示指定的圖片：

準(zhǔn)備一些測(cè)試圖片，格式為RGB888，分辨率720x1280，測(cè)試顯示兩張不同圖片的效果：

3 攝像頭+屏幕程序代碼分析

參考官方的攝像頭顯示例程，將紅外攝像頭、RGB攝像頭和USB攝像頭采集的畫(huà)面同時(shí)顯示到屏幕中，改寫(xiě)的測(cè)試代碼如下。

my-disp-cam.c的主程序如下：

int main()
{
	char *prgb = NULL;
	char *pir = NULL;
    char *pusb = NULL;
	int ret = 0;
	disp_screen_t screen = {0};
    
    bool bHasUSBCamear = false;

	signal(SIGINT, sigterm_handler);

	/* camera init */
	ret = rgbcamera_init(CAMERA_WIDTH, CAMERA_HEIGHT, 90);
	if (ret) {
		printf("error func:%s, line:%dn", __func__, __LINE__);
		goto exit_donothing;
	}
	ret = ircamera_init(CAMERA_WIDTH, CAMERA_HEIGHT, 270); //此角度由攝像頭模組決定
	if (ret) {
		printf("error func:%s, line:%dn", __func__, __LINE__);
		goto exit_freergb;
	}
    ret = usbcamera_init(USB2_0, USB_DIRECT, CAMERA_WIDTH, CAMERA_HEIGHT, 180);
	if (ret) {
		printf("error func:%s, line:%dn", __func__, __LINE__);
	}
    else
    {
        bHasUSBCamear = true;
    }

	/* display init */
	screen.screen_width = DISP_WIDTH;
	screen.screen_height = DISP_HEIGHT;
    
	screen.wins[0].enable = 1;
	screen.wins[0].in_fmt = IMAGE_TYPE_RGB888;
	screen.wins[0].in_w = CAMERA_WIDTH;
	screen.wins[0].in_h = CAMERA_HEIGHT;
	screen.wins[0].rotation = 0;
	screen.wins[0].win_x = 0;
	screen.wins[0].win_y = 0;
	screen.wins[0].win_w = 360;
	screen.wins[0].win_h = 640;
    
	screen.wins[1].enable = 1;
	screen.wins[1].in_fmt = IMAGE_TYPE_RGB888;
	screen.wins[1].in_w = CAMERA_WIDTH;
	screen.wins[1].in_h = CAMERA_HEIGHT;
	screen.wins[1].rotation = 0;
	screen.wins[1].win_x = 360;
	screen.wins[1].win_y = 0;
	screen.wins[1].win_w = 360;
	screen.wins[1].win_h = 640;
    
    if (bHasUSBCamear)
    {
        screen.wins[2].enable = 1;
        screen.wins[2].in_fmt = IMAGE_TYPE_RGB888;
        screen.wins[2].in_w = CAMERA_WIDTH;
        screen.wins[2].in_h = CAMERA_HEIGHT;
        screen.wins[2].rotation = 0;
        screen.wins[2].win_x = 0;
        screen.wins[2].win_y = 640;
        screen.wins[2].win_w = 720;
        screen.wins[2].win_h = 640;
    }
    
	ret = disp_init_pro(&screen);
	if (ret) {
		printf("error func:%s, line:%dn", __func__, __LINE__);
		goto exit_freergb_freeir;
	}

	/* alloc buffer for cap data */
	prgb = (char *)malloc(IMAGE_SIZE);
	if (!prgb) {
		printf("error: %s, %dn", __func__, __LINE__);
		ret = -1;
		goto exit_freergb_freeir_freedisp;
	}
	pir = (char *)malloc(IMAGE_SIZE);
	if (!pir) {
		printf("error: %s, %dn", __func__, __LINE__);
		ret = -1;
		goto exit_freergb_freeir_freedisp_freeprgb;
	}
    if (bHasUSBCamear)
    {
        pusb = (char *)malloc(IMAGE_SIZE);
            if (!pusb) {
            printf("error: %s, %dn", __func__, __LINE__);
        }
    }

	g_run = 1;
	while(g_run) {
        ret = ircamera_getframe(pir);
		if (!ret) {
			disp_commit_pro(pir, 0, IMAGE_SIZE);
		}
		ret = rgbcamera_getframe(prgb);
		if (!ret) {
			disp_commit_pro(prgb, 1, IMAGE_SIZE);
		}
        if (bHasUSBCamear)
        {
            ret = usbcamera_getframe(USB2_0, USB_DIRECT, pusb);
            if (!ret) {
                disp_commit_pro(pusb, 2, IMAGE_SIZE);
            }
        }
	}
    
    if (bHasUSBCamear)
    {
        free(pusb);
        pusb = NULL;
        usbcamera_exit(USB2_0, USB_DIRECT);
    }

	free(pir);
	pir = NULL;
exit_freergb_freeir_freedisp_freeprgb:
	free(prgb);
	prgb = NULL;
exit_freergb_freeir_freedisp:
	disp_exit_pro();
exit_freergb_freeir:
	ircamera_exit();
exit_freergb:
	rgbcamera_exit();
exit_donothing:
    return ret;
}

修改CMakeLists.txt，增加如下內(nèi)容：

#--------------------------
# my-disp-cam
#--------------------------
link_directories(${toolkit_root}/peripheral_api/display)	#-L
link_directories(${toolkit_root}/peripheral_api/camera)		#-L
add_executable(my-disp-cam my-disp-cam.c)		#-o
target_link_libraries(my-disp-cam pthread rkaiq rkfacial rga easymedia display camera)	#-l
target_include_directories(my-disp-cam PRIVATE ${api_inc})	#-I

測(cè)試效果如下圖左圖，3個(gè)攝像頭可以同時(shí)顯示到屏幕，實(shí)測(cè)當(dāng)攝像頭運(yùn)動(dòng)時(shí)，屏幕顯示的畫(huà)面也十分流暢。

另外，還可以修改攝像頭和屏幕的顯示方向，如下圖右圖，就是將USB攝像頭橫屏顯示的效果。

4 總結(jié)

本篇對(duì)EASY EAI Nano的屏幕和攝像頭的顯示功能進(jìn)行測(cè)評(píng)，測(cè)試了屏幕顯示不同的圖片，屏幕顯示不同的攝像頭（MIPI紅外攝像頭、MIPI RGB攝像頭、外接USB攝像頭），以及多個(gè)攝像頭的同時(shí)顯示與屏幕顯示方向的測(cè)試。