OpenHarmony 3.2 Beta多媒體系列：視頻錄制
一、簡介
媒體子系統為開發者提供了媒體相關的很多功能，本文針對其中的視頻錄制功能做個詳細的介紹。首先，我將通過媒體子系統提供的視頻錄制Test代碼作為切入點，給大家梳理一下整個錄制的流程。
二、目錄
foundation/multimedia/camera_framework
├── frameworks
│ ├── js
│ │ └── camera_napi #napi實現
│ │ └── src
│ │ ├── input #Camera輸入
│ │ ├── output #Camera輸出
│ │ └── session #會話管理
│ └── native #native實現
│ └── camera
│ ├── BUILD.gn
│ ├── src
│ │ ├── input #Camera輸入
│ │ ├── output #Camera輸出
│ │ └── session #會話管理
├── interfaces #接口定義
│ ├── inner_api #內部native實現
│ │ └── native
│ │ ├── camera
│ │ │ └── include
│ │ │ ├── input
│ │ │ ├── output
│ │ │ └── session
│ └── kits #napi接口
│ └── js
│ └── camera_napi
│ ├── BUILD.gn
│ ├── include
│ │ ├── input
│ │ ├── output
│ │ └── session
│ └── @ohos.multimedia.camera.d.ts
└── services #服務端
└── camera_service
├── binder
│ ├── base
│ ├── client #IPC的客戶端
│ │ └── src
│ └── server #IPC的服務端
│ └── src
└── src
三、錄制的總體流程
四、Native接口使用
在OpenAtom OpenHarmony（以下簡稱“OpenHarmony”）系統中，多媒體子系統通過N-API接口提供給上層JS調用，N-API相當于是JS和Native之間的橋梁，在OpenHarmony源碼中，提供了C++直接調用視頻錄制功能的例子，foundation/multimedia/camera_framework/interfaces/inner_api/native/test目錄中。本文章主要參考了camera_video.cpp文件中的視頻錄制流程。
首先根據camera_video.cpp的main方法，了解下視頻錄制的主要流程代碼。
int main(int argc, char **argv)
{
......
// 創建CameraManager實例
sptr camManagerObj = CameraManager::GetInstance();
// 設置回調
camManagerObj->SetCallback(std::make_shared(testName));
// 獲取支持的相機設備列表
std::vector> cameraObjList = camManagerObj->GetSupportedCameras();
// 創建采集會話
sptr captureSession = camManagerObj->CreateCaptureSession();
// 開始配置采集會話
captureSession->BeginConfig();
// 創建CameraInput
sptr captureInput = camManagerObj->CreateCameraInput(cameraObjList[0]);
sptr cameraInput = (sptr &)captureInput;
// 開啟CameraInput
cameraInput->Open();
// 設置CameraInput的Error回調
cameraInput->SetErrorCallback(std::make_shared(testName));
// 添加CameraInput實例到采集會話中
ret = captureSession->AddInput(cameraInput);
sptr videoSurface = nullptr;
std::shared_ptr recorder = nullptr;
// 創建Video的Surface
videoSurface = Surface::CreateSurfaceAsConsumer();
sptr videoListener = new SurfaceListener("Video", SurfaceType::VIDEO, g_videoFd, videoSurface);
// 注冊Surface的事件監聽
videoSurface->RegisterConsumerListener((sptr &)videoListener);
// 視頻的配置
VideoProfile videoprofile = VideoProfile(static_cast(videoFormat), videosize, videoframerates);
// 創建VideoOutput實例
sptr videoOutput = camManagerObj->CreateVideoOutput(videoprofile, videoSurface);
// 設置VideoOutput的回調
((sptr &)videoOutput)->SetCallback(std::make_shared(testName));
// 添加videoOutput到采集會話中
ret = captureSession->AddOutput(videoOutput);
// 提交會話配置
ret = captureSession->CommitConfig();
// 開始錄制
ret = ((sptr &)videoOutput)->Start();
sleep(videoPauseDuration);
MEDIA_DEBUG_LOG("Resume video recording");
// 暫停錄制
ret = ((sptr &)videoOutput)->Resume();
MEDIA_DEBUG_LOG("Wait for 5 seconds before stop");
sleep(videoCaptureDuration);
MEDIA_DEBUG_LOG("Stop video recording");
// 停止錄制
ret = ((sptr &)videoOutput)->Stop();
MEDIA_DEBUG_LOG("Closing the session");
// 停止采集會話
ret = captureSession->Stop();
MEDIA_DEBUG_LOG("Releasing the session");
// 釋放會話采集
captureSession->Release();
// Close video file
TestUtils::SaveVideoFile(nullptr, 0, VideoSaveMode::CLOSE, g_videoFd);
cameraInput->Release();
camManagerObj->SetCallback(nullptr);
return 0;
}
以上是視頻錄制的整體流程，其過程主要通過Camera模塊支持的能力來實現，其中涉及幾個重要的類：CaptureSession、CameraInput、VideoOutput。CaptureSession是整個過程的控制者，CameraInput和VideoOutput相當于是設備的輸入和輸出。
五、調用流程
后續主要針對上面的調用流程，梳理具體的調用流程，方便我們對了解視頻錄制的整理架構有一個更加深入的了解。
創建CameraManager實例
通過CameraManager::GetInstance()獲取CameraManager的實例，后續的一些接口都是通過該實例進行調用的。GetInstance使用了單例模式，在OpenHarmony代碼中這種方式很常見。
sptr &CameraManager::GetInstance()
{
if (CameraManager::cameraManager_ == nullptr) {
MEDIA_INFO_LOG("Initializing camera manager for first time!");
CameraManager::cameraManager_ = new(std::nothrow) CameraManager();
if (CameraManager::cameraManager_ == nullptr) {
MEDIA_ERR_LOG("CameraManager::GetInstance failed to new CameraManager");
}
}
return CameraManager::cameraManager_;
}
獲取支持的相機設備列表
通過調用CameraManager的GetSupportedCameras()接口，獲取設備支持的CameraDevice列表。跟蹤代碼可以發現serviceProxy_->GetCameras最終會調用到Camera服務端的對應接口。
std::vector> CameraManager::GetSupportedCameras()
{
CAMERA_SYNC_TRACE;
std::lock_guard lock(mutex_);
std::vector cameraIds;
std::vector> cameraAbilityList;
int32_t retCode = -1;
sptr cameraObj = nullptr;
int32_t index = 0;
if (cameraObjList.size() > 0) {
cameraObjList.clear();
}
if (serviceProxy_ == nullptr) {
MEDIA_ERR_LOG("CameraManager::GetCameras serviceProxy_ is null, returning empty list!");
return cameraObjList;
}
std::vector> supportedCameras;
retCode = serviceProxy_->GetCameras(cameraIds, cameraAbilityList);
if (retCode == CAMERA_OK) {
for (auto& it : cameraIds) {
cameraObj = new(std::nothrow) CameraDevice(it, cameraAbilityList[index++]);
if (cameraObj == nullptr) {
MEDIA_ERR_LOG("CameraManager::GetCameras new CameraDevice failed for id={public}%s", it.c_str());
continue;
}
supportedCameras.emplace_back(cameraObj);
}
} else {
MEDIA_ERR_LOG("CameraManager::GetCameras failed!, retCode: %{public}d", retCode);
}
ChooseDeFaultCameras(supportedCameras);
return cameraObjList;
}
創建采集會話
下面是比較重要的環節，通過調用CameraManager的CreateCaptureSession接口創建采集會話。CameraManager創建采集會話，是通過serviceProxy_->CreateCaptureSession方式進行調用，這里涉及到了OpenHarmony中的IPC的調用，serviceProxy_是遠端服務在本地的代理，通過這個代理可以調用到具體的服務端，這里是HCameraService。
sptr CameraManager::CreateCaptureSession()
{
CAMERA_SYNC_TRACE;
sptr captureSession = nullptr;
sptr result = nullptr;
int32_t retCode = CAMERA_OK;
if (serviceProxy_ == nullptr) {
MEDIA_ERR_LOG("CameraManager::CreateCaptureSession serviceProxy_ is null");
return nullptr;
}
retCode = serviceProxy_->CreateCaptureSession(captureSession);
if (retCode == CAMERA_OK && captureSession != nullptr) {
result = new(std::nothrow) CaptureSession(captureSession);
if (result == nullptr) {
MEDIA_ERR_LOG("Failed to new CaptureSession");
}
} else {
MEDIA_ERR_LOG("Failed to get capture session object from hcamera service!, %{public}d", retCode);
}
return result;
}
代碼最終來到HCameraService::CreateCaptureSession中，該方法中new了一個HCaptureSession對象，并且將該對象傳遞給了參數session，所以前面的captureSession對象就是這里new出來的HCaptureSession，前面的CameraManager的CreateCaptureSession()方法中將captureSession封裝成CaptureSession對象返回給應用層使用。
int32_t HCameraService::CreateCaptureSession(sptr &session)
{
CAMERA_SYNC_TRACE;
sptr captureSession;
if (streamOperatorCallback_ == nullptr) {
streamOperatorCallback_ = new(std::nothrow) StreamOperatorCallback();
if (streamOperatorCallback_ == nullptr) {
MEDIA_ERR_LOG("HCameraService::CreateCaptureSession streamOperatorCallback_ allocation failed");
return CAMERA_ALLOC_ERROR;
}
}
std::lock_guard lock(mutex_);
OHOS::AccessTokenID callerToken = IPCSkeleton::GetCallingTokenID();
captureSession = new(std::nothrow) HCaptureSession(cameraHostManager_, streamOperatorCallback_, callerToken);
if (captureSession == nullptr) {
MEDIA_ERR_LOG("HCameraService::CreateCaptureSession HCaptureSession allocation failed");
return CAMERA_ALLOC_ERROR;
}
session = captureSession;
return CAMERA_OK;
}
開始配置采集會話
調用CaptureSession的BeginConfig進行采集會話的配置工作。這個工作最終調用到被封裝的HCaptureSession中。
int32_t HCaptureSession::BeginConfig()
{
CAMERA_SYNC_TRACE;
if (curState_ == CaptureSessionState::SESSION_CONFIG_INPROGRESS) {
MEDIA_ERR_LOG("HCaptureSession::BeginConfig Already in config inprogress state!");
return CAMERA_INVALID_STATE;
}
std::lock_guard lock(sessionLock_);
prevState_ = curState_;
curState_ = CaptureSessionState::SESSION_CONFIG_INPROGRESS;
tempCameraDevices_.clear();
tempStreams_.clear();
deletedStreamIds_.clear();
return CAMERA_OK;
}
創建CameraInput
應用層通過camManagerObj->CreateCameraInput(cameraObjList[0])的方式進行CameraInput的創建，cameraObjList[0]就是前面獲取支持設備的第一個。根據CameraDevice創建對應的CameraInput對象。
sptr CameraManager::CreateCameraInput(sptr &camera)
{
CAMERA_SYNC_TRACE;
sptr cameraInput = nullptr;
sptr deviceObj = nullptr;
if (camera != nullptr) {
deviceObj = CreateCameraDevice(camera->GetID());
if (deviceObj != nullptr) {
cameraInput = new(std::nothrow) CameraInput(deviceObj, camera);
if (cameraInput == nullptr) {
MEDIA_ERR_LOG("failed to new CameraInput Returning null in CreateCameraInput");
return cameraInput;
}
} else {
MEDIA_ERR_LOG("Returning null in CreateCameraInput");
}
} else {
MEDIA_ERR_LOG("CameraManager: Camera object is null");
}
return cameraInput;
}
開啟CameraInput
調用了CameraInput的Open方法，進行輸入設備的啟動打開。
void CameraInput::Open()
{
int32_t retCode = deviceObj_->Open();
if (retCode != CAMERA_OK) {
MEDIA_ERR_LOG("Failed to open Camera Input, retCode: %{public}d", retCode);
}
}
添加CameraInput實例到采集會話中
通過調用captureSession的AddInput方法，將創建的CameraInput對象添加到采集會話的輸入中，這樣采集會話就知道采集輸入的設備。
int32_t CaptureSession::AddInput(sptr &input)
{
CAMERA_SYNC_TRACE;
if (input == nullptr) {
MEDIA_ERR_LOG("CaptureSession::AddInput input is null");
return CAMERA_INVALID_ARG;
}
input->SetSession(this);
inputDevice_ = input;
return captureSession_->AddInput(((sptr &)input)->GetCameraDevice());
}
最終調用到HCaptureSession的AddInput方法，該方法中核心的代碼是tempCameraDevices_.emplace_back(localCameraDevice)，將需要添加的CameraDevice插入到tempCameraDevices_容器中。
int32_t HCaptureSession::AddInput(sptr cameraDevice)
{
CAMERA_SYNC_TRACE;
sptr localCameraDevice = nullptr;
if (cameraDevice == nullptr) {
MEDIA_ERR_LOG("HCaptureSession::AddInput cameraDevice is null");
return CAMERA_INVALID_ARG;
}
if (curState_ != CaptureSessionState::SESSION_CONFIG_INPROGRESS) {
MEDIA_ERR_LOG("HCaptureSession::AddInput Need to call BeginConfig before adding input");
return CAMERA_INVALID_STATE;
}
if (!tempCameraDevices_.empty() || (cameraDevice_ != nullptr && !cameraDevice_->IsReleaseCameraDevice())) {
MEDIA_ERR_LOG("HCaptureSession::AddInput Only one input is supported");
return CAMERA_INVALID_SESSION_CFG;
}
localCameraDevice = static_cast(cameraDevice.GetRefPtr());
if (cameraDevice_ == localCameraDevice) {
cameraDevice_->SetReleaseCameraDevice(false);
} else {
tempCameraDevices_.emplace_back(localCameraDevice);
CAMERA_SYSEVENT_STATISTIC(CreateMsg("CaptureSession::AddInput"));
}
sptr streamOperator;
int32_t rc = localCameraDevice->GetStreamOperator(streamOperatorCallback_, streamOperator);
if (rc != CAMERA_OK) {
MEDIA_ERR_LOG("HCaptureSession::GetCameraDevice GetStreamOperator returned %{public}d", rc);
localCameraDevice->Close();
return rc;
}
return CAMERA_OK;
}
創建Video的Surface
通過Surface::CreateSurfaceAsConsumer創建Surface。
sptr Surface::string name, bool isShared)
{
sptr surf = new ConsumerSurface(name, isShared);
GSError ret = surf->Init();
if (ret != GSERROR_OK) {
BLOGE("Failure, Reason: consumer surf init failed");
return nullptr;
}
return surf;
}
創建VideoOutput實例
通過調用CameraManager的CreateVideoOutput來創建VideoOutput實例。
sptr CameraManager::CreateVideoOutput(VideoProfile &profile, sptr &surface)
{
CAMERA_SYNC_TRACE;
sptr streamRepeat = nullptr;
sptr result = nullptr;
int32_t retCode = CAMERA_OK;
camera_format_t metaFormat;
metaFormat = GetCameraMetadataFormat(profile.GetCameraFormat());
retCode = serviceProxy_->CreateVideoOutput(surface->GetProducer(), metaFormat,
profile.GetSize().width, profile.GetSize().height, streamRepeat);
if (retCode == CAMERA_OK) {
result = new(std::nothrow) VideoOutput(streamRepeat);
if (result == nullptr) {
MEDIA_ERR_LOG("Failed to new VideoOutput");
} else {
std::vector videoFrameRates = profile.GetFrameRates();
if (videoFrameRates.size() >= 2) { // vaild frame rate range length is 2
result->SetFrameRateRange(videoFrameRates[0], videoFrameRates[1]);
}
POWERMGR_SYSEVENT_CAMERA_CONFIG(VIDEO,
profile.GetSize().width,
profile.GetSize().height);
}
} else {
MEDIA_ERR_LOG("VideoOutpout: Failed to get stream repeat object from hcamera service! %{public}d", retCode);
}
return result;
}
該方法中通過IPC的調用最終調用到了HCameraService的CreateVideoOutput(surface->GetProducer(), format, streamRepeat)。
sptr CameraManager::CreateVideoOutput(VideoProfile &profile, sptr &surface)
{
CAMERA_SYNC_TRACE;
sptr streamRepeat = nullptr;
sptr result = nullptr;
int32_t retCode = CAMERA_OK;
camera_format_t metaFormat;
metaFormat = GetCameraMetadataFormat(profile.GetCameraFormat());
retCode = serviceProxy_->CreateVideoOutput(surface->GetProducer(), metaFormat,
profile.GetSize().width, profile.GetSize().height, streamRepeat);
if (retCode == CAMERA_OK) {
result = new(std::nothrow) VideoOutput(streamRepeat);
if (result == nullptr) {
MEDIA_ERR_LOG("Failed to new VideoOutput");
} else {
std::vector videoFrameRates = profile.GetFrameRates();
if (videoFrameRates.size() >= 2) { // vaild frame rate range length is 2
result->SetFrameRateRange(videoFrameRates[0], videoFrameRates[1]);
}
POWERMGR_SYSEVENT_CAMERA_CONFIG(VIDEO,
profile.GetSize().width,
profile.GetSize().height);
}
} else {
MEDIA_ERR_LOG("VideoOutpout: Failed to get stream repeat object from hcamera service! %{public}d", retCode);
}
return result;
}
HCameraService的CreateVideoOutput方法中主要創建了HStreamRepeat，并且通過參數傳遞給前面的CameraManager使用，CameraManager通過傳遞的HStreamRepeat對象，進行封裝，創建出VideoOutput對象。
添加videoOutput到采集會話中，并且提交采集會話
該步驟類似添加CameraInput到采集會話的過程，可以參考前面的流程。
開始錄制
通過調用VideoOutput的Start進行錄制的操作。
int32_t VideoOutput::Start()
{
return static_cast(GetStream().GetRefPtr())->Start();
}
該方法中會調用到HStreamRepeat的Start方法。
int32_t HStreamRepeat::Start()
{
CAMERA_SYNC_TRACE;
if (streamOperator_ == nullptr) {
return CAMERA_INVALID_STATE;
}
if (curCaptureID_ != 0) {
MEDIA_ERR_LOG("HStreamRepeat::Start, Already started with captureID: %{public}d", curCaptureID_);
return CAMERA_INVALID_STATE;
}
int32_t ret = AllocateCaptureId(curCaptureID_);
if (ret != CAMERA_OK) {
MEDIA_ERR_LOG("HStreamRepeat::Start Failed to allocate a captureId");
return ret;
}
std::vector ability;
OHOS::ConvertMetadataToVec(cameraAbility_, ability);
CaptureInfo captureInfo;
captureInfo.streamIds_ = {streamId_};
captureInfo.captureSetting_ = ability;
captureInfo.enableShutterCallback_ = false;
MEDIA_INFO_LOG("HStreamRepeat::Start Starting with capture ID: %{public}d", curCaptureID_);
CamRetCode rc = (CamRetCode)(streamOperator_->Capture(curCaptureID_, captureInfo, true));
if (rc != HDI::NO_ERROR) {
ReleaseCaptureId(curCaptureID_);
curCaptureID_ = 0;
MEDIA_ERR_LOG("HStreamRepeat::Start Failed with error Code:%{public}d", rc);
ret = HdiToServiceError(rc);
}
return ret;
}核心的代碼是streamOperator_->Capture，其中最后一個參數true，表示采集連續數據。
錄制結束，保存錄制文件
六、總結
本文主要對OpenHarmony 3.2 Beta多媒體子系統的視頻錄制進行介紹，首先梳理了整體的錄制流程，然后對錄制過程中的主要步驟進行了詳細地分析。視頻錄制主要分為以下幾個步驟：
（1） 獲取CameraManager實例。
（2） 創建采集會話CaptureSession。
（3） 創建CameraInput實例，并且將輸入設備添加到CaptureSession中。
（4） 創建Video錄制需要的Surface。
（5） 創建VideoOutput實例，并且將輸出添加到CaptureSession中。
（6） 提交采集會話的配置。
（7） 調用VideoOutput的Start方法，進行視頻的錄制。
（8） 錄制結束，保存錄制的文件。
原文標題：OpenHarmony 3.2 Beta多媒體系列：視頻錄制
文章出處：【微信公眾號：電子發燒友開源社區】歡迎添加關注！文章轉載請注明出處。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
電子發燒友
+關注
關注
33文章
552瀏覽量
33007 -
開源社區
+關注
關注
0文章
94瀏覽量
452
原文標題：OpenHarmony 3.2 Beta多媒體系列：視頻錄制
文章出處：【微信號：HarmonyOS_Community，微信公眾號：電子發燒友開源社區】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
安謀科技自研“玲瓏”多媒體家族再添新軍，加速超高清顯示和端邊云視頻應用落地
9月19日，安謀科技在北京召開新品發布媒體溝通會，正式亮出本土自研多媒體產品矩陣的最新力作——首款“玲瓏”D8/D6/D2顯示處理器和新一代的“玲瓏”V510/V710視頻處理器，為當前終端市場超高畫質顯示、超高清
基于ArkTS語言的OpenHarmony APP應用開發：多媒體管理2
，視頻開始播放。再次點擊視頻進入視頻全屏頁。首頁下滑500vp后，視頻小窗口化。4.點擊直播按鈕進入直播頁，上下滑動視頻。本案例已在
基于ArkTS語言的OpenHarmony APP應用開發：多媒體管理2
播放按鈕，視頻開始播放。再次點擊視頻進入視頻全屏頁。
首頁下滑500vp后，視頻小窗口化。
4.點擊直播按鈕進入直播頁，上下滑動視頻。
本案
發表于 09-20 13:47
基于ArkTS語言的OpenHarmony APP應用開發：多媒體管理
1、程序介紹
本示例展示了視頻組件的基本功能，以及如何控制播放狀態的相關能力，包括視頻切換、封面切換、播放、暫停等。
本案例已在OpenHarmony凌蒙派-RK3568開發板驗證通過，具體代碼可
發表于 09-19 15:50
鴻蒙媒體開發【簡述】
錄制）、圖片等。
如下圖所示，媒體系統面向應用開發提供音視頻應用、圖庫應用的編程框架接口；面向設備開發提供對接不同硬件芯片適配加速功能；中間以服務形態提供媒體核心功能和管理機制。
音
發表于 02-28 17:53
OpenHarmony4.0源碼解析之媒體框架
媒體框架簡介 媒體框架 multimedia_player_framework 主要提供音視頻的錄制與播放功能。 框架簡介 從框架圖中可以看出，媒體
音視頻解碼生成在多媒體制作中的應用
音視頻解碼生成是多媒體制作中不可或缺的一部分，它扮演著將編碼的音視頻數據轉化為可播放、可編輯的內容的關鍵角色。在多媒體制作的全過程中，音視頻
萬興科技發布國內首個音視頻多媒體大模型“天幕”
萬興科技近日正式發布了國內首個音視頻多媒體大模型——萬興“天幕”，并宣布大模型研發中心將正式落戶馬欄山。
LED大屏幕處理器與多媒體內容的兼容性和互動性
LED大屏幕處理器與多媒體內容的兼容性和互動性是其重要特性之一。以下是對這一特性的詳細解釋： ? 兼容性：LED大屏幕處理器需要能夠接收和處理各種多媒體內容，如視頻、圖片、動畫等。為了實現這一
多媒體一體機為什么推薦用工業級連接器
多媒體一體機在辦公、培訓、教學等場景中覆蓋面非常廣，它告別了手寫的低效與繁瑣，帶來了智能交互新體驗。如何保障多媒體一體機在長期以及任何場合上的可靠電源傳輸連接是一項非常重要的工作。LP系列連接器為
工商網監
評論