基于OpenHarmony的智能音響

本項目由閩江學院李維權、李清湖、朱燕禮同學完成，作品獲得福建省首屆OpenHarmony開發者大賽三等獎！

1、項目背景

進入 21 世紀以來，傳感器技術、計算機控制技術、網絡技術以及新興的物聯網技術，蓬勃發展。音箱是現代家居生活中為人們提供聽覺享受的產品，其作為音響系統的最終端，承擔著將電波信號轉化為聲能量，并傳播到空氣中的作用。音箱的種類有很多，針對不同的使用場景、用戶群，有不同的表現形式。以人為本的現代設計理念推動著設計的發展，在產品設計領域，以人為本不僅體現在產品的形式上，產品的服務形式也應該是契合人的本性、對用戶友好的。這一述求隨著科技的發展，逐漸與人們的預期相符合。所謂的“智能”，指的是個體認識客觀物體和運用知識解決問題的能力。機器不同于人類能夠獨立思考，它的行為模式是依附于程序而進行的，當一個機器能夠在某個程序的指導下，獨立進行操作或運算，我們便稱之為智能設備。智能音箱就是在傳統音箱的基礎上結合通信技術、傳感技術或其他互聯網技術，使之在擴音的基礎功能之上，擁有更多新的、符合現代生活場景的功能, 隨著科學技術的不斷進步，人們所追求東西也越來越多。

智能音箱系統是以智能音箱設備為核心，結合手機端、語音識別系統和手勢識別系統協同工作，可提供中繼WiFi的同時滿足家庭用戶的日常音頻服務需求，個性化地為用戶提供了語音識別功能，本次設計的是以家居場景下的智能音箱產品，首先對其硬件平臺進行設計，其次對音頻系統和功能軟件部分進行詳細設計，然后對智能音箱系統的語音識別系統和設計與優化并初步實現語音識別功能，從而打造一款經濟、實用、智能的便攜式音箱系統。

2、項目簡介

2.1 項目描述

此項目基于 OpenHarmony 操作系統——我國自主研究、國產可控的芯片RK2206 搭載的一個全新的，獨立的首個完全開源的操作系統。該項目也是 OpenHarmony 在智能音箱領域適配的一個嘗試，通過藍牙連接、語音識別、手勢識別三種方式控制設備，小凌派內置WiFi連接網絡顯示實時時鐘和當地天氣。實現了人機交互化、系統化、實時化。

2.2 功能說明

在系統整體設計架構中，利用小凌派內置WiFi模塊連接網絡，在搭載OpenHarmony操作系統的小凌派LCD顯示屏上顯示實時時間和當地實時天氣情況。

在人工智能音箱交互的過程中，主要是使用耳和嘴兩個信息通道，即聽和說，語音識別的過程要經過三個階段:發音、傳遞和感知，分別對應于生理、物理和心理三個方面，也就是說，僅僅是識別理解語音還不夠，還需要根據所處的語境，以即時、正確、合乎常規的自然語言表達方式回復用戶。此項目支持藍牙和WiFi進行音樂播放，在此基礎上，我們的設計加入了手勢識別， 利用不同手勢改變音樂播放狀態。

2.3 系統功能模塊劃分

項目是基于我國自主創新研發的國產可控芯片RK2206搭載OpenHarmony操作系統上運行的，OpenHarmony作為新推出的熱點，它在傳統的單設備系統能力的基礎上，創造性地提出了一套系統能力適配終端形態的理念，并且支持在終端設備上運行。小凌派內置WiFi模塊連接網絡，在搭載OpenHarmony操作系統的小凌派LCD顯示屏上顯示實時時間和當地實時天氣情況。本系統中，由語音識別和手勢識別實現人機交互，當語音識別模塊聽到喚醒詞（小智小智）后回應，再說上一首/下一首進行切歌，或者播放/暫停，小凌派屏幕上會顯示相應的音樂播放狀態圖標和提示語。

2.4 項目展示

圖2.1 智能音箱設計實物正面圖

圖2.2 智能音箱設計實物側面圖

圖2.3 智能音箱設計實際操作圖

3、硬件設計

3.1 硬件總體框架

圖3.1 硬件總體框圖

3.2 主控芯片

圖3.2 小凌派

采用小凌派RK2206 OpenHarmony開發板，主控為瑞芯微RK2206芯片，200MHz主頻，RAM 256KB、ROM16KB、PSRAM 8M、FLASH 8M。板載NFCTag芯片及天線，可實現OpenHarmony“碰一碰”功能。支持 IEEE 802.11b/g/n 制式，AP 模式。USB 2.0 、SDcard /SPI/I2C 接口、麥克風接口、E53 接口（包含 UART、 I2C、ADC、DAC、PWM、5 個 GPIO）。一根TypeC USB線，即可實現供電、下載等功能。一根TypeC USB線，可支持串口調試功能。

3.3 語音識別模塊

語音識別模塊采用LD3320，支持3.3V/5V供電，通信協議采用串口通信。

圖3.3 語音識別模塊

3.4 語音播報模塊

語音播報模塊采用SNY6288，支持3.3V供電，通信協議采用串口通信。

圖3.4 SNY6288

3.5 功率放大模塊

TPA3116D2雙聲道立體聲大功率數字低音炮功放板 ，支持2x50W功率。

圖3.5 功率放大模塊

3.6 手勢識別模塊

小凌派鴻蒙開發板智能手勢擴展板E53模塊PAJ7620U2手勢識別傳感器。

圖3.6 手勢識別模塊

3.7 音頻藍牙模塊

使用藍牙3.0模塊，SPP透傳。

圖3.7 藍牙模塊

3.8 TFT顯示屏

1.8寸彩色TFT顯示屏，高清IPS LCD液晶屏模塊，分辨率128*160，SPI接口。

圖3.8 TFT液晶屏

4、軟件方案

智能音箱設計軟件部分使用的是C語言，整體代碼整合屏幕化顯示代碼、WiFi連接代碼、語言識別代碼、手勢識別代碼等部分。

設計采用的小凌派芯片RK2206開發板采用Lite os-M 內核、自帶WiFi模塊，SDK也提供了相應的驅動，初始化配置WiFi，連接到目標網絡,通過內部串口將WiFi的ID密碼、時間和天氣API網站IP與鏈接地址傳入內置WiFi模塊。WiFi聯網成功后利用TCP協議向網站發送get信息，網站收到get請求后回傳帶有時間和天氣信息的json格式報文，報文送進小凌派芯片RK2206經由CJSON庫處理為標準格式后，最終顯示在LCD屏幕上。

而通過I2C通信協議，傳感器感受手勢，主控板讀取PAJ7620U2的手勢寄存器中的手勢，相應對應的接口層，引腳輸出對應高低電平完成歌曲切換、暫停等操作。

圖4.1 程序總框圖

圖4.2 主流程圖

4.1 WiFi連接設計

智能音箱獲取連接WiFi部分代碼：

圖4.3 WiFi模塊流程圖

4.2時間天氣信息獲取設計

智能音箱通過協議發送數據給sercer，再接受來自server的信息，從而獲取時間以及天氣狀況信息。

時間信息獲取設計部分代碼:

天氣狀況信息獲取設計部分代碼：

4.3手勢識別設計

智能音箱手勢識別分別設置4種手勢進行操作，并根據不同手勢執行不同的操作。

圖4.4 手勢識別程序流程圖

5、項目總結和展望

本次設計從互聯網技術出發，以人工智能音箱為落腳點，設計一款緊跟都市生活節奏和技術環境的產品。該設計在一定程度上可以幫助用戶解放雙手，便利用戶生活，既不用手持智能設備也能對智能音箱進行操作，有助于用戶提高生活質量，享受數字時代帶來的紅利。能夠為人們提供實時的天氣情況，顯示當地時間與日期，方便用戶日常生活；支持語音交互功能，相比人們常用的智能手機，智能音箱只需“動嘴”，自然更加方便。基于互聯網技術，從用戶、人機交互及人機環境三個方面展開分析，以智能音箱為代表的人機交互模式為我們展現了智媒發展的一個新的方向：從人與人的交流到人與物、再到物與物，最終實現真正的萬物互聯。如何更好利用智能媒體的優勢，同時規制與引導智能媒體的發展，正是有關智能音箱、人工智能技術研究背后傳播問題演進與開拓的新的場域所在。