資料介紹
描述
你的身體可以鍍鉻...
警告:賽博朋克 2077 的一些小劇透可能會提前......
該項目的目標是創建受 Cyber??punk 2077 啟發的可穿戴 Cyber??ware,它具有交互式 AI,通過耳機在佩戴者的頭部發出聲音;由ChatGPT提供支持。
它的靈感來自Relic - 游戲中的一項技術,可以存儲某人的意識,并允許他們與在其 Cyber??ware 中安裝芯片的人進行整合和互動。
在游戲中,名為 Johnny Silverhand(由基努里維斯飾演)的角色居住在 Relic 中,并使用該技術直接與您的角色對話。他也可以被看見;雖然只是用戶,因為他基本上是在他們的腦海中投射。
幾年前我開始研究它,但在硬件和軟件方面花費了相當長的時間和反復試驗才能正確 - 它最初使用我的 Bot_Engine 和Chatbot ,直到ChatGPT發布并且我意識到顯而易見的解決方案是而是整合它。
目標是將 MAX30105 傳感器用作心跳檢測器,安裝在佩戴者的太陽穴上。如果用戶的心率升高或降低,它也可以方便地進行額外的響應。
快速警告:
This code AND hardware should not be used for medical diagnosis. It's for fun/novelty use only, so bear that in mind while using it.
Also bear in mind that ChatGPT will respond with the style of whatever context you
have set within config/chatgpt_config.py, so I can't be sure what it will say. And I
can't take any responsibility for any other context that is set or what it says.
你會跟隨這個面包屑路徑
其中的關鍵部分是 Raspberry Pi Zero 2——它提供了足夠的 CPU 能力和 RAM 來運行語音推理和其他一些原始 Pi Zero 無法提供的外形尺寸。
我最初試圖用一片 PiBow 將它固定在我的耳朵上——如果它只是 Pi Zero 本身就很好,但是當你開始添加傳感器時,外殼,尤其是電池技術變得太重了留在頭上。
所以我不得不找到另一個解決方案;那個解決方案是我從亞馬遜買的一個漂亮的大金屬發帶。
你可以看到我有一個漂亮的金屬外殼,將整個東西安裝在更堅固的 PiBow 切片上,并從 Pi Zero 外殼中添加了一些額外的東西,以容納電池和 LiPo Powerboost 500。
30105 傳感器連接到前面,面向佩戴者的頭部:
這是連接到 Pi 相對容易的,如下所示:
我剛剛用一些額外的接線將其擴展。
安裝到 PiBow 切片的 Pi 和外殼:
這是原始耳機上的音頻 DAC 墊片,稍后必須將其移到擴展接頭上,以便允許傳感器通過跨接電纜連接到引腳:
電池和主要部件如何連接成角度的 USB A 至 USB Micro 電纜:
頭飾的最終形態,上面還貼有荒坂的貼紙:
最后一點整理傳感器和電線:
以及插入 USB 麥克風和 USB Micro 墊片、頭帶和耳機的最終硬件:
有時讓我假裝我存在,好嗎?
代碼可以在我的GitHub找到。
對于任何人通過修改此程序對 FakeYou 所做的事情,我不承擔任何責任,同時請注意,ChatGPT 可能會生成奇怪的東西以傳遞給 FakeYou,這也取決于對 ChatGPT 所說的內容。典型的。
本質上,它使用包裹在 python 腳本中的 Web 瀏覽器自動化來與 ChatGPT 交互。
我發現超過一定數量字符的響應會完全破壞 Nix-TTS 并導致它崩潰;但即使是更短的響應有時也會導致它崩潰。它能夠完全執行響應,而無需使用任何通常的禮貌內容。非???,實際上感覺就像您正在從角色那里得到回應。
所以這里的主要問題是 Pi Zero 2 雖然具有四核 arm SoC 和 512mb RAM 相對強大,但仍然需要時間來處理某些事情。因此,語音到文本的處理可能需要幾分鐘時間,TTS 可能需要一段時間,甚至 ChatGPT 包裝器也需要一些處理時間。
所以交互不是完全實時的,但我希望未來的 Pi Zero 3 具有更強大的硬件,或者甚至是我可以用于此的其他小型設備。Pi 4 會快得多,但如果戴上頭戴式設備,實施起來會困難得多。
這是我頭上的一些照片以及賽博朋克夾克:
還有一些額外的特寫鏡頭:
。。
語音到文本輸入:
ChatGPT 的文本到語音輸出:
有時 Speech to Text 會出錯:
ChatGPT 輸出與它一起運行:
另一個顯示心率傳感器潛在誤差的輸出:
我只想讓世界知道我來過這里。
總的來說,這是可行的;但它在 STT 方面非常慢 - 即使 STT 自行運行,所以希望將來會出現新的 RPi Zero 3 或帶有 Gig RAM 的 Zero 2 來幫助加快速度。我認為很多速度問題是由于缺少 RAM 導致分頁引起的,但我也注意到在 Pi 4 8??GB 上運行的Terminator Skull也存在同樣的問題——同時它也在線程化和運行其他東西。
幸運的是,我構建它的平臺應該允許輕松升級,希望我可以更換 Pi,同時保持連接到主要 Cyber??ware 的相同外殼。所以在未來,這也許可以進行實時對話,并且 Cyber??ware 可以用來創建各種 AI 角色和助手來與之交互。
另一個問題是我使用的 ChatGPT 包裝器,因為給出的每個響應都會開始與 ChatGPT 的新對話,而不是繼續同一個線程——但我認為該包裝器中有代碼允許這樣做;現在有了官方 API 也沒什么關系了。
此外,我還可以通過使用官方 API 來大大減少語音到文本的處理時間。因此,通過使用 FakeYou、OpenAI 的新 Whisper API和ChatGPT API,我可以大大加快速度。因此,請留意未來對此的改進。
以某種方式添加視覺元素會很酷 - 如果我能破解如何讓正確聚焦的屏幕在佩戴者眼中很好地工作。我以前用EDITH 眼鏡和鋼鐵俠頭盔解決過這個問題,但它們不夠大或不夠詳細,無法顯示文本以外的復雜內容;所以這是一個需要進一步研發的領域。
最終,添加到其中的更新和錯誤修復將使它達到更好的狀態,并且也會被放入最終的 Relic Cyber??ware 2.0 中。
不過,我認為這很合適,因為這需要很長時間才能構建,而且漏洞百出,速度緩慢,需要大量更新——鑒于賽博朋克本身就是這樣在 2020 年發布的。
讓我知道您的想法,并為未來的項目堅持下去!我將研究將這個基于上下文/角色的 ChatGPT 系統連接到其他項目中,例如我的Terminator Skull 。
?
- Meeseeks盒子開源硬件
- 開源硬件-警燈
- AirBits開源硬件
- 閃爍的LED開源硬件
- 串聯電路開源硬件
- 喂機器開源硬件
- 智能積木開源硬件
- CAM輸出開源硬件
- 音箱開源硬件分享
- HBus開源硬件
- 門鈴開源硬件
- Arduino手表開源硬件
- 機械臂開源硬件
- 基于Arduino硬件光控燈制作資料 6次下載
- 主流的開源硬件有哪些詳細資料說明
- 用小安派開源硬件制作一個桌面天氣站 809次閱讀
- 尋找開源硬件成功的觸發器 636次閱讀
- 源創通信BPI-M1+ 開源硬件開發板介紹 2648次閱讀
- 解讀幾大“可穿戴式無線音箱” 9101次閱讀
- 如何使用Cyber RT創建新組件 5738次閱讀
- 如何設計可穿戴產品?可穿戴產品設計的幾大要素分析 8353次閱讀
- 三大主流開源硬件對比:Arduino vs BeagleBone vs Raspberry Pi 6363次閱讀
- MEMS六軸傳感器的可穿戴設備電路設計—電路精選(37) 3940次閱讀
- 可穿戴設備氧傳感器電路解析—電路精選(35) 4543次閱讀
- 復古手環:用開源硬件打造你自己的可穿戴設備 1.1w次閱讀
- 從移動到穿戴:探討可穿戴概念、技術與應用 4352次閱讀
- 【致命干貨】可穿戴計算與系統仿真 3602次閱讀
- 開源硬件究竟有多“Open”?看完這個你就清楚了 6939次閱讀
- 藍牙/ZigBee技術 助臂可穿戴網絡設計 1999次閱讀
- 為什么可穿戴設備如此流行? 1061次閱讀
下載排行
本周
- 1山景DSP芯片AP8248A2數據手冊
- 1.06 MB | 532次下載 | 免費
- 2RK3399完整板原理圖(支持平板,盒子VR)
- 3.28 MB | 339次下載 | 免費
- 3TC358743XBG評估板參考手冊
- 1.36 MB | 330次下載 | 免費
- 4DFM軟件使用教程
- 0.84 MB | 295次下載 | 免費
- 5元宇宙深度解析—未來的未來-風口還是泡沫
- 6.40 MB | 227次下載 | 免費
- 6迪文DGUS開發指南
- 31.67 MB | 194次下載 | 免費
- 7元宇宙底層硬件系列報告
- 13.42 MB | 182次下載 | 免費
- 8FP5207XR-G1中文應用手冊
- 1.09 MB | 178次下載 | 免費
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234315次下載 | 免費
- 2555集成電路應用800例(新編版)
- 0.00 MB | 33566次下載 | 免費
- 3接口電路圖大全
- 未知 | 30323次下載 | 免費
- 4開關電源設計實例指南
- 未知 | 21549次下載 | 免費
- 5電氣工程師手冊免費下載(新編第二版pdf電子書)
- 0.00 MB | 15349次下載 | 免費
- 6數字電路基礎pdf(下載)
- 未知 | 13750次下載 | 免費
- 7電子制作實例集錦 下載
- 未知 | 8113次下載 | 免費
- 8《LED驅動電路設計》 溫德爾著
- 0.00 MB | 6656次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935054次下載 | 免費
- 2protel99se軟件下載(可英文版轉中文版)
- 78.1 MB | 537798次下載 | 免費
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420027次下載 | 免費
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234315次下載 | 免費
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費
- 6電路仿真軟件multisim 10.0免費下載
- 340992 | 191187次下載 | 免費
- 7十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183279次下載 | 免費
- 8proe5.0野火版下載(中文版免費下載)
- 未知 | 138040次下載 | 免費
評論
查看更多