前言
用ESP32做了一个语言模型,就像一个基础版“siri”~
一、项目功能/亮点
1.支持对话(语言识别与合成),响应速度几乎在3s以内。
2.支持触碰交互
3.通过修改代码,可以设置AI的对话方式和回答风格
4.支持用于拓展设计,例如:智能MP3、简易版siri/小爱同学、实时翻译工具…
想实现这些功能,软硬件如何设计?会不会很难?
其实,可能比你以为的更简单!
二、硬件设计
原理图
PCB图
实物图
元器件选型说明
1.选用:ESP32S3-WROOM-1-N16R8
2.INMP441 与MAX98357A 使用的都是模块
3.电池插头是1.25间距正接头,仅支持单节3.7v锂电池,typec接口有充电功能,可以给锂电池充电
4.喇叭:MAX98357A可以推动3w喇叭
5.串口模块是CH340C,后面有C!
6.显示屏幕是3.2寸带触摸屏幕
搞定了电路设计,那又要如何实现主要的“对话”功能?
三、训练语言模型?用现成的!
关键词:讯飞、火山引擎
想实现对话功能,起码得让它“听懂”。这得通过STT(语言转文字)和TTS(语音合成)实现!STT和TTS使用的是讯飞API。PS:注册讯飞账号有试用礼包。
光“听懂”不行啊,得聊起来呀!这就需要大语言模型了。大语言模型不仅能够生成自然语言文本,还能够深入理解文本含义,处理各种自然语言任务,如文本摘要、问答、翻译等。
大语言模型使用的是火山引擎的豆包同款引擎。PS:一样,注册账号可以领取免费试用。
作者亲测,就算是试用,也够玩一阵子了~~
如何连接API?
上面三个API,是从各自官网控制台获取到KEY后,修改代码中相关的字段,才可以正常连接到API。
代码中还需要修改WiFi的连接信息。
一些说明
讯飞的服务使用webscoket连接API,TTS使用了流式处理,一边接收一边播放音频。有时数据处理不严谨会发生错误,这个暂时还没解决,请自行排查修改;STT没有用流式处理(懒),说短句子没有什么影响,发送长句子的话,有一部分时间也是浪费在这里了。
火山引擎使用HTTP连接API(因为火山的webscoket确实没有调通,才疏学浅见笑了),没有做到流式处理,反应时间部分浪费再了这里。
webscoket响应时间短,通信更流畅。
HTTP也够用,是比较传统的方式。
作者OS:我是软件方面的“新手”,目前算是用“用尽方法”实现了想要的功能,代码可供同道新人参考,高手一笑了之。如各位有意复刻此项目,请务必先下载源码进行编译测试,可编译通过再进行复刻尝试,如若不能还请三思。
四、编译环境如下
编译软件:ArduinoIDE 2.3.2
SDK: ESP32 SDK 2.0.13(开发板管理中下载)
使用主要库:TFT_eSPI 2.5.43 (库管理中下载)
U8g2_for_TFT_eSPI下载地址:
https://github.com/Bodmer/U8g2_for_TFT_eSPI
开发板设置
文章的最后,总结一下工作原理:
ESP32S3使用INMP441接收声音
将pcm音频数据发送至讯飞STT语音识别服务转换为文字
再将文字发送至大语言模型API提问
最后将回答的文字发送至TTS语音合成服务
并通过MAX98357A播放音频
过程中用TFT触摸显示屏进行交互显示。
-
人工智能
+关注
关注
1781文章
45057浏览量
232452 -
语言模型
+关注
关注
0文章
467浏览量
10171 -
ESP32
+关注
关注
13文章
906浏览量
16264
发布评论请先 登录
相关推荐
ESP32设备偶尔会出现PC端TCP已经回应了数据,但ESP32端不能立刻收到,为什么?
开源DIY!用 ESP32 制造迷你复古小电视
ESP32-C2在小魔方遥控器的应用
![<b class='flag-5'>ESP32</b>-C2在小魔方遥控器的应用](https://file.elecfans.com/web2/M00/45/DA/poYBAGKPGziABtawAAAYlXODTds073.jpg)
esp32外置flash的大小
开源 | 小而美!【aDataFlow】多功能串口工具,数据监听+USB转串口+ESP32烧录器…
![<b class='flag-5'>开源</b> | 小而美!【aDataFlow】多功能串口工具,数据监听+USB转串口+<b class='flag-5'>ESP32</b>烧录器…](https://file1.elecfans.com//web2/M00/B5/A6/wKgaomV8EO2AHy25AA-fIkw_8Sg972.gif)
ESP32-PICO系列技术规格书
![<b class='flag-5'>ESP32</b>-PICO系列技术规格书](https://file.elecfans.com/web1/M00/D9/4E/pIYBAF_1ac2Ac0EEAABDkS1IP1s689.png)
esp32s3使用多串口
![<b class='flag-5'>esp32</b>s3使用多串口](https://file1.elecfans.com/web2/M00/AE/6D/wKgZomVIXSuAaM5sAAXoDI31jJc130.png)
评论