0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

鸿蒙语音播报懒人“看”书新法到底如何实现?

电子工程师 来源:HarmonyOS开发者 作者:HarmonyOS开发者 2021-05-20 16:41 次阅读

现代社会节奏较快,人们看书可能不仅仅只用眼睛,有时候也会用耳朵来“听书”,语音播报由此诞生,并通过人工智能语音识别引擎实现。HarmonyOS基于华为智慧引擎(HUAWEI HiAI Engine)中的语音识别引擎,向开发者提供人工智能应用层API,该技术提供将文本转换为语音并进行播报的能力,可应用于以下两种场景:

·实时语音交互

生成音频信息用于语音交互,例如与智能音箱手机智能助手的交互,后台会将回答的信息以音频方式进行语音播报。

·超长文本播报

用于小说、新闻等较长文本的自动朗读。

本期我们就为大家带来超长文本播报场景下的基于AI语音播报能力的Codelab。当用户输入相关文本内容时,点击“语音播放”按钮,程序即对文本进行播报并同步记录语音播报的耗时时长,并呈现在页面上,是不是能满足计时“听书”的需求呢?让我们一起来看看吧。

首先,让我们梳理一遍开发要点:

1)UI页面的构建

2)语音播报接口调用

3)计时器的创建

4)线程间通信处理机制的使用

请注意,由于需要时刻进行观察,在逻辑代码实现中我们会穿插HiLog日志打印,下面我们会逐一指出。

在正式开始敲代码之前,开发者们需要先下载安装Huawei DevEco Studio,如果对这个流程不甚熟悉,可以参照官网的教程来操作。Huawei DevEco Studio安装指南:

https://developer.harmonyos.com/cn/docs/documentation/doc-guides/software_install-0000001053582415

【注意】本次Codelab针对的是步骤拆解和重点讲解,限于篇幅原因不会展示完整代码,开发者们可在文末【阅读原文】中获取完整代码哦~

我们打开Huawei DevEco Studio,选择Phone中的Empty Feature Ability(Java)模板工程,本次Codelab我们将在该模板下完成。有如下操作:

1.我们将在entrysrcmain esourcesaselayoutability_main.xml中构建UI页面;

2.我们在entrysrcmain esourcesasegraphic目录下新建background_button.xml文件用于实现“语音播报”按钮的样式优化;

3.文中的逻辑代码我们将在 entrysrcmainjavacomexampleailistenersliceMainAbilitySlice.java文件中实现;让我们马上开始。

25ba4904-b567-11eb-bf61-12bb97331649.png

1)UI界面构建

纵观这个页面,主要分为以下几个部分:

·标题

即“AI语音播报”这几个字,这里我们使用Text组件。

·文本输入框

可供用户输入想要播报的文本内容,最大不超过100,000个字符。为了便于大家理解,这里我们已经给大家准备了一段文本,我们使用TextField组件来完成。

·播报按钮

此处展示的文本是“语音播报”,使用的是Button组件。值得注意的是,这里需要优化按钮样式,如添加阴影及优化其为胶囊按钮,让按钮更为醒目美观。

如前面提到的,我们将在background_button.xml文件中优化按钮样式,通过color 设置按钮背景颜色,通过radius的半径实现圆角, 代码如下:

《?xml version=“1.0” encoding=“utf-8”?》 《shape xmlns:ohos=“http://schemas.huawei.com/res/ohos” ohos:shape=“rectangle”》 《corners ohos:radius=“40”/》 《solid ohos:color=“#e9e9e9”/》 《/shape》

·计时文本

用于显示“播报耗时:0 s”文本,同样使用Text组件完成。

2)语音播报接口调用

构建完了页面,我们来到今天的重头戏之一,也就是使用AI语音播报能力开发程序。语音播报(Text to Speech,以下简称TTS),提供将文本转换为语音并进行播报的能力。

·语音播报官网资料

https://developer.harmonyos.com/cn/docs/documentation/doc-guides/ai-tts-overview-0000001050724400

这里我们主要分三个部分实现,创建TTS客户端、TTS客户端的初始化和调用相关方法对文本进行播报。下面我们来详细看看各个接口如何调用。

1. TTS客户端创建

调用void create接口创建TTS客户端。

private void initTtsEngine() { TtsClient.getInstance().create(this, ttsListener); }

2.TTS客户端的初始化

当TTS客户端创建成功,即eventType取值

TtsEvent.CREATE_TTS_CLIENT_SUCCESS时,进行TTS客户端的初始化。

public void onEvent(int eventType, PacMap pacMap) { HiLog.info(LABEL_LOG, “onEvent.。。”); // 定义TTS客户端创建成功的回调函数 if (eventType == TtsEvent.CREATE_TTS_CLIENT_SUCCESS) { TtsParams ttsParams = new TtsParams(); ttsParams.setDeviceId(UUID.randomUUID().toString()); initItsResult = TtsClient.getInstance().init(ttsParams); } }

同时我们引入HiLog日志打印,便于观察相关情况。

3.调用相关方法对文本进行播报

这里我们调用TtsClient.getInstance().speakText()方法对文本进行播报,同样也引入HiLog日志打印用于观察初始化是否成功。

private void readText(Component component) { if (initItsResult) { HiLog.info(LABEL_LOG, “initItsResult is true, speakText”); TtsClient.getInstance().speakText(infoText.getText(), null); } else { HiLog.error(LABEL_LOG, “initItsResult is false”); } }

3)计时器的创建

本Codelab将以秒为单位对AI语音播报速度进行计时,故而我们需要一个计时器。在HarmonyOS中,我们通过计时器Timer和计时器任务TimerTask类来实现。这里使用到的是构建和取消两种方法,比较简单。大家可以通过官网资料进一步了解。

·Timerhttps://developer.harmonyos.com/cn/docs/documentation/doc-references/timer-0000001054358579

·TimerTask

https://developer.harmonyos.com/cn/docs/documentation/doc-references/timertask-0000001054558601

同样我们使用HiLog日志打印来观察文本语音播报的开始和结束。

4)线程间通信处理机制的使用

接下来我们将提到本Codelab另外一个重头戏——线程间通信处理机制的使用。在启动应用时,系统会为该应用创建一个称为“主线程”的执行线程。该线程随着应用创建或消失,是应用的核心线程。具体到本Codelab,UI界面的显示和更新等操作,就是更新播报耗时的界面,是在主线程上进行的,因此主线程也称为UI线程。示例中分配的是9015,如图所示:

然而在实际项目中,开发者可能面临许多耗时的操作,比如说下载文件、查询数据库,具体到本Codelab,就是语音播报功能和计时器功能,这些复杂的操作会阻塞 UI线程,导致界面无响应,带来非常不好的用户体验。

因此,我们需要将这些耗时操作放到子线程中,避免阻塞主线程,比如在示例中,我们把AI语音播报放在子线程9275中执行:

但同时,我们又需要把操作的结果数据反馈给UI线程,这个时候就必须引入线程间通信处理机制。因此,HarmonyOS 给Java应用开发提供了EventHandler机制,可以通过EventRunner创建新线程,将耗时的操作放到新线程上执行。这样既不阻塞原来的线程,任务又可以得到合理的处理。

每一个EventHandler和指定的EventRunner所创建的新线程绑定,并且该新线程内部有一个事件队列。EventHandler可以投递指定的InnerEvent事件或Runnable任务到这个事件队列。

EventRunner从事件队列里循环地取出事件:

1)如果取出的事件是InnerEvent事件,将在EventRunner所在线程执行processEvent回调;

2)如果取出的事件是Runnable任务,将在EventRunner所在线程执行Runnable的run回调。

·线程间通信开发概述

https://developer.harmonyos.com/cn/docs/documentation/doc-guides/inter-thread-overview-0000000000038958

在本例中,开始发音的时候发送EVENT_MSG_TIME_COUNT事件,此时程序开始计时并更新UI页面,示例代码如下所示:

@Override public void onSpeechStart(String utteranceId) { // 开始计时 HiLog.info(LABEL_LOG, “onSpeechStart.。。”); if (timer == null && timerTask == null) { timer = new Timer(); timerTask = new TimerTask() { public void run() { handler.sendEvent(EVENT_MSG_TIME_COUNT); } }; timer.schedule(timerTask, 0, 1000); } }

此时取出的事件是Runnable,需要将Runnable任务投递到新的线程,在EventRunner所在线程执行Runnable的run回调,并按照优先级和延时进行处理,。这里是同步更新UI页面,代码如下所示:

private EventHandler handler = new EventHandler(EventRunner.current()) { @Override protected void processEvent(InnerEvent event) { switch (event.eventId) { case EVENT_MSG_TIME_COUNT: getUITaskDispatcher().delayDispatch(new Runnable() { @Override public void run() { time = time + 1; HiLog.info(LABEL_LOG, “播报耗时:” + Integer.toString(time) + “ s”); timeText.setText(“播报耗时:” + Integer.toString(time) + “ s”); } }, 0); break; default: break; } } };

至此,我们已经完成本次Codelab的所有关键步骤。

通过这个Codelab,大家可以学习到AI语音播报、线程间通信和计时器的使用方法。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • JAVA
    +关注

    关注

    19

    文章

    2916

    浏览量

    103356
  • AI
    AI
    +关注

    关注

    87

    文章

    27470

    浏览量

    265147
  • 语音播报
    +关注

    关注

    1

    文章

    23

    浏览量

    14371
  • 鸿蒙
    +关注

    关注

    55

    文章

    2103

    浏览量

    42273
  • HarmonyOS
    +关注

    关注

    79

    文章

    1935

    浏览量

    29532
  • OpenHarmony
    +关注

    关注

    24

    文章

    3482

    浏览量

    15413

原文标题:【Codelab】懒人“看”书新法—鸿蒙语音播报,到底如何实现?

文章出处:【微信号:HarmonyOS_Dev,微信公众号:HarmonyOS开发者】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    基于STM32单片机的语音播报体温计设计

    语音播报体温计系统包括温度采集模块,语音播放模块,显示模块,其中核心 CPU采用单片机 STM32,STM32在电子行业运用广泛。温度采集模块使用 MLX90614红外传感器采集体温数据,语音
    的头像 发表于 06-24 14:31 186次阅读
    基于STM32单片机的<b class='flag-5'>语音</b><b class='flag-5'>播报</b>体温计设计

    环境监测系统置入WT588F02B-8s语音芯片:实现智能语音播报,共创绿色生态环境

    随着科技的飞速发展,环境监测系统已经成为守护绿水青山的重要工具。而在这个系统中,WT588F02B-8s语音芯片的加入,更为我们带来了前所未有的智能语音播报体验。今天,就让我们一起探讨一下这一创新设计的功能需求,优势,及
    的头像 发表于 05-09 10:12 122次阅读
    环境监测系统置入WT588F02B-8s<b class='flag-5'>语音</b>芯片:<b class='flag-5'>实现</b>智能<b class='flag-5'>语音</b><b class='flag-5'>播报</b>,共创绿色生态环境

    基于唯创语音芯片的三大烟雾报警器语音方案

    在智能设备与物联网(IoT)技术的飞速发展中,语音播报功能的重要性日益凸显,已成为提升用户体验、实现人机交互的关键一环。本文将深入探讨三种创新性语音
    的头像 发表于 04-12 15:08 185次阅读
    基于唯创<b class='flag-5'>语音</b>芯片的三大烟雾报警器<b class='flag-5'>语音</b>方案

    芯知识 | 混音播报语音芯片的优势:革新音频应用的新力量

    。一、混音播报语音芯片概述混音播报语音芯片是一种高度集成的音频处理芯片,它具备混音和播报两大核心功能。该芯片能够同时处理多个音频源,
    的头像 发表于 11-23 14:38 322次阅读
    芯知识 | 混音<b class='flag-5'>播报</b><b class='flag-5'>语音</b>芯片的优势:革新音频应用的新力量

    芯知识|混音播报语音芯片的优势:革新音频应用的新力量

    随着科技的进步,语音芯片在各个领域的应用越来越广泛。而在众多语音芯片中,混音播报语音芯片以其独特的优势,正逐渐成为音频应用领域的翘楚。本文将重点探讨混音
    的头像 发表于 11-23 11:50 372次阅读

    WT588F系列语音芯片应用在制氧机语音播报

    语音芯片语音播报
    WT-深圳唯创知音电子有限公司
    发布于 :2023年11月22日 17:24:58

    WT588F系列语音芯片用在近视治疗仪语音播报

    语音芯片语音播报
    WT-深圳唯创知音电子有限公司
    发布于 :2023年11月03日 13:56:34

    基于凌阳单片机的语音播报智能化燃气灶设计

    电子发烧友网站提供《基于凌阳单片机的语音播报智能化燃气灶设计.pdf》资料免费下载
    发表于 10-12 09:34 1次下载
    基于凌阳单片机的<b class='flag-5'>语音</b><b class='flag-5'>播报</b>智能化燃气灶设计

    单片机语音识别控制电压播报

    电子发烧友网站提供《单片机语音识别控制电压播报仪.pdf》资料免费下载
    发表于 10-12 09:27 0次下载
    单片机<b class='flag-5'>语音</b>识别控制电压<b class='flag-5'>播报</b>仪

    基于AT89C51单片机的语音播报器的设计方案

    电子发烧友网站提供《基于AT89C51单片机的语音播报器的设计方案.pdf》资料免费下载
    发表于 10-10 09:21 2次下载
    基于AT89C51单片机的<b class='flag-5'>语音</b><b class='flag-5'>播报</b>器的设计方案

    单片机如何实现语音播报温度?

    单片机通过温度传感器采集到温度后,怎样通过语音模块播报出来,用什么语音模块比较好。温度不是固定的,要怎样去实现语音
    发表于 09-27 06:18

    语音播报芯片引领智能健康浪潮,赋予体脂秤新声音WT588F02B-8S

    一款创新产品——体脂秤语音芯片,让健康管理更加生动有趣,带来全新体验。该芯片通过WT588语音播报芯片实现智能语音交互功能,可测量体脂率、体
    的头像 发表于 08-24 10:51 660次阅读
    <b class='flag-5'>语音</b><b class='flag-5'>播报</b>芯片引领智能健康浪潮,赋予体脂秤新声音WT588F02B-8S

    语音播报芯片引领智能健康浪潮,赋予体脂秤新声音WT588F02B-8S

    一款创新产品——体脂秤语音芯片,让健康管理更加生动有趣,带来全新体验。该芯片通过WT588语音播报芯片实现智能语音交互功能,可测量体脂率、体
    的头像 发表于 08-24 10:49 340次阅读
    <b class='flag-5'>语音</b><b class='flag-5'>播报</b>芯片引领智能健康浪潮,赋予体脂秤新声音WT588F02B-8S

    电梯播报语音芯片选型?N9300音乐芯片在电梯播报器上的应用优势

    电梯播报器是一种通过语音或音频方式进行信息传递的设备,安装在电梯内部或电梯井道中,在乘坐电梯过程中向乘客提供各种信息。电梯播报器通常用于播报电梯运行状态、楼层信息、安全提示等重要信息,
    的头像 发表于 08-11 17:15 1106次阅读

    WT588F02B语音芯片ic运用在洗衣机语音播报

    语音芯片语音播报
    WT-深圳唯创知音电子有限公司
    发布于 :2023年07月31日 16:28:57