0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

鸿蒙语音播报懒人“看”书新法到底如何实现?

电子工程师 来源:HarmonyOS开发者 作者:HarmonyOS开发者 2021-05-20 16:41 次阅读

现代社会节奏较快,人们看书可能不仅仅只用眼睛,有时候也会用耳朵来“听书”,语音播报由此诞生,并通过人工智能语音识别引擎实现。HarmonyOS基于华为智慧引擎(HUAWEI HiAI Engine)中的语音识别引擎,向开发者提供人工智能应用层API,该技术提供将文本转换为语音并进行播报的能力,可应用于以下两种场景:

·实时语音交互

生成音频信息用于语音交互,例如与智能音箱手机智能助手的交互,后台会将回答的信息以音频方式进行语音播报。

·超长文本播报

用于小说、新闻等较长文本的自动朗读。

本期我们就为大家带来超长文本播报场景下的基于AI语音播报能力的Codelab。当用户输入相关文本内容时,点击“语音播放”按钮,程序即对文本进行播报并同步记录语音播报的耗时时长,并呈现在页面上,是不是能满足计时“听书”的需求呢?让我们一起来看看吧。

首先,让我们梳理一遍开发要点:

1)UI页面的构建

2)语音播报接口调用

3)计时器的创建

4)线程间通信处理机制的使用

请注意,由于需要时刻进行观察,在逻辑代码实现中我们会穿插HiLog日志打印,下面我们会逐一指出。

在正式开始敲代码之前,开发者们需要先下载安装Huawei DevEco Studio,如果对这个流程不甚熟悉,可以参照官网的教程来操作。Huawei DevEco Studio安装指南:

https://developer.harmonyos.com/cn/docs/documentation/doc-guides/software_install-0000001053582415

【注意】本次Codelab针对的是步骤拆解和重点讲解,限于篇幅原因不会展示完整代码,开发者们可在文末【阅读原文】中获取完整代码哦~

我们打开Huawei DevEco Studio,选择Phone中的Empty Feature Ability(Java)模板工程,本次Codelab我们将在该模板下完成。有如下操作:

1.我们将在entrysrcmain esourcesaselayoutability_main.xml中构建UI页面;

2.我们在entrysrcmain esourcesasegraphic目录下新建background_button.xml文件用于实现“语音播报”按钮的样式优化;

3.文中的逻辑代码我们将在 entrysrcmainjavacomexampleailistenersliceMainAbilitySlice.java文件中实现;让我们马上开始。

25ba4904-b567-11eb-bf61-12bb97331649.png

1)UI界面构建

纵观这个页面,主要分为以下几个部分:

·标题

即“AI语音播报”这几个字,这里我们使用Text组件。

·文本输入框

可供用户输入想要播报的文本内容,最大不超过100,000个字符。为了便于大家理解,这里我们已经给大家准备了一段文本,我们使用TextField组件来完成。

·播报按钮

此处展示的文本是“语音播报”,使用的是Button组件。值得注意的是,这里需要优化按钮样式,如添加阴影及优化其为胶囊按钮,让按钮更为醒目美观。

如前面提到的,我们将在background_button.xml文件中优化按钮样式,通过color 设置按钮背景颜色,通过radius的半径实现圆角, 代码如下:

《?xml version=“1.0” encoding=“utf-8”?》 《shape xmlns:ohos=“http://schemas.huawei.com/res/ohos” ohos:shape=“rectangle”》 《corners ohos:radius=“40”/》 《solid ohos:color=“#e9e9e9”/》 《/shape》

·计时文本

用于显示“播报耗时:0 s”文本,同样使用Text组件完成。

2)语音播报接口调用

构建完了页面,我们来到今天的重头戏之一,也就是使用AI语音播报能力开发程序。语音播报(Text to Speech,以下简称TTS),提供将文本转换为语音并进行播报的能力。

·语音播报官网资料

https://developer.harmonyos.com/cn/docs/documentation/doc-guides/ai-tts-overview-0000001050724400

这里我们主要分三个部分实现,创建TTS客户端、TTS客户端的初始化和调用相关方法对文本进行播报。下面我们来详细看看各个接口如何调用。

1. TTS客户端创建

调用void create接口创建TTS客户端。

private void initTtsEngine() { TtsClient.getInstance().create(this, ttsListener); }

2.TTS客户端的初始化

当TTS客户端创建成功,即eventType取值

TtsEvent.CREATE_TTS_CLIENT_SUCCESS时,进行TTS客户端的初始化。

public void onEvent(int eventType, PacMap pacMap) { HiLog.info(LABEL_LOG, “onEvent.。。”); // 定义TTS客户端创建成功的回调函数 if (eventType == TtsEvent.CREATE_TTS_CLIENT_SUCCESS) { TtsParams ttsParams = new TtsParams(); ttsParams.setDeviceId(UUID.randomUUID().toString()); initItsResult = TtsClient.getInstance().init(ttsParams); } }

同时我们引入HiLog日志打印,便于观察相关情况。

3.调用相关方法对文本进行播报

这里我们调用TtsClient.getInstance().speakText()方法对文本进行播报,同样也引入HiLog日志打印用于观察初始化是否成功。

private void readText(Component component) { if (initItsResult) { HiLog.info(LABEL_LOG, “initItsResult is true, speakText”); TtsClient.getInstance().speakText(infoText.getText(), null); } else { HiLog.error(LABEL_LOG, “initItsResult is false”); } }

3)计时器的创建

本Codelab将以秒为单位对AI语音播报速度进行计时,故而我们需要一个计时器。在HarmonyOS中,我们通过计时器Timer和计时器任务TimerTask类来实现。这里使用到的是构建和取消两种方法,比较简单。大家可以通过官网资料进一步了解。

·Timerhttps://developer.harmonyos.com/cn/docs/documentation/doc-references/timer-0000001054358579

·TimerTask

https://developer.harmonyos.com/cn/docs/documentation/doc-references/timertask-0000001054558601

同样我们使用HiLog日志打印来观察文本语音播报的开始和结束。

4)线程间通信处理机制的使用

接下来我们将提到本Codelab另外一个重头戏——线程间通信处理机制的使用。在启动应用时,系统会为该应用创建一个称为“主线程”的执行线程。该线程随着应用创建或消失,是应用的核心线程。具体到本Codelab,UI界面的显示和更新等操作,就是更新播报耗时的界面,是在主线程上进行的,因此主线程也称为UI线程。示例中分配的是9015,如图所示:

然而在实际项目中,开发者可能面临许多耗时的操作,比如说下载文件、查询数据库,具体到本Codelab,就是语音播报功能和计时器功能,这些复杂的操作会阻塞 UI线程,导致界面无响应,带来非常不好的用户体验。

因此,我们需要将这些耗时操作放到子线程中,避免阻塞主线程,比如在示例中,我们把AI语音播报放在子线程9275中执行:

但同时,我们又需要把操作的结果数据反馈给UI线程,这个时候就必须引入线程间通信处理机制。因此,HarmonyOS 给Java应用开发提供了EventHandler机制,可以通过EventRunner创建新线程,将耗时的操作放到新线程上执行。这样既不阻塞原来的线程,任务又可以得到合理的处理。

每一个EventHandler和指定的EventRunner所创建的新线程绑定,并且该新线程内部有一个事件队列。EventHandler可以投递指定的InnerEvent事件或Runnable任务到这个事件队列。

EventRunner从事件队列里循环地取出事件:

1)如果取出的事件是InnerEvent事件,将在EventRunner所在线程执行processEvent回调;

2)如果取出的事件是Runnable任务,将在EventRunner所在线程执行Runnable的run回调。

·线程间通信开发概述

https://developer.harmonyos.com/cn/docs/documentation/doc-guides/inter-thread-overview-0000000000038958

在本例中,开始发音的时候发送EVENT_MSG_TIME_COUNT事件,此时程序开始计时并更新UI页面,示例代码如下所示:

@Override public void onSpeechStart(String utteranceId) { // 开始计时 HiLog.info(LABEL_LOG, “onSpeechStart.。。”); if (timer == null && timerTask == null) { timer = new Timer(); timerTask = new TimerTask() { public void run() { handler.sendEvent(EVENT_MSG_TIME_COUNT); } }; timer.schedule(timerTask, 0, 1000); } }

此时取出的事件是Runnable,需要将Runnable任务投递到新的线程,在EventRunner所在线程执行Runnable的run回调,并按照优先级和延时进行处理,。这里是同步更新UI页面,代码如下所示:

private EventHandler handler = new EventHandler(EventRunner.current()) { @Override protected void processEvent(InnerEvent event) { switch (event.eventId) { case EVENT_MSG_TIME_COUNT: getUITaskDispatcher().delayDispatch(new Runnable() { @Override public void run() { time = time + 1; HiLog.info(LABEL_LOG, “播报耗时:” + Integer.toString(time) + “ s”); timeText.setText(“播报耗时:” + Integer.toString(time) + “ s”); } }, 0); break; default: break; } } };

至此,我们已经完成本次Codelab的所有关键步骤。

通过这个Codelab,大家可以学习到AI语音播报、线程间通信和计时器的使用方法。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • JAVA
    +关注

    关注

    19

    文章

    2960

    浏览量

    104573
  • AI
    AI
    +关注

    关注

    87

    文章

    30279

    浏览量

    268509
  • 语音播报
    +关注

    关注

    1

    文章

    25

    浏览量

    14527
  • 鸿蒙
    +关注

    关注

    57

    文章

    2325

    浏览量

    42753
  • HarmonyOS
    +关注

    关注

    79

    文章

    1968

    浏览量

    30042
  • OpenHarmony
    +关注

    关注

    25

    文章

    3677

    浏览量

    16166

原文标题:【Codelab】懒人“看”书新法—鸿蒙语音播报,到底如何实现?

文章出处:【微信号:HarmonyOS_Dev,微信公众号:HarmonyOS开发者】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    N9300-S16语音芯片:提升电梯播报体验,实现导航声音播报提示

    随着科技的不断进步与人们日常生活紧密相关的电梯行业也迎来了智能化升级的新篇章。N9300语音芯片,作为这一变革中的重要一环,正以其卓越的性能和多样化的功能,显著提升着电梯播报体验,让每一次乘坐都变得
    的头像 发表于 10-31 08:02 156次阅读
    N9300-S16<b class='flag-5'>语音</b>芯片:提升电梯<b class='flag-5'>播报</b>体验,<b class='flag-5'>实现</b>导航声音<b class='flag-5'>播报</b>提示

    N9300-S16语音芯片:提升电梯播报体验,实现导航声音播报提示

    N9300语音芯片提升电梯播报体验,支持多语言播报,音质纯净,控制灵活,广泛应用于公共场所语音导航,推动智能化发展。
    的头像 发表于 10-30 13:10 122次阅读
    N9300-S16<b class='flag-5'>语音</b>芯片:提升电梯<b class='flag-5'>播报</b>体验,<b class='flag-5'>实现</b>导航声音<b class='flag-5'>播报</b>提示

    电动轮椅语音播报方案开发

    按键或旋钮操作,用户在使用过程中需要时刻关注显示屏或指示灯来了解轮椅的状态,这不仅增加了操作的复杂性,还可能导致安全隐患。为了提升用户体验,我们引入了WT588F02B-8S-B2语音播报方案,通过
    的头像 发表于 10-15 15:27 165次阅读

    输入文字转化语音

    一、介绍 基于鸿蒙Next模拟一个输入用户文字,转化成语音播报效果二、场景需求 辅助功能:为视障人士提供帮助:将文字内容转化为语音,使视觉障碍用户能够获取信息。 教育与学习:语言学习:
    发表于 08-28 10:54

    欢创播报 华为宣布鸿蒙内核已超越Linux内核

    兼容安卓,成为“纯血”鸿蒙。 余承东称,“纯血”鸿蒙从内到外实现全栈自研,“鸿蒙是基于OpenHarmony打造的全场景智
    的头像 发表于 06-27 11:30 793次阅读

    收款机TTS语音芯片新方案:WT3000T8,双语合成流畅,字库解码多样!

    不同播报要求下语音占用大量资源空间的问题。可以实现低成本低功耗的文本转语音,支持中英文两种功能,实现播报
    的头像 发表于 06-26 11:17 600次阅读
    收款机TTS<b class='flag-5'>语音</b>芯片新方案:WT3000T8,双语合成流畅,字库解码多样!

    基于STM32单片机的语音播报体温计设计

    语音播报体温计系统包括温度采集模块,语音播放模块,显示模块,其中核心 CPU采用单片机 STM32,STM32在电子行业运用广泛。温度采集模块使用 MLX90614红外传感器采集体温数据,语音
    的头像 发表于 06-24 14:31 1221次阅读
    基于STM32单片机的<b class='flag-5'>语音</b><b class='flag-5'>播报</b>体温计设计

    语音控制模块_雷龙发展

    语音模块与自己的开发板vcc gnd tx rx相连,实现通信,语音播报效果很好!   五 示例词条 []()   ————————————————    雷龙发展公司致力于为客户提供
    发表于 06-14 17:18

    鸿蒙开发就业前景到底怎么样?

    鸿蒙, 作为华为自主研发的基于微内核的下一代操作系统,正在逐渐走进人们的视野 。随着鸿蒙系统的不断发展和完善,越来越多的人开始关注鸿蒙开发这一领域,想要了解学习鸿蒙开发的就业前景如何。
    发表于 05-09 17:37

    ETC WTN6040-8S语音芯片方案:智能语音提示,畅行高速新体验

    ETC语音芯片的功能特点: 1:实时语音播报:ETC语音芯片具有实时播报功能,能够在车辆经过ETC通道时,自动
    的头像 发表于 05-09 10:16 405次阅读
    ETC WTN6040-8S<b class='flag-5'>语音</b>芯片方案:智能<b class='flag-5'>语音</b>提示,畅行高速新体验

    环境监测系统置入WT588F02B-8s语音芯片:实现智能语音播报,共创绿色生态环境

    随着科技的飞速发展,环境监测系统已经成为守护绿水青山的重要工具。而在这个系统中,WT588F02B-8s语音芯片的加入,更为我们带来了前所未有的智能语音播报体验。今天,就让我们一起探讨一下这一创新设计的功能需求,优势,及
    的头像 发表于 05-09 10:12 291次阅读
    环境监测系统置入WT588F02B-8s<b class='flag-5'>语音</b>芯片:<b class='flag-5'>实现</b>智能<b class='flag-5'>语音</b><b class='flag-5'>播报</b>,共创绿色生态环境

    基于唯创语音芯片的三大烟雾报警器语音方案

    在智能设备与物联网(IoT)技术的飞速发展中,语音播报功能的重要性日益凸显,已成为提升用户体验、实现人机交互的关键一环。本文将深入探讨三种创新性语音
    的头像 发表于 04-12 15:08 389次阅读
    基于唯创<b class='flag-5'>语音</b>芯片的三大烟雾报警器<b class='flag-5'>语音</b>方案

    鸿蒙OS开发学习:【尺寸适配实现

    鸿蒙开发中,尺寸适配是一个重要的概念,它可以帮助我们在不同屏幕尺寸的设备上正确显示和布局我们的应用程序。本文将介绍如何在鸿蒙开发中实现尺寸适配的方法。
    的头像 发表于 04-10 16:05 1686次阅读
    <b class='flag-5'>鸿蒙</b>OS开发学习:【尺寸适配<b class='flag-5'>实现</b>】

    WT588FM04语音芯片:融合键盘扫描与LED驱动,打造智能化语音播报解决方案

    随着科技的飞速发展,人机交互已经成为了电子产品不可或缺的一部分。为了满足这一需求,一款名为WT588FM04的语音芯片应运而生。这款芯片不仅集成了键盘扫描接口和LED驱动控制,还具备强大的语音播报
    的头像 发表于 12-02 09:47 387次阅读
    WT588FM04<b class='flag-5'>语音</b>芯片:融合键盘扫描与LED驱动,打造智能化<b class='flag-5'>语音</b><b class='flag-5'>播报</b>解决方案