中国女孩偶像组合SNH48发布的最新圣诞音乐视频中,六位明星出现了数字替身,只要用手机自拍一张照片,就能几秒钟内生成一个完整的3D头像。
遇到“假”爱豆,还做不做舔狗?
中国女孩偶像组合SNH48最新发布圣诞音乐视频,六位最受欢迎的明星一起唱歌和跳舞,值得注意的是,这六人都有假“替身”。
最近,南华早报报道了这项技术背后的公司ObEN。
一张自拍照生成3D头像
以虚拟形式生成人的画像是一项艰巨的任务,ObEN的CV团队会在每张2D图像上查看数十个标记,并分析每个标记如何在2D和3D之间移动和变化,从而改变3D模型。
3D建模从内部构建的面部数据库开始。首先收集大量数据,帮助确定这些面部特征,并训练AI算法识别它们。通过将2D图像与3D对应物进行比较,团队分析了这些标记如何变形以及如何在2D和3D之间转换。然后训练AI以自动变形(或重组)一个通用的3D头部模型(网格线框),使其与2D图像中描绘的面部匹配,可根据标记点检查其准确性。
ObEN首席执行官Nikhil
最厉害的地方在于,只要用手机自拍一张照片,就能几秒钟内生成一个完整的3D头像。
ObEN计算机视觉科学家王睿哲博士讲述了背后的一些技术。
形象逼真是件好事,但过于真实可就不见得了。用户希望他们的虚拟形象看起来像一个增强的、“美化”的版本,而不是一个完全的复制品。这就是为什么他们可以通过训练人工智能来生成虚拟化身,在人物真实形象和改善外观之间取得良好平衡,缩小艺术与技术之间的差距。
要快速完成此过程,必须教会AI识别这些标记的变化(换句话说,用户个体脸部的纹理)如何与标准的线框模式合并,以最好地模拟用户的视觉外观。
与传统媒介的艺术家一样,某些属性比其他属性更重要,并且难以捕捉到,特别注意眼睛和嘴巴周围的区域。
此外,CV团队还在探索在讲话时如何更自然,并对视觉语音的研究涉及训练AI来识别各类人的说话方式、脸部动画,尤其是嘴巴的动作。通过足够的训练,AI可以接收任何文本或音频输入,并根据其面部特征自动设置用户模型说话时的动态。
ObEN的语音合成技术应用深度学习,可以捕获完整的声波纹,创建任何语言的数字声纹,比如美国人录制的声音可以用来说中文,同时,录声音也不需要专业录音环境,只要没有太多背景噪音就OK。
构建明星替身:虚拟形象可能比明星还厉害
ObEN成立于2014年,软银旗下SB Next Media创新基金投出的第一笔钱就是这家公司,目前ObEN完成数轮融资:
2014年7月,完成种子轮融资;
2016年11月,完成770万美元A轮融资;
2017年3月,获软银韩国的投资。
2017年7月,完成500万美元的A2轮融资,腾讯领投
2018年1月,完成1000万美元B轮可转债融资。
另外,通过与SM Entertainment(韩国最大的娱乐机构)合资,ObEN成立了世界上第一个名人AI机构AI Stars,为世界上一些超级明星创建PAI(定制AI),他们可以创造新的体验,与世界各地的粉丝建立联系。
这其中的基础技术与之前说提到的技术类似,该团队通过对合作的明星进行全面3D面部扫描来获取更多数据。通过更多数据,模型可以使用更多数据,从而获得更高质量的虚拟形象。
但是,对于ObEN的研究人员来说,一个漂亮的面孔是不够的。团队正在进行的工作不仅涉及不断改进AI模型,还为更具表现力的虚拟化身创建定制的面部装备。现在,ObEN正在收集各种表情的数据集,分析这些不同面部表情的相应标记,并训练模型来预测不同表情的面部形状。
很快,你的爱豆模型便不再只是单纯长得像你的爱豆了——它可能比你的爱豆还要厉害。
-
人工智能
+关注
关注
1791文章
46711浏览量
237236 -
深度学习
+关注
关注
73文章
5473浏览量
120918 -
AI算法
+关注
关注
0文章
247浏览量
12221
原文标题:假爱豆真AI,中国女子组合SNH48构建智能3D替身
文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论