0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

谷歌提出了一种新的映射机制——Turbo

nlfO_thejiangme 来源:lq 2019-10-01 16:54 次阅读

伪彩色图在计算机视觉机器学习中具有重要的应用,从深度图的可视化到类似图像差分等抽象应用都需要伪彩色图来帮助我们理解视觉信息。彩色画的图像帮助人类提升对于细节的理解能力,定量估计数值并更有效直观地识别出数据中的模式。 然而对于颜色映射的选择会极大地影响人们对于图像的理解。例如在医学图像处理中彩色映射常常会引入精度损失。但在很多任务中伪彩色图还是人们更希望应用的表达形式,在一定精度损失的代价下能够更加快速直观的进行视觉评价。下图显示了灰度表示的视差图和利用Jet映射的伪彩图,伪彩图对于人类视觉来说更为直观。

计算机视觉中最常用的颜色映射算法是Jet,它具有高的对比度可以有效突出图像中的细节。但如果仔细观察图像的梯度图会发现一系列的颜色带,在青色和黄色区域最为明显。这对于伪彩图最大的影响在于颜色变化过于剧烈,将导致人眼对于实际数据的误解。很多平滑过渡的区域会被误解为有较大的梯度。由于Jet映射对于人眼感知来说变化不是常量,所以它不具有感知均匀性。这种影响对于色盲人士来说更为明显,将造成伪彩图映射出的信息变得模糊。下图就显示了模拟出的红色盲看到的结果。

为了解决这些问题,目前有很多均匀和色盲人士可以使用的颜色映射图,例如绘图工具包matplotlib中的Viridis(左)和Inferno(右)映射。这类线性亮度映射解决了Jet中的很多问题,但依然存在一些限制使得这类线性颜色映射函数不是某些任务的最优方法。

谷歌的研究人员希望解决这些颜色映射中存在的问题,为计算机视觉和机器学习提出更好的彩色映射方案,提出了一种新的映射机制——Turbo。它可以有效除了伪细节、错误的颜色带,并为色盲人士提供更为准确的信息。Turbo针对多种可视化任务进行了手工调教,确保对视觉信息进行有效呈现。

有效的Turbo映射

研究人员为了构建Turbo映射,利用一个简单的交互界面来利用七节点的三次样条对sRGB曲线进行调整,并与其它颜色映射进行比较。

这种方式创建的Turbo颜色映射可以在保持曲线C2连续性的同时进行控制。虽然最终的颜色结果不是感知线性的,但它比jet更为平滑,不会引入错误的细节。


与其他颜色映射的比较

Viridis是一种具有代表性的颜色映射方法,因为它对于人眼比较适宜同时能修复某些Jet映射的问题。Inferno具有Viridis线性特性的同时还具有更高的对比度,使得细节能够得到更好的展现。然而,这些色彩映射会产生一些刺眼的视觉效果,虽然在出版业中没有太多影响,但确实会影响人们基于伪彩图进行的决策。

由于颜色和强度的剧烈变化,Jet相较于Viridis和Inferno会削弱背景的细节,最终基于数据呈现出的图像会让人眼遗失很多细节。而Turbo则通过非线性映射将背景进行了强化。下图中可以看到在Inferno中远处的背景几乎无法看清,而Turbo映射中远处的背景数目则依然为人眼所见。

Turbo模拟了Jet的光强特性,映射的强度从低到高在从高到低,但却没有显著的强度带阻隔。下图显示了四种不同颜色银蛇的强度值曲线,可以看到Turbo的强度值基本对称分布,使得它在单侧的斜率几乎是Viridis和Inferno的两倍,在高地两侧将有效的提升对比度。同时低侧的斜率和高侧的斜率不同,这是因为人类感知的蓝色比红色更强。

虽然这种低高低的曲线可以增强细节,但却会造成强度的模糊。将彩色图转换为灰度图时会造成较低的值与较高的值得到相同的取值,这意味着Turbo不适合于灰度打印也不适合于罕见全色盲人士。

语义层

计算机视觉对于视差图的检验一般通过图像中不同区域来实现。这种比较对人类来说,彩色比黑白更加有效和精确。

利用Jet和Turbo来说,由于颜色更为丰富可以很轻易地识别出图像中左右两边在相同深度的球和环,但在Viridis或Inferno可区分的颜色较少,则难以确认左边的球对应右边的哪个相同深度的环。与Jet相比Turbo则更为平滑,同时没有明显的颜色带痕迹,从下图的量化中可以更好的看到Turbo(左)的平滑效果。

快速评估

当快速评估两张图像时,基于颜色的比较要比基于强度的比较更容易。例如在单图像深度估计任务中,基准图像与预测图像间的比较,Turbo颜色相较于Viridis就更容易区分和辨别误差。

此外也可以迅速的人工得到定量的数值,因为强度被映射到了一些常见的颜色上。

偏差图应用

Turbo颜色映射同时可以有效用于图像差异的显示。在使用过程中可以将零值设置为绿色、负值偏蓝、正值偏红。但负值侧会比正值侧更暗,并不是完全的平衡,但仍然能够有效地显示图像间的差异。

色盲友好性

研究人员同时还利用色盲模拟器对这种新的颜色映射进行测试,结果表明除了全色盲人群外Turbo可以保持具有显著区分和平滑的颜色。针对全色盲来说,由于低值区和高值区的灰度可能类似会造成一定的感知模糊。由于全色盲在人口中的比例是三万分之一,所以这套色彩映射可以有效覆盖99.997%的人群。

Turbo作为作为Jet的替代品,对于高对比度、视觉平滑等方面进行了有效处理,可以应用于深度图等表示绝对值的图像也可以应用于表示差异的伪彩色图像中,使其具有平滑的视觉效果、对比度更好的细节、更好的语义感知以及差异分析等优势。开发人员同时推出C/CPP和python接口,同时也给出了多项式近似供开发者使用。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 谷歌
    +关注

    关注

    27

    文章

    6171

    浏览量

    105496
  • 计算机视觉
    +关注

    关注

    8

    文章

    1698

    浏览量

    46023
  • 机器学习
    +关注

    关注

    66

    文章

    8422

    浏览量

    132742

原文标题:色盲不盲,谷歌提出更清晰的可视化颜色映射Turbo

文章出处:【微信号:thejiangmen,微信公众号:将门创投】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    谷歌回应美司法部要求:出售Chrome计划极端且违法

    投资造成扼杀。 在法庭文件中,谷歌详细回应了司法部的指控,并提出了自己的补救措施。谷歌指出,将放宽与苹果及其他公司关于默认浏览器的协议,以消除所谓的垄断嫌疑。具体而言,谷歌提议设置非排
    的头像 发表于 12-23 11:44 225次阅读

    一种面向飞行试验的数据融合框架

    天地气动数据致性,针对某外形飞行试验数据开展了典型对象的天地气动数据融合方法研究。结合数据挖掘的随机森林方法,本文提出了一种面向飞行试验的数据融合框架,通过引入地面风洞试验气动数据,实现了对复杂输入参数的特征
    的头像 发表于 11-27 11:34 250次阅读
    <b class='flag-5'>一种</b>面向飞行试验的数据融合框架

    一种新型机翼应变载荷关系神经网络模型

    兼顾适用范围和预测精度。对此,本文提出了映射式与补偿式两融合“试验-仿真”虚实数据的多级神经网络架构,开发了基于子学习器方差的模型认知程度度量方法,形成了精度高、适用性广、能够预警不可靠输出结果的机翼应变
    的头像 发表于 11-21 10:59 164次阅读
    <b class='flag-5'>一种</b>新型机翼应变载荷关系神经网络模型

    一种基于因果路径的层次图卷积注意力网络

    机电系统中数据驱动故障检测模型的性能和可解释性。引入了一种混合因果发现算法来发现监测变量之间的继承因果关系。顺序连接因果变量的因果路径用作接收场,使用多尺度卷积来提取特征。基于分层注意力机制来聚合
    的头像 发表于 11-12 09:52 299次阅读
    <b class='flag-5'>一种</b>基于因果路径的层次图卷积注意力网络

    一种基于深度学习的二维拉曼光谱算法

    近日,天津大学精密仪器与光电子工程学院的光子芯片实验室提出了一种基于深度学习的二维拉曼光谱算法,成果以“Rapid and accurate bacteria identification
    的头像 发表于 11-07 09:08 235次阅读
    <b class='flag-5'>一种</b>基于深度学习的二维拉曼光谱算法

    一种创新的动态轨迹预测方法

    本文提出了一种动态轨迹预测方法,通过结合历史帧和历史预测结果来提高预测的稳定性和准确性。它引入了历史预测注意力模块,以编码连续预测之间的动态关系,并通过三重因子注意力模块实现了最先进的性能。本方法能够生成准确且稳定的未来轨迹,这对于自动驾驶系统落地至关重要。
    的头像 发表于 10-28 14:34 440次阅读
    <b class='flag-5'>一种</b>创新的动态轨迹预测方法

    Turbo模式1.0设置步骤

    电子发烧友网站提供《Turbo模式1.0设置步骤.pdf》资料免费下载
    发表于 10-15 10:11 0次下载
    <b class='flag-5'>Turbo</b>模式1.0设置步骤

    一种完全分布式的点线协同视觉惯性导航系统

    在本文中,我们提出了一种完全分布式的点线协同视觉惯性导航系统。我们通过蒙特卡罗模拟和真实环境数据集,在稠密特征或稀疏特征环境下将所提出的算法与其他四算法进行了比较。所有结果表明,我们
    的头像 发表于 09-30 14:45 429次阅读
    <b class='flag-5'>一种</b>完全分布式的点线协同视觉惯性导航系统

    当前主流的大模型对于底层推理芯片提出了哪些挑战

    随着大模型时代的到来,AI算力逐渐变成重要的战略资源,对现有AI芯片也提出了前所未有的挑战:大算力的需求、高吞吐量与低延时、高效内存管理、能耗等等。
    的头像 发表于 09-24 16:57 677次阅读

    rup是一种什么模型

    RUP(Rational Unified Process,统建模语言)是一种软件开发过程模型,它是一种迭代和增量的软件开发方法。RUP是由Rational Software公司(现为IBM的
    的头像 发表于 07-09 10:13 1307次阅读

    人工神经网络模型是一种什么模型

    人工神经网络(Artificial Neural Networks,简称ANNs)是一种受生物神经网络启发而产生的数学模型,用于模拟人脑处理信息的方式。它由大量的节点(或称为神经元)相互连接而成
    的头像 发表于 07-04 16:57 968次阅读

    谷歌提出大规模ICL方法

    谷歌DeepMind团队近日取得了项突破性的研究成果。他们提出了强化和无监督两新型的ICL(In-Context Learning)学习方法,这
    的头像 发表于 05-14 14:17 365次阅读

    谷歌DeepMind推出新代药物研发AI模型AlphaFold 3

    谷歌DeepMind公司近日重磅推出了款名为AlphaFold 3的全新药物研发AI模型,这创新技术将为科学家们提供前所未有的帮助,使他们能更精确地理解疾病
    的头像 发表于 05-10 09:35 399次阅读

    苹果公司申请一种新型MEMS扬声器或微型扬声器设计

    据麦姆斯咨询报道,美国专利商标局近日公布了项苹果公司的新专利申请,该发明申请提出了一种新型MEMS扬声器或微型扬声器设计,苹果公司指出这种微型扬声器适用于各种智能电子设备。
    的头像 发表于 05-06 09:15 930次阅读
    苹果公司申请<b class='flag-5'>一种</b>新型MEMS扬声器或微型扬声器设计

    谷歌模型合成工具怎么用

    谷歌模型合成工具主要是指Dreamfusion,这是Google的大型AI图像模型Imagen与NeRF的3D功能相结合的一种技术。Dreamfusion是Dream Fields的演变,Dream Fields是谷歌于2021
    的头像 发表于 02-29 17:33 817次阅读