高文院士：城市大脑2.0框架已现 数字视网膜技术成为核心驱动力

本站原创！

（电子发烧友网报道 文/章鹰）近日，在雷锋网举办的全球人工智能与机器人峰会上，中国工程院院士、鹏城实验室主任，CCF会士、IEEE Fellow高文带来最新的《城市大脑2.0－边端云处理分工的人工智能赋能系统》报告解读。

根据资料显示，“城市大脑”一词诞生于2016年的杭州，从面世至今仅仅三年，就吸引了全世界的目光， 在产业领域，2016年阿里提出阿里城市大脑，2017年，华为提出城市神经网络，2018年，腾讯提出城市超级大脑。高文院士解读说，城市大脑1.0，是一个以云计算为核心的系统，目前的痛点是由于系统各部分没有很好的协调分工机制，使得系统成本高、响应速度慢、数据的可利用率低。

高文院士指出，城市大脑1.0到2.0，从云计算中心，转变为端边云协同体系。城市大脑是智慧城市的核心系统，将算力和数据汇聚到一起；通过数据的汇聚、治理、计算、分析、挖掘和调度，完成数据的全流程加工，面向行业提供不同层次的产品和服务。加入算法，产生出好的结果。

城市大脑是智慧城市的核心，基于互联网数据、政务数据集合在一起，得到好的结果。从城市传感器汇集来的90%的是图像、视频数据、乘车数据，汽车行驶当中的交通数据，这些大多从视频摄像头得来。一类是从摄像头和视频端口，简单的进行视频压缩，然后上传到云端，然后进行分析，包括人脸识别、车辆识别、交通分析。第二类是智能终端，比如通过人脸识别机、车辆识别机将有价值的信息识别出来，送到云端，进行分析和使用。

高文院士分析说，城市大脑1.0目前面对两大挑战：第一、海量数据不等于大数据，数据表达不到位，第二、数据海量，但是低价值。这些数据的价值也比较低，它不是结构化的，你无法在上面进行分析，这也是为什么很多智慧城市的视频数据，一段时间之后就被覆盖了。他指出，城市大脑的评测指标包括城市智力，性能（响应时间、并发、吞吐）、效率（单位的能耗产出）。比如高速车辆超速、交通情况预警、社区门禁开门等场景，都需要第一时间响应。一个规模城市的视频接入量在10-100万级别，IoT设备，更在1000万以上。

需要强调的是，城市大脑1.0需要解决城市级大数据的传输汇聚，低碳大容量存取、海量数据高效调度及应用适配问题。目前，城市大脑1.0版本中，具备有海量数据的系统，90%的数据是没有结构化，数据价值没有办法进行直接分析和利用。必须采取新的结构来对视频信息进行特征提取和视频解码，高文院士就引用了人类视网膜系统进行解说。

人类的视网膜的结构由三类细胞组成，包括感光细胞、双极细胞和神经节细胞，其中1.2亿感光细胞，可以感知颜色、光线强弱。神经节细胞相对较少，只有100万个，从视网膜、视神经有125：1紧缩，我们理解为视觉信号的压缩，压缩对于大脑有效的工作起到关键作用。根据任务简单和复杂程度，提取的视觉特征不同，简单的任务优先提取相关的特征，一个分布型的简化模型，是从视网膜到大脑，整个过程就是经过特征提取和编码压缩，传输到智能主体-大脑，大脑是通用计算。视网膜是进行轻量级定制计算，通过视觉神经通道传给大脑，生物视觉系统的简化模型有很大的作用。

高文院士指出，仿真生物视网膜的视觉计算架构具备优势：包括智能化的端边侧使系统更加灵活，云侧作为智能主题更加强大，优化的存储传输使系统更经济。

城市大脑2.0版本发布，最核心的技术是仿生生物视网膜的视觉计算架构，三大特征：第一、全局统一的时空ID，包括全网统一的时间，提供精确地理位置（GPS、北斗），还有提供摄像机视角，参数信息；第二、多层次视网膜表示：视频编码、特征编码和联合优化；第三、模型可以更新（支持端/边深度学习模型的自适应迁移）+注意可调节+软件可以定义（支持端边云协同计算与推理，实现特征实时汇聚与视频按需调取）

2019年9月，华为海思发布了全球首颗基于AVS3标准的、支持8K分辨率、120fps的超高清芯片Hi3796CV300。华为海思这款芯片已经装配在4K/8K电视，4K/8K机顶盒中。

相比于上一代视频编码标准，AVS3在块划分结构、参考帧管理、预测、变换等模块都有创新，增加了很多新的编码技术，大幅提升了编码效率。AVS3基准档次起草完成，将于2022年投入应用，中国的AVS3+5G+8K产业发展将领先全球部署。AVS3标准将对8K产业的推动和发展起到强大的推动作用。高文院士介绍说，视频编码对应MPEG7 CDVS标准，花了４年时间做出标准，用于深度学习的视频匹配，CDVA视频检索流水线，花了三年多时间完成的。深度学习做出来视觉检索和匹配。联合优化就是在视频编码和特征编码之间找到最优的结合点，使得两大特征捆绑到一起，效果是最优的。

据高文院士介绍，2019 年11月22日,杭州博雅鸿图视频技术有限公司发布了数字视网膜首颗芯片“鸿芯图腾GV9531”,实现了对数字视网膜技术的完整诠释。实现对上百路视网膜信息的筛选。除了数字视网膜以外，我们正在牵头推动中国首批AI技术国家标准。包括《神经网络模型表示与压缩》标准，这些标准的开发路线图如下表。数字视网膜是三种标准合作的一个系统，

数字视网膜系统赋能城市大脑2.0，模仿人类视网膜机理，通过算法和计算对视频逐级提取和浓缩，为大数据云计算提供高质量的视频信息数据。

高文院士总结说，城市大脑2.0，是一个端边云分工协调的混合系统架构，可以有效解决城市大脑1.0的大部分问题。数字视网膜及其标准化，是城市大脑2.0的核心：包括先进视频编码技术：节能存储和带宽50%以上；定制ASIC边缘计算：节省云计算资源90%以上；原始图像上特征提取：低延时和高精度；标准化特征的提取，存储和复用：显著提升信息密度和价值。

本文由电子发烧友网原创，未经授权禁止转载。如需转载，请添加微信号elecfans999。