千视左总：透过NDI 6看NDI技术

近期，NDI 6一直是市场热议的话题。在上一期的视频节目中，左总介绍了NDI 6及其在相关行业中的应用，并分享了他的独家见解。这些视频发布到国际平台后，尽管海外观众无法直接理解中文内容，但通过字幕翻译，他们也对左总独家的专业点评表现出了空前的热情和关注度。因此，我们今天特别邀请到左总，再次深入讲解他在这段时间内的新想法和见解。

左总：上一次，其实讲的很粗浅。大致讲到NDI 6的两个新特性：一个是HDR，一个是NDI Bridge，只是讲述了一点点基本概念，没想到会有这么好的一些反响，所以今天也很荣幸有机会再深入地聊一聊。

（问）：NDI 6它到底新在哪？比如说第一个我们关心的方面，NDI 6最新加入了对HDR的支持，从技术的角度上这到底有什么实质性和飞跃性的突破呢？

（左）：好，HDR其实并不是新概念，应该说十多年前，在我们的摄影技术和显示技术中，我们就讲到高动态范围或者简单的说叫宽动态这个概念。其实HDR早就已经是一个比较成熟的技术了，这里有一个比较关键的技术细节：那就是图像。如果我们要实现宽的色域范围和好的动态表现，那么就面临一个基本问题：那就是在视频的采集过程中（包括压缩、传输和存储），因为我们受到一些技术的限制，可能包括传输、存储的带宽等。当选择用8比特时，8比特就是2的8次方，有着256个色阶，在色彩过渡的时候可以有256个阶梯。这个256个色阶呢，只能表现有限的色彩范围，如果要呈现很细腻的细节的时候，它可能就会产生一些问题。

另外，当我们讲HDR就涉及到亮度，当然还包括色彩在显示的时候，有一个叫做伽马曲线的概念。如果展开来讲，就可能会涉及到很多细节。简单的来说，8比特很难去呈现高的动态范围。而NDI 6这一次支持HDR，就是一个关键的技术突破。

我们能够支持到10比特，12比特甚至16比特的图像压缩，包括传输。这个事说起来好像很简单，但其实也还蛮难的。在技术上面，我们知道视频要进行压缩，首先要把图像采集并存储，然后通过CPU或者是FPGA的运算、处理来对图像进行压缩。在这个过程中第一个障碍就是存储的问题。

虽然说由8比特变成10比特多了两个比特，好像只多了25%，可是当这25%的数据量放到存储时，就会占用大量内存（因为我们知道内存是以8比特为一个字节，所以如果要存储10比特，这就意味着说我们可能不是简单的多两个比特的问题，有可能就是要多一个字节）。因此我们内存访问的带宽，可能是成倍的增加，同时带宽的增加就意味着对于处理器的计算性能有极高的要求，整个流程的难度也将极大提升。因此解决由8比特到10比特的性能提升，实际上并不是一个容易跨越的技术门槛。这就是为什么（行业）到目前为止还是在IP互联网上面更多的选择8比特。

（问）：比如说在HDR的支持上，我们的设备遇到了哪些制约，我们又是怎么样去克服这些困难的呢？

（左）：正如刚刚讲到的由8比特到10比特，其实我们有一连串的、一环扣一环的障碍。首先，就是比如说以HDMI为例。HDMI采集的视频，在以往方法中，我们压缩图像的处理都是基于8比特来实现。所以原来在芯片的设计方案的选择中，我们更多的只是考虑到了8比特。可是现在我们要支持10比特，12比特甚至16比特；所以在芯片和相匹配的硬件的选择时，这就是需要我们解决的第一个问题。当然这不是太难，因为都是一些成熟的技术。

到了第二个环节，就是图像的采集和在内存中暂存，也就是我们的buff缓存。

在这个过程，有一个挑战，刚刚有讲到：带宽是一个最大的障碍，我们的数据要先把它缓存到内存，然后再从内存中提取出来进一步的进行压缩处理。我们想象一下像素中间的亮度，如果是一个字节，我把它存进去一个字节就可以了。但是我现在有更高的比特了，所以我可能需要两个字节，那意味着整个的带宽就被double（乘以2）。但是，因为我们知道芯片技术在这个问题（的处理）上，都有它的能力上限；内存的访问带宽也有它的上限。尤其是在图像的处理过程中，它不是简单的我们说想放进去、取出来那么简单。因为它里面有很多的环节，我们可能要对色彩进行调整，对数据进行处理。比如说视频我们要进行放大缩小、de-interlace（隔行扫描）这样的处理，因此它是一个反复的过程，从取出来、存进去，到再取出来、再存进去。我们原有的很多芯片方案的设计是考虑到只要8比特，所以只需要这么多的带宽，可是现在被double了，那这意味着说我们在方案的选择、芯片的选择，甚至我们的图像处理的一些算法优化上都需要想很多的办法。

第三，就是视频的压缩。

我们知道NDI的压缩有两个codec（编码方式）,其中一个是SpeedHQ，一个是H.264/H.265。那SpeedHQ的处理方法，我们知道，官方会更建议用软件的方法来处理。可是不要忘记了，我们的带宽已经被double了，那就意味着我们的处理也有可能会被double。当然，注意，我说的是有可能不是说一定是，这也是NDI 6在它的技术上面，可能说这也是这次的已经突破的一个挑战。如果我的运算性能也需要double的话，意味着很多硬件，比如原来能做之前的8比特这种处理的硬件，到现在10比特或者更高的比特可能就没有能力去做了。但是实际上根据NDI官方团队所说的，其实它的性能的消耗并没有我们想象的那么高，这也是技术上的一种优化。

回到我们的问题。我们原有的这一些实现方案，如果没有应对这样新的、更高带宽的处理能力的话，这就意味着我们可能很多产品都无法实现NDI 6的支持。千视在早期规划新一代的产品的时候，在这个方面就已经做了很多的准备，所以我们选择的芯片的处理性能及它的带宽能力（都能满足要求），尤其是SpeedHQ的实现，（我们的硬件选择）也是基于FPGA去做的处理。另外还有一点是，比如说我们的N50/N60型号的产品，对于H.264和H.265的压缩和解压缩，它天生就具备有10比特的编码和解码的能力。

因为我们的提前准备和预判，我们在对于NDI 6的支持上，从NDI 6发布到响应，我们几乎是最快的。当然在刚出来NDI 6的时候，我们在当时的全球市场上是唯一一家能支持NDI 6的公司，背后一定是有我们刚才讲的逻辑：“虽然硬件的选择很简单，但是在软件的调制以及大量的代码的测试中，千视是有很强的技术积累的。”

这是一方面。当然也许我们要谦虚一点，实际上应该是我们会对于未来视频技术发展的方向有一些更早的预判，因此，我们在芯片方案的选择和一些技术基础上面，我们会提前做一些更充分的准备。

（问）：NDI 6除了在支持HDR方面给我们带来了视觉上体验上的提升，还能帮助我们解决什么其他的问题呢？

（左）：这是一个很好的问题，实际上HDR虽然也是一个比较成熟的概念，但其实，在我们的终端用户对它的个期待或者是判断上，似乎现阶段还不是那么强烈，这也是实话实说。因为我们大多数人使用移动终端手机去观看视频的时候，对于这方面的体验目前似乎还没有特别强烈的需求。但是我们应该看向更多、更广的行业和领域。举个例子说：数字标牌，这种大屏幕的显示。他们可能会追求更好的、更丰富的色彩表现。因此，（NDI HDR）可能会为各行各业带来更好的技术支撑，也可能为各行各业带来更好的体验，也带来更多的商业机会。

第二，我们可以再来想象一下，比如说在医疗领域的应用。我们知道医疗对于图像质量是有着非常高的要求。想象一下，当我们做手术的时候，看到的这种血管的颜色、肌肉的颜色，它们可能是一些病征的表现，那如果色彩（显示）不足以表现这些细节，极有可能它就会对医生得判定有影响。因为有10比特或者更高比特的色彩的表现，它可以为这些领域带来更多的帮助。我们再来想象一下，（当然）可能有很多用户都（已经）提出来了。比如说，我们把电脑投影到屏幕上，经常会有用户就觉得图像经过了压缩（当然不是NDI，而是其他的技术），呈现到屏幕上的色彩明显感觉比压缩之前更差了。原因是什么呢？因为这个压缩的过程以及我们的原始的图像可能是10比特甚至更高的比特，但是在采集和压缩的时候，把它的比特给降低了，也就是把很多的细节给弄丢了。在还原以后，这些细节已经被丢失，所以在体验上就带来了影响。所以NDI 6加入了更高比特的支持，不仅仅是在流媒体的视觉上带来了提升，还可以为更多的行业带来提升。比如说医疗行业原来受到技术条件的制约，在技术手段上还不足以去支撑他们去做应用。而现在已经变成了可能，所以NDI 6会在很多行业的应用上带来改变，给更多的行业带来无限可能。

（问）：NDI Bridge它能帮我们解决什么样的实际问题呢？

（左）：实际上，我们做媒体行业，当然还包括其他的行业，大家都有一个痛点，那就是我们在做实时的直播或者实时的媒体传输的时，怎么样跨越互联网。跨互联网说起来很轻松，因为我们感觉现在互联网已经很发达；但是流媒体的传输，在跨互联网（传播时）会带来很多的挑战。第一个问题是延时，第二个问题是你的带宽是否能够满足高质量的图像传输，第三个问题是是否足够的安全，特别是面向专业的场景。即使这些问题都解决了，但因为我们是面向广播电视媒体、新闻采编等等（行业）。我们在这些场景下面其实往往还有很多的（信号）流，不只有一个流，但这些流怎么能够同时有保障，甚至还能同步？如何从一个地方跨越互联网到达另外一个地方？以及整个流程是否足够的简单，在我们实施起来不会需要大量的复杂设备，或者是复杂的系统，亦或是工具来帮助我们达成这些目的。所以想一想，这些问题看上去就变得非常复杂了。

所以在目前的市场上，也会有很多很多的解决方案，比如说我们比较熟悉的SRT 、基于云的解决方案或者是其他的一些解决方案。但是为了解决这些问题，又会有新的问题产生。举个例子说我们把NDI转换成SRT，走互联网再进行传输，也有很多人在这么做。但是当在本地的NDI到了互联网变成了SRT，但演播室还是NDI的，这个时候又怎么转回到NDI呢？

在这个过程中，遇到不同的技术标准，以及经过一次又一次的转换，这些都会带来延时和图像质量的影响。并且在转换的时候也会造成一些不可预知的问题，总归来说这是一个很麻烦的事。NDI，其实在很多年前在讲，我记得是在NDI 5发布的时候，就有一个广告语，而实际上这么多年官方一直在围绕着这样的一个主题去达成和实现目标。那就是：全世界都是你的舞台，都是你的演播室。这意味着在任何地方，只要你能连上互联网，就能够借助NDI技术，把信号从世界的任何一个角落传到你的演播室里面了，这是它的理念。而现在NDI Bridge(Utility)，我认为它已经达成了这个目的。

NDI Bridge其实在NDI 5的时候就已经有了，但是当时它仅仅只是官方的一个特定工具，它只能在Windows系统里面使用。现在（官方）把它放在SDK里面，就意味着任何设备都可以使用这个工具，利用它的这个技术。NDI Bridge能帮助我们从互联网任何一端传到你的演播室的这一端来。这个过程我们不再需要额外的转换，NDI Bridge 帮助我们解决了这个问题。所以，NDI的视频从一个地方到达另外一个地方还是NDI，它能够继续享受NDI的一些便利。比如说自动发现、即插即用。因为在这个过程中没有一种体系到另外一种体系的反复转换，所以它的效率更高，延迟更低。它的可靠性也更加有保障，包括NDI，所有的像MetaData元数据的传输，包括Tally、PTZ的控制、相机的控制和所有的一切都在Bridge上面帮助我们打通了。更重要的是：它是免费的。它免费开放给所有的用户，所以我们现在真的达到了它（官方）一开始宣传的广告语：全世界都是你的演播室。只要你接入互联网NDI就能帮助你从世界的任意一个地方到达你想要的地方，这是非常了不起的。

那也就是说，其实NDI在它原先搭建的生态上，通过NDI 6的发布，把各个环节更简单、更快速的连接在一起，并且不需要付出额外的成本。不需要额外的转化同时也更安全、更同步。我觉得从技术层面也是符合我们千视Software Driven的一个愿景。我觉得在这方面千视作为NDI的官方合作伙伴，这方面我们是高度一致的。

（问）：比如说从NDI 6的性能、改进，或者是长远的发展方向上，从千视的角度您会有什么样的一些想法？NDI 6是否有向下兼容这么一个说法?

（左）：NDI 6它肯定是向下兼容的。NDI在NDI HX之前，因为那个时候还很不成熟，所以可能会出现比如NDI HX1与到我们现在的HX2、HX3中间存在的兼容性的问题。但是从NDI 4开始，它一直保持着向下兼容，所以这方面没有任何问题。当然，有一个问题是值得我们去关注的。那就是，我们刚才讨论过HDR，因为加入了10比特或者更高比特的视频压缩、解压缩的支持后，HDR与原来非HDR的编解码部分是有一些兼容性的问题的。至少我们可以判断出来的就是，HDR的视频的图像编解码，在老的SDK版本上肯定是没有办法支持的。所以在未来的应用中可能会有一部分这样的小的兼容性问题。但是这些是我们可以预判的，因此它不会对我们造成特别严重的影响。

（问）：我们有没有可能基于对官方技术的判断，能预期到一些未来的方向呢？

（左）：NDI最早的理念，就像刚刚有讲到，跟我们千视早期公司发展的理念是高度吻合的，这也是为什么我们双方能长期的走在一起。NDI 6其实核心概念就是Software Driven Video：软件驱动视频。所以NDI 6它一直奉行着所有问题，最好都通过软件可以解决，而不要去过度的依赖于硬件，依赖于芯片。当然，这是很难的。因为我们刚刚其实也提到，比如千视的很多产品都是基于FPGA去实现的，而FPGA本质上就是一个硬件，我们要依赖硬件的支持来解决，这是出于性能或者是一些特殊因素的考虑；但NDI本身完全可以通过软件来进行视频的压缩、解压缩：我们的一切传输都可以基于软件，基于IP协议。这样的传输，因为软件（的先天条件），我们就能够获得几个优势。首先就是：灵活，足够的灵活。用我们的话说，就是“不挑”。（不会出现）只有在这样的硬件上才能做，那样的硬件上就不能做。软件只要它是通用的CPU、通用的操作系统和软件技术，一切都能实现。所以它不挑，有足够的灵活性。

其次是成本，这也很关键。如果我们要用FPGA，那当然成本会更高。但如果我基于通用的CPU，基于ARM的处理器，是非常轻松可以获得的。那是因为在这个大的生态环境里，这些处理器足够的便宜，我们实现起来的成本也会非常的低。更重要的是还可以完全不依赖于硬件。这是NDI现在让大家都能看到的，在任何操作系统上（Windows、Linux、Mac OS）上都有NDI的实现。这也是带来的一个优势，它很容易去发展生态，所以我们看到NDI目前在AV over IP上的生态是最完善、最健全的。比如我们看到Microsoft、Adobe这些软件，还有很多（其他的）软件公司，他们都能够很快速、及时、积极的去支持和拥抱NDI。因为（NDI）本身就是一个软件技术，不需要很复杂的适配，而且没有对硬件的要求；再加上NDI它本身的处理（需求）对CPU的消耗也是非常低的，所以实现起来都非常轻松，没有什么特定的障碍。其实我们去对比现在很多其他的AV over IP技术，比如STR和IPMX，或者我们再看比如说SDVOE这些IP技术，他们虽然说是 AV over IP的技术，但其实它们只是把传输的介质变了。原来可能走电缆传输，现在变成走网线或者光纤来传输，仅此而已。（它们）里面所有的这些采集、处理，还是重度的依赖芯片硬件，因此会丧失灵活性。当然也包括我们刚刚讲到跨越互联网时，这些IP技术它面临的难度就更大，中间一定要经过很复杂的转换。

回归到我一开始讲到的Software Driven Video，这个理念使得NDI具备很多其他IP技术所不具备的优势，而且遥遥领先。同时，我们可以看到它未来的一些发展的方向。NDI技术其实在我的判断，大概在18年-19年的时候其实就已经做到非常成熟了，而且在同等条件下面它是遥遥领先的。这些年在发展的过程中，可能会遇到的一些选择性的问题。所以NDI6的发布会先把HDR和Bridge(面向互联网)这两个重要的因素放到最前面发布。但其实在未来，它还会继续去改进一些其他的问题。比如说延时的问题。这里大家其实也有谈到了，就是NDI的视频延时相比其他的一些技术可能要稍微大那么一点。还有，如何进一步的改进图像的质量。其实因为HDR的加入，图像的质量已经有所提升，但是可能还不够，还要做得更好。所以在未来，在图像质量、延时的方向上，根据我和NDI团队的一些沟通，这也是未来重点要去突破的。我们看到NDI它足够的灵活，成本足够的低。技术也有足够的领先、纯软件的驱动，（而且）面向互联网。如果进一步的解决图像质量和延时问题，我们有理由相信NDI在很多的领域都会发挥出它的作用，而不仅仅是媒体广播电视领域。

虽然NDI可能现在大量的应用场景还在媒体广播电视领域，但是我们可以想象，未来可以在（数字）标牌、医疗、Rooms（房间）-比如说会场、礼堂等很多的行业都能够发挥出它的作用。不要忘记了，我要特别强调的是，NDI它拥有最丰富的生态。当选择基于NDI技术去解决各种问题，从摄像、传输，到制作、存储的整个生态链条，你都有很多的选择。你可以轻轻松松的基于NDI技术，选择很多厂家的产品，能够快速的构建一个你（自己）的系统出来。这是目前很多其他的AV over IP技术做不到的，因为它的生态还远远不够，我们的可选择性还非常少。所以这就是NDI，我觉得（它）对于我们是非常友好的，生态是最完善的。

（问）：我们在产品面上有没有什么新的构思，或者新的想法？

（左）：我刚刚有提到就是NDI未来可以往更多的行业去走。比如说刚刚说Rooms这样的应用，各种会议室会场礼堂等等。NDI虽然说现在足够的简单，也足够的灵活，但是它其实还是带有一定的专业性。对于用户而言，我们很多NDI的用户其实都会有这样的一些反馈，就是因为基于网络技术，当我把设备插入到网络交换机以后，接下来会发生什么，很多时候都不太清楚，因为它已经变成数字化的。这些信息数据在一个我们看不见摸不着的网络中间传输，那么这里面产生的很多网络问题或者是IP技术，对于很多用户而言可不是那么友好。所以在IP应用的时候，大家会遇到的困难就是比较难于去诊断。一旦出现了故障，我很难去定位，然后IP技术又特别复杂，我们甚至有时候在构建一个基于IP的传输体系、一个AVoIP的网络的时候会需要很专业的网络专家，网络人士去规划、设计网络。因此，大家在应用的时候虽然觉得这是先进的技术，有足够的吸引力，可是还是有技术门槛。这就导致我们在应用的时候，还是有一些阻力。

那我们（千视）其实一直在致力于为用户解决这些方面的问题。未来，我们希望基于千视的产品，我们的编码器、解码器，以及我们在NDI生态中的矩阵、系统等，这里我就不一一列举了；在使用这些产品的时候，我希望用户真的能够做到即插即用。你不需要去了解太多的网络技术知识，而且接入网络以后能够看到简单（直观）的图形化界面；能够看到每一个设备在网络中间的状态，能够看到它的数据的流向，它是否存在网络的异常（比如说丢包，数据的错误等等）；或者说在网络中出现了像电路的故障；或者再进一步的比如说我们的设备的负担过高、CPU负载过重，它有可能都会造成对图像的影响。这一些信息和状态，我们会有专门的管控软件来帮助用户解决这些问题。

所以我们不太需要去过多的了解网络知识，你只需要把网络设备连起来，把我们的设备接入到网络交换机，下一步，你通过一个图形化的界面就可以看到一切，可以掌握一切的动态、看到所有的状态。如果出现了异常和故障，能快速的帮助您定位、分析并知道问题的原因，这也是提到NDI的原因。我记得我们在去年的NDI峰会上，也有用户提过一个问题，就是：当NDI接入网络以后，大家会发现，到底谁家的网络交换机能够保证它更可靠的传输，网络交换机到底又会发生什么问题。这些实际上对于用户来说都有很大的疑惑。或者说有时候NDI在网络传输上面的表现，还是有不太可靠的地方。事实上，通过技术的分析也会发现，NDI的这种传输机制，不是说它本身不可靠，而是它需要我们对于网络、对于网络交换机这些网络技术，要有一些更全面的认识后，才能合理的规划和规避可能出现的问题。这对于很多用户或非专业的网络技术人员来说是有挑战的。

因此我们要想办法把这些问题给化解掉。这是我们千视下一步，在产品发展方向上的最重要的战略规划之一。我希望在各行各业，面向大大小小的（使用）场景，用户都能够简单地使用NDI。不需要为了使用NDI而去学习计算机网络，去学习TCP、IP技术。所以可以这么理解，其实NDI 6也彰显了NDI在现有的生态里面更进了一步。同时，这个生态里面的流程已经（更加）可视化、更简单、易操作，并且帮助我们的用户提供了更好的工具。在这个大生态里面，千视作为生态中很重要的一环，我们一直希望能够尽自己的专业能力以及技术能力，去让NDI的生态变得更好，让NDI能够为各行各业，为我们的用户提供更好的服务，帮助大家解决更多的问题！