DeepStream工作原理及功能特点分析

2023年8月11日下午5点，APM部门于科创园二楼会议室举办了此次的技术分享会——DeepStream介绍。此次会议邀请实习生陶强民作为分享人，向大家介绍分享了DeepStream。此次会议主要分为内容分享环节和问题讨论环节，在内容分享环节中，陶同学主要围绕着SDK深度学习软件栈、DeepStream 工作原理、DeepStream SDK目录结构、DeepStream 功能特点四个部分进行分享。在后续的问题讨论环节中，大家也就一些问题展开了激烈的讨论。

01

英伟达深度学习软件栈    

在这部分的分享中，陶同学提出，“开发是条艰难的路！！”在这条路上，困难重重。面对多种应用场景，我们需要选择训练框架，进行模型结构设计，同时还需要面对数据集不够大、算法性能不够优、跨平台部署不够方便等问题。为了更好的适应开发任务，提高工作效率，开发出更高质量的应用程序，一个良好的开发工具是必不可少的。接下来的分享，陶同学向大家介绍了SDK的基本情况和使用方法。

02

DeepStream 工作原理

第二部分的分享中，陶同学首先介绍了常规视频流处理过程，即数据收集----预处理----模型推理----后处理---- 结果可视化。随后，又为大家分享了DeepStream 的工作流程以及结构。

03

DeepStream SDK

目录结构

在这一部分，陶同学分享了一个Jetson平台的DeepStream6.0.1下的一个版本目录，列举了几个核心的部分并举例说明了示例文件,并介绍了SDK结构中的一些插件。最后在实例介绍部分介绍了上述插件的作用，并分享了参考资源。

04

DeepStream 功能特点

在这个部分，陶强民同学向大家介绍了DeepStream 功能特点：

（1）卓越的性能，在多个硬件上运行都有不俗的结果；  

（2）多编程选项，可以选择不同语言，甚至可以直接使用可视化工具实现我们的部署；

（3）云原生支持，在嵌入式中构建Docker容器实现功能应用；

（4）端到端部署，支持丰富的模型，快速适配不同的应用场景；

（5）丰富实例，提供了丰富多样的功能实例；

（6）图像编辑器Graph Compose。

05

问题讨论环节

Q：我如何在应用程序中获取分析结果？

A：DeepStream允许您通过API获取分析结果。您可以在代码中编程处理分析结果，例如获取检测到的对象的位置、类别、置信度等信息。您还可以根据需要在视频中绘制边界框、标签等，以便可视化分析结果。

Q：DeepStream如何处理视频流中的物体跟踪？

A：在DeepStream中，物体跟踪通常涉及使用目标检测模型来检测视频流中的物体，然后使用相关算法来跟踪这些物体。跟踪算法可以是基于卡尔曼滤波、SORT（Simple Online and Realtime Tracking）等。DeepStream提供了跟踪器接口，您可以将适合您需求的跟踪算法集成到应用程序中。

Q：我可以在DeepStream中使用哪些预训练模型？

A：DeepStream支持多种深度学习框架的预训练模型，如TensorFlow、PyTorch等。您可以选择适合您任务的预训练模型，也可以根据需要进行微调。

END

此次会议在大家的热烈讨论中圆满结束。相信大家一定在本次会议中汲取到了很多关于DeepStream的知识，也希望大家在会后多多学习，多多讨论，以增加对它的了解，为日后的工作打下坚实的基础。

会议的顺利举办也离不开畅行学堂这个平台的依托，在此次会议之后，畅行学堂还将为大家举办更多的技术分享会，不断为了大家技术能力的增长做出贡献，以期实现公司、学堂、每位员工的共同进步、成长与突破。

编辑：黄飞