视觉AI之旅：一起探索 FiftyOne——第一部分 简介

​

作者：Paula Ramos博士，前Intel技术布道师，Voxel51开发者关系主管

翻译：张晶，前Intel技术布道策略经理，Linux基金会亚太区开源布道师

原文地址：https://medium.com/@paularamos_phd/journey-into-visual-ai-exploring-fiftyone-together-part-i-introduction-9e20c6e07722

编者按：这是作者进入新公司Voxel51后的关于FiftyOne的分享。FiftyOne是一款旨在简化视觉AI项目工作流程的开源工具，帮助用户查看的数据集、发现质量问题、查看模型行为，并改进你的MLOps工作流。

上文分享了《职业生涯的一年四季：每个阶段都会引领你走向成长之路！》和《新起点：从儿子的开学日到我的Voxel51入职之旅！》

一，引言

欢迎各位开发者和AI爱好者！

如果像我一样，深入研究一款新工具既令人兴奋又可能让人感到畏惧。正如大家所知，我最近开始了在Voxel51的职业旅程，我的首个任务就是探索FiftyOne——这是Voxel51提供给开发者的开源平台。然后我想，为什么不记录下这次冒险，并邀请其他人加入呢？于是，我们来到了这里，在我希望对我们所有人来说都是一段启发性的系列文章的起点。

无论你是经验丰富的开发者还是刚刚起步的新手，学习一款新工具都会带来一系列挑战。但通过共同努力，我们可以克服FiftyOne中的各种难题，释放其潜力。让我们把这段旅程变成一次合作体验吧。

首先，我会从一些定义开始讲起，然后在后续的文章中创建一个实践体验。让我们来定义一下作为视觉AI领域的开发者所面临的痛点。

二，开发者在视觉AI中的常见痛点

处理大型复杂数据集：与传统工具相比，管理大量带有相关注释的图像或视频可能会让人感到不堪重负且效率低下。

数据可视化限制：难以直观地展示复杂的数据集和注释妨碍了理解并减慢了开发速度。

模型评估低效：评估模型性能、识别失败模式以及解释结果可能耗时且容易出错。

数据质量问题：识别和纠正如注释错误、标签缺失或边缘案例等数据问题往往既困难又耗人力。

集成挑战：将新工具无缝融入现有机器学习工作流而不影响生产力可能是复杂的。

如果还有其他我遗漏的点，请在评论区补充。

好消息是，Voxel51有一个优秀的开源工具来解决这些问题。这个工具就叫做FiftyOne，那么FiftyOne是什么呢？

三，什么是FiftyOne？

对于那些尚未听说的人而言，FiftyOne是一款旨在简化视觉AI项目工作流程的开源工具。你可以在这里尝试FiftyOne应用：https://try.fiftyone.ai/，独立探索。在那里，你可以浏览你的数据集、发现质量问题、查看模型行为，并改进你的MLOps工作流。

如您所见，您可以在浏览器中尝试使用FiftyOne来探索数据集和模型，同时也可以通过运行“pip install fiftyone”命令在本地安装它，并导入自己的数据和模型。开发者、数据科学家以及研究人员将能够改进他们的视觉数据集，并深入理解他们的模型。FiftyOne提供了数据探索、可视化和管理功能，有助于开发生产就绪的视觉AI应用。

FiftyOne的独特之处在于其强大的交互式FiftyOne应用程序与多功能Python API的结合。FiftyOne应用程序提供了一个直观且用户友好的界面，用于深入地可视化和探索数据集。利用它，您可以直观地浏览图像和视频、检查注释、过滤数据、获取见解，甚至可以通过插件扩展以实现自定义工作流程，所有这些都只需几行代码就能实现实时操作。

另一方面，Python API为您提供对FiftyOne所有功能的编程访问权限。这意味着您可以操控数据集、执行复杂的查询，甚至直接从Python脚本控制应用程序，直接与您的模型训练和评估代码集成。应用程序与API之间的协同作用既提供了代码的控制性和灵活性，又具有图形界面的即时性和直观性。

基本上，FiftyOne提供了两全其美的解决方案：

对于视觉探索：使用FiftyOne应用程序交互式地探索您的数据集、检查样本并可视化模型预测。

对于程序化控制：利用Python API进行数据处理编程、运行实验和自动化任务。

四，FiftyOne如何解决我们日常遇到的问题？

FiftyOne旨在通过以下方式缓解这些问题：

通过FiftyOne应用程序进行交互式数据探索：该应用程序允许您无缝地可视化并与数据集互动。您可以筛选、排序和查询数据，更改会立即反映在可视化界面上。

强大的Python API：以编程方式控制和处理您的数据。自动化工序、执行复杂查询并将FiftyOne轻松集成到现有管线中。

全面的模型评估工具：通过可视化预测结果与真实标签对比、计算详细指标及深入研究失败案例来评估您的模型，从而提高模型性能。

高效的数据整理：利用先进的过滤和可视化能力快速识别并修复数据问题，提升数据集的整体质量。

与现有工作流的无缝集成：兼容流行深度学习框架，使您无需彻底改变当前设置即可采用FiftyOne。

可扩展性和定制化：通过自定义插件或脚本扩展FiftyOne的功能，以适应您的特定需求。

“请参阅本博客系列的第二部分，在那里我将解释如何使用FiftyOne应用程序和Python API。代码即将登场!!! -- Paula Ramos”

五，附加资源

FiftyOne的首次介绍文章：

https://voxel51.com/blog/introducing-fiftyone-a-tool-for-rapid-data-model-experimentation/

一点基础知识：

https://towardsdatascience.com/i-performed-error-analysis-on-open-images-and-now-i-have-trust-issues-89080e03ba09

Voxel51最近的一篇文章：

https://voxel51.com/blog/what-is-visual-ai-going-beyond-computer-vision/

FiftyOne 101 视频教程：

https://www.youtube.com/watch?v=iHvTdocajgU

在浏览器中尝试FiftyOne应用：

https://try.fiftyone.ai/

就先到这里！

在这一部分，我们为与FiftyOne一起的旅程设定了舞台。我们讨论了视觉AI项目中的常见挑战以及FiftyOne如何帮助克服这些挑战。在下一篇文章中，我将为您提供指导性的代码来操作FiftyOne。我很想听听您的经历！请分享您的想法、提问并提供反馈。您的见解可能有助于我们在接下来的文章中帮助他人。让我们更有效地学习，并共同促进FiftyOne的改进！

敬请期待下一篇，在其中我们将探索FiftyOne的核心特性、数据集的操作以及模型评估。让我们把这次与FiftyOne的旅程变成一次合作和丰富的体验。愉快编码吧！保持联系！

在Medium上关注我：

https://medium.com/@paularamos_phd

在LinkedIn上关注我：

https://www.linkedin.com/in/paula-ramos-phd/

加入对话：Discord FiftyOne社区, Slack FiftyOne社区

下一步是什么？我很兴奋能分享更多我在Voxel51的经历！

如果你有兴趣跟随我深入AI的世界并持续专业成长，欢迎通过LinkedIn与我建立联系或关注我。让我们互相激励，拥抱变化，达到新的高度！您可以在一些Voxel51活动（https://voxel51.com/computer-vision-events/）中找到我，或者如果您想要加入这个出色的团队，可以查看此页面：

https://voxel51.com/jobs/

如果你有更好的文章，欢迎投稿！

稿件接收邮箱：[e-mail]

更多精彩内容请关注“算力魔方®”！

审核编辑 黄宇