前言
Home Assistant 中的 Tensorflow 集成目前存在问题,这是由于在多个平台上支持 Tensorflow 的复杂性而出现的。除非您对调试安装问题非常有信心,否则我不建议您尝试遵循本指南。另请注意,Hassbian 不再由 Home Assistant 维护。
概括
在本文中,我们将介绍如何设置 Home-Assistant 以使用 TensorFlow 执行对象检测,然后在相机图像上执行对象检测的过程。希望这将使您能够以最少的精力将尖端的 AI 技术投入到您的家庭自动化项目中的生产中。
TensorFlow是一种流行的开源机器学习框架,可用于图像处理中的广泛应用,特别是用于对象检测。家庭自动化项目中有许多对象检测应用,例如在摄像头馈送中定位车辆或宠物等对象,然后根据这些对象的存在执行操作(使用自动化)。Home-Assistant是一个流行的开源 Python 3 家庭自动化平台,可以在 Raspberry Pi 上运行。TensorFlow 对象检测在一些设置后可在 Home-Assistant 中使用,允许人们在他们的家庭自动化项目中开始使用对象检测,而无需大惊小怪。Home-Assistant 文档提供了开始使用 TensorFlow的说明对象检测,但所描述的过程比典型的家庭助手组件要复杂一些。如文档所述,此组件需要下载文件,在您的计算机上编译,并添加到 Home Assistant 配置目录。
家庭助理设置
我在 Raspberry Pi 4 上使用 Home-Assistant 版本 0.98 的 Hassbian 部署,但请注意,其他 Home-Assistant 部署的步骤应该相同(警告,Hassio 还不允许安装 TensorFlow,所以不要尝试它)。关于硬件的说明,TensorFlow 模型需要大约 1 GB 的 RAM,因此虽然可以在 RPI3 上运行,但体验太差了,我什至不建议尝试。作为最低要求,我推荐具有 》 2GB RAM 的 RPI4。
有关设置的更多信息,请参阅Hassbian 文档,但基本过程是:
将 Hassbian 磁盘映像闪存到 SD 卡(我使用Etcher )
将您的 Wifi 凭据添加到 SD 卡上的文本文件中
将 SD 卡插入您的 Pi
插入键盘并显示到 Pi 以监控安装过程
您可以通过连接到 Pi 的键盘来完成整个 TensorFlow 设置,但我建议通过 Hassbian 脚本安装Cloud9 Web IDE。此 IDE 允许您从网络上的任何计算机通过 Home-Assistant 前端执行 TensorFlow 设置过程。按照此处的说明安装 Cloud9 ,然后导航到http://hassbian.local:8181您现在可以使用面板 iframe在 Home-Assistant GUI 上显示 Cloud9 IDE ,通过添加到 Home-Assistant configuration.yaml文件进行配置(通过 Cloud9 IDE 编辑):
panel_iframe:
cloud9:
title: cloud9
icon: mdi:wrench
url: http://hassbian.local:8181/ide.html
编辑文件后,最好使用配置验证工具。要使用它,从侧面板,配置 -》 常规 -》 检查配置(在配置验证下))。
如果您从配置检查工具中获得确定,则需要重新启动 Home-Assistant 以使更改生效(从侧面板配置 -》 常规 -》 重新启动(在服务器管理下))。重新启动时,您应该看到以下内容:
TensorFlow 设置
确保您正在运行 Home-Assistant 的最新版本。我建议您阅读TensorFlow 组件文档以了解设置过程,但在本指南中我们跳过了几个步骤,因为我在 GitHub 上提供了所需的代码。
第 1 步:安装 TensorFlow
我们需要 TensorFlow 可用于 Home-Assistant。从 Cloud9 IDE 中的命令行:
sudo apt-get install libatlas-base-dev libopenjp2-7 libtiff5
从 Pi 切换到 homeassistant 用户 ->sudo -u homeassistant -H -s
激活homeassistant python环境->cd /srv/homeassistant/然后source bin/activate
从 pypi -> 安装 tensorflow pip3 install tensorflow==1.13.2(检查当前版本要求)
第 2 步:从我的 GitHub 获取 TensorFlow 需要的文件
在任何计算机上,导航到:https ://github.com/robmarkcole/tensorflow_files_for_home_assistant_component并下载 ZIP 文件或克隆存储库。使用 Cloud9 IDE 将tensorflow/object_detection存储库中的文件夹复制到 Home-Assistant 的配置文件夹中。生成的文件夹结构如图 2 所示。
第 3 步:为目标检测选择合适的模型
型号选择
TensorFlow“模型”是具有扩展名的二进制文件,.pb其中包含 TensorFlow 将用于执行对象检测的神经网络的权重。这是您无需担心的细节,但需要的是选择合适的模型并将其放置在配置目录中。正如组件文档所建议的那样,互联网上有一系列可用的模型,或者您甚至可以创建自己的模型。一般来说,模型的准确性和速度之间需要权衡取舍。由于 Raspberry Pi 的 CPU 和 RAM 有限,我们应该选择轻量级的型号,例如为手机设计的型号。TensorFlow 模型动物园提供可下载模型的列表,因此请导航至动物园自述文件并选择模型。在这里,我们将遵循文档建议并选择ssd_mobilenet_v2_coco模型。从命令行,并注意到我们仍在使用homeassistant用户配置文件:
TENSORFLOW_DIR="/home/homeassistant/c9workspace/homeassistant/tensorflow"
cd $TENSORFLOW_DIR
curl -OL http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v2_coco_2018_03_29.tar.gz
tar -xzvf ssd_mobilenet_v2_coco_2018_03_29.tar.gz
请注意,我们设置环境变量TENSORFLOW_DIR以确保将下载的文件放在本文中配置说明所需的位置。现在我们有一个可用的模型文件,我们可以配置 TensorFlow 组件。
TensorFlow 组件配置
您将需要一个相机源来提供图像。我只是设置了一个local_file 相机,但您可以使用任何相机源。请注意您的相机的 entity_id(我的是camera.local_file)并将以下内容添加到您的 configuration.yaml 文件中:
image_processing:
- platform: tensorflow
scan_interval: 20000
source:
- entity_id: camera.local_file
model:
graph: /home/homeassistant/c9workspace/homeassistant/tensorflow/ssd_mobilenet_v2_coco_2018_03_29/frozen_inference_graph.pb
再次检查您的配置更改是否有效并重新启动 Home-Assistant。
TensorFlow 组件使用
现在是有趣的部分,使用 TensorFlow 组件!请注意,在重新启动时 Home-Assistant 将在其日志中发出有关未安装 OpenCV 的警告,您可以忽略这一点,因为 TensorFlow 可以改用 Pillow。另请注意,我们进行了配置scan_interval: 20000,这意味着 TensorFlow 图像处理不会自动执行(默认每 10 秒一次),而是仅在我们通过调用scan服务触发它时执行,您可以从 Home-Assistant 前端的服务开发人员工具中执行此操作. 下图向您展示了 TensorFlow 组件如何显示其结果:
您现在可以在 Home-Assistant自动化中使用对象检测数据。Home-Assistant论坛是获取自动化想法的好地方,请查看。
可能遇到的故障排除
当我使用 Tensorflow 时,Home-Assistant 崩溃了,为什么?您可能没有足够的可用内存,因为模型需要约 1 GB 的 RAM。终止 pi 上的一些进程,然后重试
-
检测系统
+关注
关注
3文章
954浏览量
43029 -
树莓派
+关注
关注
116文章
1706浏览量
105610
发布评论请先 登录
相关推荐
评论