聚丰项目 > WIFI视频智能监控——人脸追踪

WIFI视频智能监控——人脸追踪

传统图像监控设备功能非常单一,仅有图像的采集与显示功能,已经不能满足现代技术要求。 本项目尝试物联网概念结合,不仅实现了包含传统的录像功能,还实现了如今同样很火暴的技术——人脸识别。 本项目的优点: 通过WIFI传输数据,只要哪里有电源插座,便可作为视频监控点。 通过WIFI传输,可远程操作摄像头运行模式(运行、停止、低功耗),实时性增强。 结合上位机人脸识别,自动记录、拍照人脸画面,不再需要像传统设备快进来查找出现人脸画面,追踪更加方便。 成本较低,具有商业竞争优势。

Mr.老囧 Mr.老囧

分享
4 喜欢这个项目
团队介绍

Mr.老囧 Mr.老囧

团队成员

林桂炯 软件开发工程师

分享
项目简介
传统图像监控设备功能非常单一,仅有图像的采集与显示功能,已经不能满足现代技术要求。 本项目尝试物联网概念结合,不仅实现了包含传统的录像功能,还实现了如今同样很火暴的技术——人脸识别。 本项目的优点: 通过WIFI传输数据,只要哪里有电源插座,便可作为视频监控点。 通过WIFI传输,可远程操作摄像头运行模式(运行、停止、低功耗),实时性增强。 结合上位机人脸识别,自动记录、拍照人脸画面,不再需要像传统设备快进来查找出现人脸画面,追踪更加方便。 成本较低,具有商业竞争优势。
硬件说明

开发板:NUCLEO-64 STM32F446 

主控MCU:STM32F446RET6

功能特点:带有数字摄像头DCMI接口,不需要FIFO可直接连接并口摄像头。具有片内128KB的SRAM,存储空间大。


WIFI模块:3080B

功能特点:具有STATION和AP功能,提供TCP SOCKET通信,能通过UART直接换TCP通信,非常方便。


摄像头:OV2640 200万像素

功能特点:提供多种分辨率选择,对于一帧QVGA图像(分辨率320*240)的RGB565所需的153600字节的空间,这对于该主控的SRAM来说,空间是不足够,而OV2640自带JPEG压缩技术,一帧QVGA图像经过JPEG压缩后不到10KB,极大节省SRAM存储空间。


摄像头转接板:

功能特点:连接开发板与摄像头,减少传输干扰导致的图像数据丢失。


主控引脚连接图:


芯片引脚连接.jpg

作品原型实物图:


软件说明

功能框图:

框图2.png


开发平台采用:由于MBED平台暂时不支持摄像头接口,所以先暂时使用ST官方的HAL库,在完成所有功能实现后,将移植到MBED平台。

开发工具:keil 5.17

上位机开发: .C++ 与QT5.1,视觉库opencv

开发工具:visual stdio 2017


下位机软件驱动

串口UART驱动:与WIFI模块3080B采用UART通信。

I2C驱动:对摄像头进行初始化设置。

DCMI驱动:设置从摄像头采集图像接口。

MCO1驱动:给摄像头模块提供时钟。


软件程序流程图

程序流程图.jpg

下位机:

系统上电后,串口和摄像头进行初始化,进入拍照等待。

通过串口接收回调接收上位机发送过来的拍照指令,调用DCMI接口进行拍照。

通过DCMI的帧完成回调函数可知道图像采集完成,发送图像回上位机。


下位机核心逻辑代码:

while (1)
  {
  /* USER CODE END WHILE */
		if(takePhoto==1){
		  takePhoto=0;
			if(Rxbuffer[0]==0x12 &&Rxbuffer[1]==0x34){
				Rxbuffer[0]=0; 
				Rxbuffer[1]=0;
				//__HAL_DCMI_ENABLE(&DCMI_hdcmi);
				__HAL_DCMI_ENABLE_IT(&DCMI_hdcmi, DCMI_IT_FRAME);   //每次接收完一帧都需要重新使能捕捉FRAME中断
				while(HAL_DCMI_Start_DMA(&DCMI_hdcmi, DCMI_MODE_SNAPSHOT,(uint32_t)JpegBuffer, pictureBufferLength)!=HAL_OK);//开启捕捉图像
			}
			HAL_UART_Receive_IT(&UartHandle, (uint8_t *)Rxbuffer, 2);
		}
		if(getPicture==1){
			uint8_t dataHead[8]={'J','P','E','G'};
			pictureLength=pictureBufferLength-DCMI_hdcmi.DMA_Handle->Instance->NDTR;//这个NDTR存放了JPEG的长度
			pictureLength*=4;  //因为DCMI的FIFO是4字节,DMA也是满4字节传输一次,所以图像实际长度=传输次数*4;
			getPicture=0;
			(*(uint32_t*)(dataHead+4))=(uint32_t)pictureLength;   //data是8字节,前4字节用来放"JPEG",后4字节用来存放图像实际长度
			while(HAL_UART_Transmit_IT(&UartHandle, (uint8_t*)dataHead, 8)!=HAL_OK);  //先发送数据长度给上位机
			HAL_Delay(20);
			while(HAL_UART_Transmit_IT(&UartHandle, (uint8_t*)JpegBuffer, pictureLength)!=HAL_OK);//再发送数据给上位机

		}
  /* USER CODE BEGIN 3 */

  }

上位机:

程序运行后,显示主界面。用户点拍照按键后,发送拍照指令给下位机。

通过TCP异步接收图像数据,显示到界面。

调用OPENCV图像处理算法,捕捉人脸,显示到界面。

上位机.jpg


演示效果

作品原型正面俯视:

IMG_20171127_211855.jpg

作品原型背面俯视:

IMG_20171127_211844.jpg

图片采集与人脸追踪效果图1:

识别1.png

图片采集与人脸追踪效果图2:

识别2.png

人脸追踪视频:





评论区(1 )
  • fycvnu8fvjnm: 可以详细介绍一下STM32部分吗??包括DCMI的使用等等

    回复