YOLOv5在OpenCV上的推理程序

测试与发现

YOLOv5官方给出的YOLOv5在OpenCV上推理的程序相对来说是比较通俗易懂的，条理清晰，有基本的封装，直接可用！但是我也发现，模型的推理时间跟前后处理的时间相差无几，特别是当视频流有多个检测到的对象时候，整个帧率会有明显下降！官方推荐的参考示例代码链接为：

https://github.com/doleron/yolov5-opencv-cpp-python/blob/main/python/yolo-tiny.py

最后发现推理时间没有明显变化，主要是前后处理，有两个函数耗时比较高！从输入图像转换到模型输入数据的函数：

cv2.dnn.blobFromImage(input_image , 1/255.0, (640, 640), swapRB=True)

推理之后的重叠目标框非最大抑制函数：

indexes = cv2.dnn.NMSBoxes(boxes, confidences, 0.25, 0.45)

特别是非最大抑制函数，随着图像中目标数目增多，导致帧率成明显下降趋势！

修改输入转换

cv2.dnn.blobFromImage(input_image , 1/255.0, (640, 640), swapRB=True)

可以通过下面的代码等价替换：

rgb=cv.cvtColor(image,cv.COLOR_BGR2RGB)
input_image=cv.resize(src=rgb,dsize=(INPUT_WIDTH,INPUT_HEIGHT))
blob_img=np.float32(input_image)/255.0
input_x=blob_img.transpose((2,0,1))
input_blob=np.expand_dims(input_x,0)

修改之后测试发现该替代降低了执行时间，说明替代有效！

修改非最大抑制

indexes = cv2.dnn.NMSBoxes(boxes, confidences, 0.25, 0.45)

输入的box格式x, y,w,h，我参考了网上的代码，修改实现一个基于并交比最简单的NMS抑制算法，基于矩阵计算，保证不会因为对象变得多了，增加计算耗时，然后把它们封装成一个单独的方法，导入该方法直接替换之前的代码行为：

class_ids, boxes = non_max_suppression_fast(np.asarray(class_ids), np.asarray(boxes), 0.75)

该函数完整的实现代码如下：

importnumpyasnp


defnon_max_suppression_fast(class_ids,boxes,nms_threshold):
#iftherearenoboxes,return
iflen(boxes)==0:
return[],[]

ifboxes.dtype.kind=="i":
boxes=boxes.astype("float")

#initializethelistofpickedindexes
pick=[]

#grabthecoordinatesoftheboundingboxes
x1=boxes[:,0]
y1=boxes[:,1]
x2=boxes[:,2]
y2=boxes[:,3]

#computetheareaoftheboundingboxesandsortthebounding
#boxesbythebottom-righty-coordinateoftheboundingbox
area=(x2-x1+1)*(y2-y1+1)
idxs=np.argsort(y2)

#keeploopingwhilesomeindexesstillremainintheindexes
#list
whilelen(idxs)>0:
#grabthelastindexintheindexeslistandaddthe
#indexvaluetothelistofpickedindexes
last=len(idxs)-1
i=idxs[last]
pick.append(i)

#findthelargest(x,y)coordinatesforthestartof
#theboundingboxandthesmallest(x,y)coordinates
#fortheendoftheboundingbox
xx1=np.maximum(x1[i],x1[idxs[:last]])
yy1=np.maximum(y1[i],y1[idxs[:last]])
xx2=np.minimum(x2[i],x2[idxs[:last]])
yy2=np.minimum(y2[i],y2[idxs[:last]])

#computethewidthandheightoftheboundingbox
w=np.maximum(0,xx2-xx1+1)
h=np.maximum(0,yy2-yy1+1)

#computetheratioofoverlap
overlap=(w*h)/area[idxs[:last]]

#deleteallindexesfromtheindexlistthathave
idxs=np.delete(idxs,np.concatenate(([last],
np.where(overlap>nms_threshold)[0])))

#returnonlytheboundingboxesthatwerepickedusingthe
#integerdatatype
returnclass_ids[pick],boxes[pick].astype("int")


if__name__=="__main__":
boxes=[]
boxes.append((163,0,27+163,41))
boxes.append((164,0,28+164,43))
boxes.append((165,0,29+165,42))
res=non_max_suppression_fast(None,np.asarray(boxes),0.25)
print(res)

对比测试

两处都修改完成之后，其它输入条件与代码不变，硬件相同条件下对比测试效果如下：修改之前 Python版本OpenCV与OpenVINO上推理速度：

修改之后Python版本OpenCV与OpenVINO上推理速度：

可以看到FPS较之前有明显的提升！

审核编辑：彭静