Python OpenCV实现视频追踪
本文实例为大家分享了Python OpenCV实现视频追踪的具体代码,供大家参考,具体内容如下
1. MeanShift
假设有一堆点集和一个圆形的小窗口。现在需要将此窗口移动到具有最高点集密度的区域,如下图:
第一个窗口C1是蓝色圆圈的区域。蓝色环的中心用蓝色矩形标记并命名为 C1_o。窗口中所有点的点集形成的质心在蓝色圆形点C1_r。显然,质心和环的质心不重合。移动蓝色窗口,使质心与先前获得的质心重合。在新移动的圆环的区域内再次找到圆环包围的点集的质心,然后再次移动。通常,形心和质心不重合。继续执行上述移动过程,直到形心与质心大致重合。这样,最终的圆形窗口就会落到像素分布最大的地方,也就是图中的绿色圆圈C2。
除了用于视频跟踪之外,MeanShift算法在涉及数据和无监督学习的各种场景中都有重要的应用,例如聚类、平滑等。它是一种广泛使用的算法。
图像是信息矩阵。如何使用MeanShift算法跟踪视频中的移动物体?一般流程如下:
1)在图像上选择一个目标区域,
2)计算选中区域的直方图分布,一般是HSV颜色空间的直方图。
3)计算下一帧图像 b 的直方图分布。
4)计算图像b中与所选区域的直方图分布最相似的区域,并使用MeanShift算法将所选区域沿最相似的部分移动,直到找到最相似的区域。
5)重复3到4的过程,完成整个视频目标跟踪。
一般情况下,我们使用直方图反投影得到的图像和目标物体在第一帧的起始位置。当目标物体的运动会在直方图反投影图像中反映出来时,MeanShift算法会将窗口移动到反投影图像中灰度密度最高的区域。
假设我们有一个 100x100 的输入图像和一个 10x10 的模板图像,直方图反投影的过程是这样的:
1)从输入图像的左上角(0,0)开始,从(0,0)到(10,10)剪切一张临时图像。
2)生成临时图像的直方图。
3)将临时图像的直方图与模板图像的直方图进行比较,比较结果标记为c。
4)直方图比较结果c为结果图像中(0,0)处的像素值。
5)将输入图像的临时图像从(0,1)剪切到(10,11),对比直方图,记录结果图像。
6)重复步骤1到5,直到输入图像的右下角,形成直方图的反投影。
cv.meanShift(probImage, window, criteria)
参数:
probImage ROI区域,即目标的直方图的反向投影。
window 初始搜索窗口,就是定义ROI的rect。
criteria 确定窗口搜索停止的准则,主要有迭代次数达到设置的最大值,窗口中心的漂移值大于某个设定的限值等。
2. CamShift
MeanShift的结果有一个问题,检测窗口的大小是固定的,而狗是一个由近到远逐渐变小的过程,固定的窗口是不合适的。 所以需要根据目标的大小和角度来修正窗口的大小和角度。
CamShift(Continuously Adaptive Mean-Shift algorithm)是MeanShift算法的改进算法,可以解决这个问题。它可以随着跟踪目标大小的变化实时调整搜索窗口的大小,具有更好的跟踪效果。 Camshift 算法首先应用MeanShift。 一旦MeanShift收敛,它就会更新窗口的大小,同时计算出最佳拟合椭圆的方向,从而根据目标的位置和大小来更新搜索窗口。
例:使用MeanShift和CamShift方法获取视频中的狗,并标注。
import cv2 as cv import numpy as np # 获取视频 cap = cv.VideoCapture('image/DOG.wmv') # 指定追踪目标 ret, frame = cap.read() r, h, c, w = 197, 141, 0, 208 win = (c, r, w, h) roi = frame[r:r + h, c:c + w] # 计算直方图 hsv_roi = cv.cvtColor(roi, cv.COLOR_BGR2HSV) roi_hist = cv.calcHist([hsv_roi], [0], None, [180], [0, 180]) cv.normalize(roi_hist, roi_hist, 0, 255, cv.NORM_MINMAX) # 目标追踪 term = (cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1) # meanshift while True: ret, frame = cap.read() if ret: hst = cv.cvtColor(frame, cv.COLOR_BGR2HSV) dst = cv.calcBackProject([hst], [0], roi_hist, [0, 180], 1) ret, win = cv.meanShift(dst, win, term) x, y, w, h = win img2 = cv.rectangle(frame, (x, y), (x + w, y + h), 255, 2) cv.imshow("frame", img2) if cv.waitKey(60) & 0xFF == ord('q'): break # camshift while True: ret, frame = cap.read() if ret: hst = cv.cvtColor(frame, cv.COLOR_BGR2HSV) dst = cv.calcBackProject([hst], [0], roi_hist, [0, 180], 1) ret, track_window = cv.CamShift(dst, win, term) # 绘制追踪结果 pts = cv.boxPoints(ret) pts = np.int0(pts) img2 = cv.polylines(frame, [pts], True, 255, 2) cv.imshow("frame", img2) if cv.waitKey(60) & 0xFF == ord('q'): break # 释放资源 cap.release() cv.destroyAllWindows()
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。