在计算机视觉中,光流法即可用于运动目标检测,也可以用于目标跟踪。本文主要介绍光流法在运动目标检测和目标跟踪中的区别与联系。
1、光流与光流场
光流的概念最初是由 Gibson 于 1950 年首先提出来的。当人的眼睛观察运动物体时,物体的景象在人眼的视网膜上形成一系列连续变化的图像,这一系列连续变化的信息不断“流过”视网膜(即图像平面),好像是一种光的“流”,故称之为光流。光流表达图像的变化,包含目标运动的信息,可用来确定目标的运动。光流三个要素:一是运动速度场,这是形成光流的必要条件;二是带光学特征的部分例如有灰度的象素点,它可以携带运动信息;三是成像投影从场景到图像平面,因而能被观察到。
定义光流以点为基础,具体来说,设(u, v) 为图像点 (x, y) 的光流,则把 (x, y, u, v) 称为光流点。所有光流点的集合称为光流场。 当带光学特性的物体在三维空间运动时,在图像平面上就形成了相应的图像运动场,或称为图像速度场。在理想情况下,光流场对应于运动场。
总而言之,光流是由图像的亮度变化形成的,因此,光流场近似于运动场。
2、光流场的计算
2.1、光流约束方程
光流场的计算最初是由 Horn 和 Schunck[1]于 1981 年提出的,而后由 Lueas 和 Kanad[2]提出了改进光流算法。
光流法的核心就是求解出运动目标的光流,即速度。根据视觉感知原理,客观物体在空间上一般是相对连续运动的,在运动过程中,投射到传感器平面上的图像实际上也是连续变化的。为此可以假设瞬时灰度值不变,即灰度不变性原理。由此可以得到光流基本方程,灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。如下:
约束方程只有一个,而方程的变量有两个,在这种情况下无法求得 u 和 v 的确切值。这种不确定性称为孔径问题(aperture problem)。此时需要引入另外的约束条件,从不同的角度引入约束条件,导致了不同的光流场计算方法。到目前为止,各种各样的方法和改进方法己不下几十种,这些方法有着很大的差异,对现有方法还缺乏一个系统的分类。这里将光流算法分为以下四大类:
2.2、基于梯度的光流计算方法
基于梯度的方法又称为时空梯度法,也称微分法,它是利用图像序列灰度的时空微分(即时空梯度函数)来计算图像上每一像素点的光流。微分法分为:
(1)全局微分法:
Horn-Schunck算法:假设光流在整个图像上光滑变化,即速度的变化率为零。
(2)局部微分法:
Lucas-Kanade算法:假设在一个小空间领域上运动矢量保持恒定,使用加权最小二乘法估计光流。
3、光流的应用
3.1、运动目标检测
给图像中的每个像素点赋予一个速度矢量,这样就形成了一个运动矢量场。根据各个像素点的速度矢量特征,可以对图像进行动态分析。如果图像中没有运动目标,则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时,目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同,如此便可以计算出运动物体的位置。需要提醒的是,利用光流法进行运动物体检测时,计算量较大,无法保证实时性和实用性。
3.2、目标跟踪
(1)对一个连续的视频帧序列进行处理;
(2)针对每一个视频序列,利用一定的目标检测方法,检测可能出现的前景目标;
(3)如果某一帧出现了前景目标,找到其具有代表性的关键特征点(可以随机产生,也可以利用角点来做特征点);
(4)对之后的任意两个相邻视频帧而言,寻找上一帧中出现的关键特征点在当前帧中的最佳位置,从而得到前景目标在当前帧中的位置坐标;
(5)如此迭代进行,便可实现目标的跟踪;
参考文献:
[1] Berthold K. P. Horn, Brian G. Schunck. Determining Optical Flow[J]. Artificial Intelligence, 1981: 185-203.
[2] Bruce D. Lucas, Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision[J]. Proceeding of Imaging Understanding Workshop, 1981: 120-131.