一种适合足球视频镜头分割的算法_主色提取

一种适合足球视频镜头分割的算法_主色提取

镜头分割是视频分析处理的第一步，是随后的视频内容分析、分类、索引和查询的基础。因此，视频镜头的分割算法，从一开始就得到广泛的重视，它在基于内容的视频分析和检索中有着最长的研究历史和最丰富的研究成果。但是直到今天,仍然没有相当高效、实用的分割算法出现。本文试图通过分析以往几种传统的镜头分割算法，从原理及用途上加以概括和总结，提出一种适合足球视频的高效的自适应阈值的镜头分割算法。

　　1镜头分割技术分析

　　镜头分割作为视频检索的基础环节，对整个视频分析起到了关键的作用，它的精度直接影响着后面几个环节乃至整个视频检索系统或者生成视频摘要的准确率。镜头分割也叫镜头分段或镜头边缘检测，从大的角度出发，镜头间的转换分为切变和渐变。切变指从某一镜头突然跳到另一镜头，转变过程快而且没有加入过渡效果。对于切变，检测起来相对简单，现有的一些算法已经可以达到较高的精度；渐变是指从某一镜头逐渐过渡到另一镜头，中间有较短时间的延迟，而且伴有丰富的过渡效果。例如：淡入淡出、渐隐渐现、融入融岀、叠加、扫换等等，对于渐变，因为过渡效果复杂多变，检测起来难度很大，目前，只针对某种或某几种的检测算法精度还算令人满意。因此，渐变检测仍然是镜头分割领域的一大难点。下面介绍一下几种典型的镜头分割算法，通过认真分析这些算法，实现了一种适合于足球视频检测的自适应阈值分割算法。

　　比较典型的镜头分割算法主要分为四大类:基于像素的算法,基于颜色直方图的算法,基于运动矢量的算法和基于压缩视频的算法。这些算法的基本思想是：通过提取各自不同的视觉或运动特征，比较相邻帧之间的特征差值，若差值大于设定阈值，就说明视频镜头发生了转变。

　　1.1基于像素的算法

　　当视频从一个镜头转换到另一个镜头时，相邻图像帧对应像素的差值会发生很大变化，当这一差值大于某一设定阈值时，说明镜头发生了转换，这是基于像素进行镜头边缘检测的基本原理。总的来说，影响图像中像素变化的因素有：摄像机的运动、变焦、视频对象的运动以及闪光灯的影响，另外，发生渐变时，过渡效果的影响也很严重。Zhang，Kankanhali和Smoliar

　　对此算法进行了改进，先对图像进行3×3矩阵滤波，减少摄像机移动和噪声对图像像素的影响，结果他们注意到对不同的视频流采用不同的阈值会得到较令人满意的效果，但是这种方法速度慢，而且阈值提前设定，需要人工调整，如果处理大数据量的视频集，后果将难以想象。Kasturn和Jain

　　对像素差法做了扩展，通过计算图像子块区域中像素点的灰度平均值和标准差，来检测视频镜头边缘。这种方法虽然有较好的容错性，但计算量太大。因此，总的来说，单纯利用像素差值算法进行镜头边缘检测效果并不好。

　　1.2基于颜色直方图的算法

　　颜色直方图算法是帧间像素差法的发展，最简单最基础的是比较相邻图像帧的灰度或颜色直方图，如果差值大于设定的阈值，就认为检测到切分点。基本公式见式(1.1)。

　　(1.1)

　　分别代表图像帧和相邻图像帧，j代表像素值，[0,N]代表颜色值域。H代表颜色直方图值即图像帧在某一像素值处像素个数。

　　Nagasaka和Tanaka

　　把图像分成16个子块区域，计算每个子块区域里的直方图，并比较相邻图像之间的所对应16个子块直方图，舍弃8个最大的差值，这样减少了摄像机移动和镜头内物体移动噪声的影响。Swanberg,Shu和Jain

　　等人对此算法进行改进，对区域颜色直方图加权值，根据视频流内区域变化设定权值。在两个图像比较中，有可能某些颜色对于比较的结果更重要，因此，应该给这些颜色赋予更大的权重。

　　1.3基于运动矢量的算法

　　在镜头分割技术中，针对视频数据运动特征的分析方法有基于光流方程的方法、基于块匹配的方法、像素递归方法和贝叶斯方法等，这些方法均可以描述视频序列运动信息。例如，在基于块匹配的运动估计算法中，每帧图像被分成二维的N×N像素的子块。假定每个子块内的像素都作相等的平移运动，当前帧的N×N子块在上一帧对应的子块邻域窗口内搜索到与之最匹配的子块，当前子块与匹配块在二维平面上的位移即为运动估计得到的运动矢量。通常利用得到的运动矢量特征来判断镜头中是否含有大量的相机或对象运动，这样可以避免由于摄像机运动给镜头渐变检测带来的误检。另外，为了保证在每一个块中运动矢量的唯一性，应选择较小的块，而这也意味着每帧图像中子块的数目将会比较多，因而在分析过程中需要存储和传输的信息量较大

　　。针对这种不足，Salari

　　0等人提出了一种快速算法－连续排除算法（SuccessiveEliminationAlgorithm，SEA），该算法降低了计算量，提高了运算速度。除此之外，有人用四叉树分解算法估计分析视频序列运动特征，起到了较好的效果。但是算法复杂度较高，并没有得到广泛的利用。

　　1.4基于压缩视频的算法

　　对于压缩视频文件例如MPEG-2格式的文件，可以不进行解码或者只进行半解码，直接使用压缩视频数据特征统计结果进行视频镜头边缘检测。它具有以下特点：(1)无需解码直接进行分段，降低了解码的复杂性并节省了存储空间；(2)由于压缩视频的低数据率，使得运算速度可以大大提高。(3)视频数据在压缩的过程中，编码器已经对帧序列进行了大量的分析和计算，比如帧间的运动补偿就需要进行宏块的划分、宏块的匹配和运动矢量的计算等，如果能充分地利用这些经编码器分析计算所得出的信息如运动矢量、DCT系数、DC系数、宏块等，就能够大大减少视频分析和处理的计算量

　　。基于压缩视频的镜头分割算法，虽然并不像那些基于解压缩视频的算法那么简单和普遍，但因其本身的众多优势目前越来越受到广大研究人员的青睐，可以预见的是，不久的将来，这类高效的分割算法必定会受到多媒体检索领域的重视。

　　2一种适合于足球视频的自适应阈值镜头分割方法

　　前面介绍的镜头边缘检测算法的实质是：如何找到一种或几种良好视频图像特征，通过判断相邻图像帧之间的特征是否发生剧烈变化，来完成视频镜头边缘检测任务。本文利用自适应阈值思想，综合图像间颜色直方图差法和主色比例差法，给出一种自适应阈值镜头分割高效算法。自适应原则体现在:能够跟随视频流播放实时调整帧差阈值,更加科学地进行镜头分割。本算法以足球视频为素材进行试验，大体分为三个步骤：

　　Step1.计算相邻图像帧主色比例并作差。

　　Step2.计算相邻图像帧的颜色直方图并作差。

　　Step3.帧间差自适应阈值的确定。

　　2.1主色提取

　　HSI颜色模型中三个分量是独立变化的，且符合人眼的主观特性，所以选用HSI模型以更好体现颜色分布局部性，本文采用基于HSI颜色空间的主色提取算法

　　对图像帧进行主色提取。

　　颜色是一幅图像中的重要信息，主色在颜色信息中占主要地位。足球比赛中，比赛场景分为两类：一类是包含足球场地，另一类不包含足球场地。前者图像帧大多数以绿色为主；后者大多情况不以某种颜色为主而是多种颜色普遍分布。本节的目的是分析这两类场景图像帧并提取主色。

　　为了量化的需要，HSI颜色空间三分量值须保证在[0,1]之间。在满足主色提取精度的前提下，我们设定量化阶数为100，也就是统计三分量在0～100范围内的颜色直方图。通过计算各个分量的直方图，找出峰值颜色

　　，然而由于场地颜色会随着场馆、天气、灯光等因素的不同而有所改变，直接用峰值来表示主色不是很准确，为此提出用包含峰值颜色的一定区间的颜色的均值来表示图像帧主色，以保证可靠性和准确性。主色提取的计算公式如下：

　　(1.2)

　　(1.3)

　　(1.4)

　　(1.5)

　　(1.6)

　　其中，

　　＝0.01表示量化系数。下面以色调直方图为例，标注主色颜色区间的计算过程如图1所示，

　　0为颜色峰值

　　的像素数，颜色区间的上下界

　　由式（1.2）到（1.6）确定，经过多次试验，

　　取0.2较为合适。主色由式（1.6）计算，即颜色峰值

　　的左右颜色直方图下降到

　　倍

　　的区间范围内所有颜色的均值。

　　图1主色颜色区间标注直方图

　　2.2帧间主色像素比例差

　　提取完图像帧主色并统计主色像素数目，接着比较相邻两帧图像主色像素占整幅图像像素总数的比例值，大于阈值

　　的图像帧即是可能的镜头边界帧。相关计算公式见式(1.7)，图2为原图，图3为主色提取后效果。

　　第i帧和第i-k帧之间帧间主色像素比例差定义为：

　　(1.7)

　　其中

　　表示第i帧主色像素占图像帧总像素个数的比例。

　　图2主色提取前原图

　　图3主色提取后效果图

　　2.3图像帧的颜色直方图差

　　本文计算帧间颜色直方图差是以RGB颜色空间为平台，相应的计算过程见公式(1.8)。

　　(1.8)

　　为第f帧归一化的颜色分量m的颜色直方图,m代表颜色分量,0,……,N代表分量颜色数。

　　2.4帧间差阈值的确定

　　图4图像帧间差

　　由图4可知，选用单阈值作为固定阈值，缺乏智能性，造成使用上的局限性，所以本文采用自适应阈值方法，能够实时科学地更新阈值，快速而有效地实现了对镜头边缘的检测。基本思路是：伴随视频流的播放，逐个计算相邻帧颜色直方图差并求数帧帧间差平均值，比较当前相邻帧帧差与平均值，如果相邻帧差大于平均值，则当前帧即为镜头边界帧，然后检测下一个镜头。否则，继续计算下个相邻帧帧差并与平均值进行比较，直到检测到镜头边界帧。为了提高算法的精确度，通常选取一个阈值系数

　　乘以帧差平均值作为自适应阈值，

　　一般为1.6～2.0。

　　相应的结构框图如图5所示。

　　图5自适应阈值实现结构框图

　　另外，因为镜头内运动员剧烈运动或摄像机移动等活动造成一个镜头内连续几个帧间差都大于平均值，为了避免这种误检现象，通常设定相邻10帧内不会出现第二个镜头边界帧，这样可以有效避免存在剧烈运动的一个镜头分割为多个镜头。

　　2.5镜头分割算法的基本流程图

　　本文足球视频自适应阈值镜头分割算法流程如图6所示。

　　图6自适应阈值镜头分割算法流程图

　　3实验结果分析

　　为了使实验数据具有普遍性和代表性，本实验从10场足球视频比赛中截取10个片段作为素材，每个片段目测镜头数大约在50个左右。采用目前比较受欢迎的算法性能评价标准：查全率和查准率。定义如下：

　　查全率＝正确检测数/(正确检测数＋漏检数)

　　查准率＝正确检测数/(正确检测数＋误检数)

　　为了证明本算法镜头检测效果，选用传统的基于颜色直方图的单阈值分割方法同时进行检测。检测结果记入在表1中。

　　表1镜头分割检测实验结果

　　算法 视频片段 目测数 正确检测数 误检数 漏检数 查全率 查准率

　　片段1 52 44 6 8 84.6% 88.0%

　　片段2 49 39 7 10 79.6% 84.8%

　　基于 片段3 48 40 9 8 83.3% 81.6%

　　颜色 片段4 50 38 10 12 76.0% 79.2%

　　直方 片段5 51 42 9 9 82.4% 82.4%

　　图的 片段6 56 41 8 15 73.2% 83.7%

　　分割 片段7 54 40 11 14 74.1% 78.4%

　　方法 片段8 45 38 8 7 84.4% 82.6%

　　片段9 47 40 9 7 85.1% 81.6%

　　片段10 55 46 12 9 83.6% 79.3%

　　片段1 52 48 3 4 92.3% 94.1%

　　片段2 49 42 6 7 85.7% 87.5%

　　自 片段3 48 43 8 5 89.6% 84.3%

　　适应 片段4 50 45 11 5 90.0% 80.4%

　　阈值 片段5 51 48 7 3 94.1% 87.3%

　　镜头 片段6 56 47 10 9 83.9% 82.5%

　　分割 片段7 54 48 9 6 88.9% 84.2%

　　方法 片段8 45 45 0 0 100.0% 100.0%

　　片段9 47 44 5 3 93.6% 89.8%

　　片段10 55 50 4 5 90.9% 92.6%

　　通过分析实验数据，可以看出不管是查全率还是查准率，本文提出的自适应阈值镜头分割算法比基于颜色直方图检测方法都得到显著提高，效果令人满意。不足之处是，摄像机闪光灯以及不太明显的渐变造成漏检，误检现象主要发生在近镜头某运动员频繁移动或遮挡处，所以今后还要对渐变检测及运动特征作进一步研究。

　　4结论

　　本文在充分理解典型镜头分割算法的基础上，提岀了一种适合足球视频的自适应阈值实时镜头分割算法，不仅可以检测镜头切变，也能够对渐变进行边缘检测。实验表明，本算法与传统镜头分割算法相比，在查全率和查准率方面都有很大提高。不足之处是：难以区分摄像机闪光灯闪光和不太明显的渐变过渡效果，还有如何将自适应阈值思想应用到其他体育视频检索领域也是需要进一步研究的内容。

　　参考文献

　　1 ZHANG HJ, KANKANHALLI, A AND SMOLIAR , S W. Automatic partition of full-motion video[J].

　　2 KASTURN R JAIN R Dynamic vision[J].Washington:IEEE Computer Society Press, 1991:469~480

　　3 NAGASAKA, A AND TANAKA, Y. Automatic video indexing and full video search for object appearances

　　4 SWANBERG, D, SHU C F AND JAIN R. Knowledge guided parsing and retrieval in video databases[J]. In: Wayne Niblack, Editor. Storage and Retrieval for Image and Video Databases. Proc SPIE 1908 , February 1993: 173~187

　　5 汪祖媛, 庄连生, 庄镇泉. 基于运动信息的镜头切变检测算法[J].计算机工程, 2004, 30(5): 15~16

　　6 LI W, SALARI E. Successive elimination algorithm for motion estimation[J]. IEEE Trans. on Image Processing, 1995, 4(1): 205~210

　　7 朱映映, 周洞汝. 基于内容的压缩视频分段技术. 计算机辅助设计与图形学学报[J], 2003, 15(12): 1457~1462

　　8 A EKIN, A.M. TEKALP. Automatic soccer video analysis and summarization[J]. IEEE Transactions On Image Processing, 2003, 12(7): 796~807

　　9 曲泽超. 足球视频检索技术研究与实现[D]. 南京: 南京理工大学, 2008

　　10 曾昭平, 马仲华, 张文军. 自适应实时镜头分割方法[J].通信技术, 2002, (6): 1~3

【一种适合足球视频镜头分割的算法_主色提取】相关文章：

一种基于减少内存访问的Pruning Fast DCT算法改进05-07

一种用于碘熏法提取指纹的实验装置08-24

关于镜头作文04-12

难忘的镜头作文05-23

生活中的镜头作文06-10

【热门】难忘的镜头作文10-14

生活中的小镜头作文03-01

生活中的小小镜头作文03-07

医院中的小镜头作文08-24

有关分镜头剧本范文06-08