【转】Deinterlacer(影像解交错)概念与解析
0赞去交错亦称“反交错”(deinterlacing)是将交错式(即隔行扫描)(interlace)影像讯号转换为渐进式(逐行扫描)(progressive)影像讯号的一种方法。
因为装置处理速度以及带宽的限制下,广播电视系统,例如NTSC或是PAL,都是使用交错式讯号取代渐进式讯号。但是现代新型的显示设备例如液晶显示器、等离子显示器、数位投影机或是数位微型反射镜(DLP,数字光处理)等,都只支持逐行扫描(progressive scan),因此在这些设备上需要有去交错的功能以将交错式讯号转换为逐行信号。
1.描述
一个动态影像是由一连串连续的静态影像所组成的,其中每一个静态影像称为帧(frame),而动态影像中每秒所包含静态影像的数量则称为帧(速)率(frame per second, fps)。
而在显示器上显示动态影像的方式有两种:
渐进扫描:或称为逐行扫描。将每一帧从左至右、由上至下,逐一的将所有的画素显示出来。
交错扫描:或称为隔行扫描。将一帧图像的奇数行画素及偶数行画素分开,分成为两个场(field)。轮流扫描奇数行所构成的场及偶数行所构成的场。
因为一个场只有一个帧一半的资讯,因此在装置处理速度无法即时的处理整个帧的资讯以及传输带宽不够即时传输整个帧的情形下,使用交错扫描可以节省一 半的资讯量且可以为持相同的更新率。在以往阴极射线管显示器(Cathode Ray Tube, CRT)很难一次扫描整个屏幕,因此无法使用渐进扫描。但是因为屏幕上萤光的余晖加上视觉暂留效应,使得交错扫描在阴极射线管显示器上运作的相当顺利。所 以广播电视系统例如NTSC每秒59.94场,PAL则为每秒50场。
现在新式的显示设备的速度已经够快可以即时的处理且扫描整个帧,因此都是使用渐进扫描。但是在这些新型的显示设备上直接播放交错式影像会产生严重的 闪烁现象,且因为交错式讯号两行只有一行有影像另一行则是全黑的,所以亮度看起来会减少一半。由于有上述这些问题,所有使用渐进扫描的新式显示设备都需要 有去交错的功能。
2.去交错方法
根据影像来源的不同,去交错的方法可以分为以下两类:
经过3:2 Pulldown后的电影:电影的拍摄是纪录在底片上的,影像被纪录在整张底片上,每秒24讯框(Frame),因此电影是每ㄧ秒24个讯框(24fps)的渐进式影像。而3:2 Pulldown则是一个将每秒24讯框的渐进式影像转换为每秒60字段的交错式影像的程序,为的是将电影转换为NTSC的规格,若为PAL或SCAEM 规格的电视则应转为每秒50字段。由于电影本身就是渐进式影像,因此若是我们经由NTSC电视收看一出电影,我们是可以完美的将影像去交错还原成原本的每秒24讯框的电影。
拍摄交错式影像的摄影机:一般数位摄影机由于硬件速度及缓冲内存大小的限制,没办法连续的拍摄渐进式的影像,因此一般数位摄影机都是拍摄交错式影像,由于交错式影像比渐进式影像少了一半的资讯量,因此可以降低硬件速度及缓冲内存大小的需求接近一半。但是每个字段被拍摄的时间并不一样,代表我们永远没办法完美的去交错。例如有一台每秒拍摄六十个字段的数位摄影机,第一个字段是在1/60秒被拍摄的,而第二个字段是在2/60秒被拍摄的,我们将两个字段结合在一起,若是被拍摄的物体没有任何移动,那么结合出来的影像看起来是很完美的;但是如果被拍摄的物体有移动,两个字段的内容会有相当的不同,那么结合出来的影像会产生一种“锯齿”的效果。
上图为数位摄影机拍摄的交错式影像的一个范例,这是两个连续的场,每个场都只有一半的行有图像。可以看的出来人物的动作及相对位置都有所不同,因此若我们直接将这两个场结合在一起将产生“锯齿”的效果。
3.去交错源自电影的影像
3:2 Pulldown是将每秒24帧的渐进式影像转换为每秒60场的交错式影像的程序;先将每个帧拆开成为两个场,场A与场B;接下来以“第一帧的场A、第一 帧的场B、第一帧的场A、第二帧的场B、第二帧的场A、第三帧的场B、第三帧的场A、第三帧的场B、第四帧的场A、第四帧的场B”的顺序排列,这样四个帧 就可以拆解成十个场,而接下来的每四个帧也是像上面那个顺序排列,这样就能产生出每秒60场的交错式影像。
而要将源自电影的交错式影像去交错是相当简单的,只要去交错的装置侦测到第一个场与第三个场是一样的,那么去交错装置就会转换到解3:2 Pulldown的模式。“只要将收到的前两个场合并为一个帧,第三个场丢弃,第四个与第五个场合并成为第二个帧,第六个场丢弃,第七个与第八个场合并成 为第三个帧,第九个与第十个场合并成为第四个帧。”然后一直重复以上的顺序就可以完美的重建原来的每秒24帧的电影影像。
4.去交错交错式影像
跟源自电影的影像不同的是,电影原本就是渐近式影像,因此可以完美的去交错;但是原本就纪录成交错式影像,在之后无论用任何方法都无法完美的回复失 去的一半资讯。在这里去交错的方法可以分为四大类,根据显示器的大小、去交错的时间以及价格因素,不同的去交错装置会在这些去交错方法中选择最适合的一 个。
4.1.单一场去交错(intra-field deinterlacing)
这是种非常容易且非常节省资源的一种去交错方法,通常只需要一行像素的缓冲内存以及简单的内插。例如“line doubling”,这是一种最常见的单一场去交错方法,简单来说就是将一个场放大成为一个帧的大小再播出,若是影像来源是每秒60场的交错式影像,使用 这个去交错方法将可以得到每秒60帧的渐进式影像。使用这个去交错方法的好处为非常简单且非常快速,硬件的成本将会非常低,但是缺点是画质会看起来比较松 散,不锐利;且若是影像中含有横向的细线,在某些场可能会刚好没有被扫描到,因此重建出来的影像细线的部份看起来会有闪烁的感觉。
上图是一个使用“line doubling”去交错方法的范例,使用简单的内插算法,看以看得出来画质相当松散;若是改使用更复杂的内插算法将可以提升一些内插的品质。
4.2.场间去交错(intra-field deinterlacing)
场间去交错就是将连续的两个场结合为一个帧的方法。例如“weave”,他是将连续的两个场直接结合成为一个帧,不做任何修改;由于在垂直方向保留 了全部的分辨率(不像line doubling只有一半的分辨率),因此使用“weave”去交错得到的画质比使用“line doubling”好,但是只有在画面静止不动的地方,在画面有移动的地方会有明显的横向条纹以及锯齿;若是连续的两个场刚好是属于影像中场景变换的部 份,那么使用“weave”会发生将两个不同场景合并成为一个帧的所谓鬼影的现象。另外使用“weave”去交错将会把每秒60场的交错式影像转换为每秒 30帧的渐进式影像。场间去交错方法需要一个场大小的缓冲内存,比起单一场去交错方法所需要的略多,但硬件还是相当的简单及便宜。
上图是使用“weave”去错方法的范例,在画面静止不动的地方画质比起使用“line doubling”去交错锐利的多,例如在观众席的部份。但是在画面中移动快速的网球选手身上出现了许多恼人的横向线条,这是由于两个场拍摄的时间不同所造成的现象。
4.3.动态适应性去交错(motion adaptive deinterlacing)
动态适应性去交错方法是侦测影像中何处是动态的,以及何处是静态的;在画面中静态的部份使用场间去交错以得到垂直方向完整的分辨率,而在动态的部份 使用单一场去交错以避免锯齿以及鬼影的现象。使用这个方法侦测动态的算法是相当重要的,不好的算法也会导致一些侦测错误使得画面中出现一些恼人的线条。使 用动态适应性去交错方法需要比较快速的硬件去计算动态侦测算法,另外也需要一或多个场的缓冲内存,算法使用越多的场来侦测动态将会越准确,但是相对的需要 更好更昂贵的硬件。
4.4.动态补偿去交错(motion compensated deinterlacing)
动态补偿去交错方法根据邻近的场使用动态估计(motion estimation)去预测邻近的场之间画面中物体的移动,借由动态估计可以得到的画面中每一个宏块(macroblock)的动态向量(motion vector),然后使用前一个场以及动态向量可以重建出一个新的场,在将此两个场合并完成去交错。使用这个去交错方法将会得到非常好的影像品质,因为这 个去交错方法作了非常复杂且精准的预测;但是动态估计需要非常大量的计算,且也需要非常大的缓冲内存去暂存每个方块估计的结果,这使得使用动态补偿去交错 方法的去交错装置非常的昂贵且速度缓慢,使得它目前无法应用在消费性产品以及有即时需求的显示设备上。
5.去交错的时机
一个影片从被拍摄到被使用者观看经过了许多的程序与不同的途径;最终使用者得到的影像品质会因为去交错时间的不同而有所改变。
影片在电影公司、工作室或是发行商就进行去交错,那么将可以得到最好的品质,因为在这些地方有专业的人员以及足够的经费与足够的时间可以使用威力强大却昂贵且缓慢的去交错装置,例如使用动态补偿去交错方法的装置。
影片在被广播时去交错,那么会有不错的品质,因为电视公司通常会有专业的人员以及足够的经费去购买昂贵的装置,但是广播必须是即时的,因此在这种情形下必须考虑去交错装置的执行速度,运作太慢的去交错装置将不能被考虑使用。
影片在个人电脑上使用软件去交错,最终的品质变动会相当大;现今有相当多的去交错软件可以被使用者使用,有些效果相当好且使用者在个人电脑上去交错并没有即时的需求。但是大部分的去交错方法的表现是与影像的内容相关的,一个在影片A运作相当好的去交错方法在影片B却不一定适用;而一般的使用者并没有足够的知识去选择去交错的方法。
影片在消费性的电子产品上去交错,产品的价钱将会决定去交错的品质。在这些电子产品例如数位电视、DVD播放器等,去交错必须是即时的,速度快效果又好的去交错装置是很昂贵的,但是消费性电子商品上有严格的硬件价格限制,因此最终的品质是被价格所决定的。例如目前大部分的小尺寸显示器都只使用了简单的单一场去交错方法。