*CN103209292A*
(10)申请公布号(10)申请公布号 CN 103209292 A(43)申请公布日 2013.07.17
(12)发明专利申请
(21)申请号 201210362984.9(22)申请日 2012.09.26
(71)申请人顾红波
地址710061 陕西省西安市雁南五路95956
部队(72)发明人顾红波 顾耀 顾叶舟(51)Int.Cl.
H04N 5/232(2006.01)
权利要求书2页 说明书16页 附图2页权利要求书2页 说明书16页 附图2页
(54)发明名称
一种获取稳定成像的智能拍照系统和方法(57)摘要
当相机从胶片相机进化到电子相机后,为相机的智能化提供了基础,在对焦、调光圈方面都有了自动、智能的系统,但是在选择拍照的时机方面,还完全是靠操作者自主控制。这也带来了操作稳定性及其所采集的图片清晰度的问题。本发明作为一种获取稳定成像的智能拍照系统和方法彻底跳出了现有稳像技术领域的传统思路,不是通过稳定镜头和CCD来获取稳定的图像,而是充分利用了现有照相设备都是电子成像、数字化存储的特点,智能选择拍照时机、评估采集图片的时机、及其图片,从而获取清晰的图片。
CN 103209292 ACN 103209292 A
权 利 要 求 书
1/2页
1.一种由内置电脑辅助决定拍照时机的智能拍照系统,其特征在于:包括拍照意向采集系统、动态传感系统、动态判断模块、图片采集系统、存储系统,
所述的拍照意向采集系统,用于采集相机操作者发出的拍照意向;所述的动态传感系统,用于监测相机的动态,并递交给动态判断模块;所述的动态判断模块,用于判断相机的动作状态,判断出比较平稳的瞬间,并向图片采集系统发送指引信息;
所述的图片采集系统,用于根据动态判断模块的指引信息采集图片,并递交给存储系统;
所述的存储系统,用于存储图片采集系统所采集的图片。2.一种由内置电脑辅助决定拍照时机的智能拍照方法,其特征在于智能拍照系统采用如下步骤
1)智能拍照系统采集相机操作者发出的拍照意向;2)智能拍照系统监测相机的动态,并发送给动态判断模块;3)智能拍照系统判断相机的动作状态、判断出比较平稳的瞬间,并向图片采集系统发送指引信息;
4)智能拍照系统根据动态判断模块的指引信息采集图片,并递交给存储系统。3.一种由内置电脑辅助决定拍照时机的智能拍照系统,其特征在于:包括拍照意向采集系统、图片采集系统、动态传感系统、动态分析模块、存储系统,
所述的拍照意向采集系统,用于采集相机操作者发出的拍照意向;所述的动态传感系统,用于监测相机的动态,并将相机动态信息发送给存储系统;所述的图片采集系统,用于根据拍照意向连续采集图片,并递交给存储系统;所述的存储系统,用于存储图片采集系统所采集的图片、及相机的动态传感系统所产生的相机动态信息;
所述的动态分析模块,用于根据相机动态信息评估连续采集的图片,并选择一幅或多幅图片、或将图片和评估后的相机动态信息递交给人机交互选择系统,供操作者参考选择。
4.一种由内置电脑辅助决定拍照时机的智能拍照方法,其特征在于智能拍照系统采用如下步骤,
1)智能拍照系统采集相机操作者发出的拍照意向;2)智能拍照系统监测相机的动态;
3)智能拍照系统根据拍照意向连续采集图片;4)智能拍照系统存储图片采集系统所采集的图片、及相机的动态传感系统所产生的相机动态信息;
5)智能拍照系统根据相机动态信息选择连续采集的图片、或将图片和评估后的相机动态信 息递交给人机交互选择系统,供操作者参考选择。
5.一种由内置电脑辅助决定拍照时机的智能拍照系统,其特征在于:包括拍照意向采集系统、图片采集系统、图片比对判断模块、存储系统,
所述的拍照意向采集系统,用于采集相机操作者发出的拍照意向;所述的图片采集系统,用于根据拍照意向连续采集图片;所述的存储系统,用于存储图片采集系统所采集的图片和像素动态信息;
2
CN 103209292 A
权 利 要 求 书
2/2页
所述的图片比对判断模块,用于比对连续采集的图片中的像素,根据像素动态信息选择图片、或将图片和像素动态信息递交给人机交互选择系统,供操作者参考选择。
6.一种由内置电脑辅助决定拍照时机的智能拍照方法,其特征在于智能拍照系统采用如下步骤,
1)智能拍照系统采集相机操作者发出的拍照意向;2)智能拍照系统根据拍照意向连续采集图片;
3)智能拍照系统存储图片采集系统所采集的图片;4)智能拍照系统比对连续采集的图片中的像素,根据像素动态信息选择图片、或将图片和像素动态信息递交给人机交互选择系统,供操作者参考选择。
7.根据权利要求3所述的智能拍照系统,其中所述的图片采集系统根据拍照意向连续采集图片,指的是在拍照意向时间段内连续采集图片,且图片采集系根据相机动态信息调整采集图片的频率。
8.根据权利要求3所述的智能拍照系统,其中所述的动态分析模块根据动态传感系统产生的相机动态信息评估连续采集的图片,其相机动态信息指的是意念点接近系数。
9.根据权利要求4所述的智能拍照方法,其中所述的智能拍照系统根据拍照意向选择时间段连续采集图片,指的是在拍照意向时间段内连续采集图片,且图片采集系统根据相机动态信息调整采集图片的频率。
10.根据权利要求4所述的智能拍照方法,其中所述动态分析模块根据动态传感系统产生的相机动态信息评估连续采集的图片,其相机动态信息指的是意念点接近系数。
11.根据权利要求5所述的智能拍照系统,其中所述的图片采集系统根据拍照意向连续采集图片,指的是在拍照意向时间段内连续采集图片,且图片采集系统根据像素动态信息调整采集图片的频率。
12.根据权利要求5所述的智能拍照系统,其中所述的图片比对判断模块,用于比对连续采集的图片中的像素,根据像素动态信息选择图片、或将图片和像素动态信息递交给人机交互选择系统,供操作者参考选择,是在连续采集图片的过程中实时进行的。
13.根据权利要求6所述的智能拍照方法,其中所述的图片采集系统根据拍照意向连续采集 图片,指的是在拍照意向时间段内连续采集图片,且图片采集系根据像素动态信息调整采集图片的频率。
14.根据权利要求6所述的智能拍照方法,其中所述的智能拍照系统比对连续采集的图片中的像素,根据像素动态信息选择图片、或将图片和像素动态信息递交给人机交互选择系统,供操作者参考选择,是在连续采集图片的过程中实时进行的。
3
CN 103209292 A
说 明 书
一种获取稳定成像的智能拍照系统和方法
1/16页
技术领域
[0001]
现在的照相、摄像设备,为了获取稳定的成像,发展出很多防抖技术,有人将此技
术领域称之为稳像技术。本发明跳出了现有技术中采用各种方法来稳定镜头和CCD的方式,用更廉价的方式解决获取稳定成像的问题。
技术背景:
[0002] 传统的相机,无论是胶片相机还是电子相机,其拍照的时刻完全是靠人工控制、操作,而按压抖动也就随之而生,在传统技术中,对此问题有效的解决方式就是用三脚架稳定相机和用快门线隔离按压抖动。新出现的稳像技术,主要采用可浮动的镜头和CCD的方式,来稳定镜头和CCD,其基本原理如同汽车的避震器。当然,现有的稳像技术还有一些比汽车避震器更精致的技术,例如利用磁悬浮的方式将镜头和CCD浮动起来,还有利用电压至动,电磁至动来对已经产生的抖动进行反向的补偿,从而获取稳定的图像。这种方法的实现成本较高、结构复杂、易损坏、且体积较大。现有技术中还有一种简单方式,就是延时拍照,就是使用者在按下按钮的时刻并不立即采集图片,而是延后0.2秒到1秒左右的时间后再采集图片,这样就避开了按压抖动,但是这种方法对于因其他因素导致的抖动无法解决。发明内容
当相机从胶片相机进化到电子相机后,为相机的智能化提供了基础,在对焦、调光圈方面都有了自动、智能的系统,但是在选择拍照的时机方面,还完全是靠操作者自主控制。这也带来了操作稳定性及其所采集的图片清晰度的问题。[0004] 本发明彻底跳出了现有稳像技术领域的传统思路,不是通过稳定镜头和CCD来获取稳定的图像,而是充分利用了现有照相设备都是电子成像、数字化存储的特点,本发明的智能拍照系统能够智能评估在一个拍照意向时间段内所采集图片的时机、及其图片,选择拍照时机,从而获取清晰的照片。其选择、评估方式分为采集图片前选择时机和采集图片后选择选择时机,
[0005] 1.采集前选择时机,通过相机内置的动态传感系统感应相机的动态,动态判断模块则根据动态传感系统的数据判断当前的动态、及根据动态趋势预测下一时刻的动态,从而决定在某个稳定的瞬间采集一幅或几幅图片。[0006] 2.采集后评估选择时机,上述采集前选择的方式只是根据相机的动态趋势预测相机曝光采集图片时的稳定状态,而实际上,从判断相机稳定、智能拍照系统发出采集图片指令、开始采集图片、一直到结束采集图片,这个过程中相机的动态可能发生较大的变化,所以采集后选择、评估效果更佳。即图片采集系统先进行短时间的高速、连续地采集图片成像,然后对这些图像、及其成像时刻的动态进行智能分析,通过回溯并选择稳定时刻所采集的图片,达到在事后再用智能拍照系统选择拍照时机的外在效果。从时间轴的角度上讲,就是将一段时间内的图像及其动态先凝固在高速缓存中,在采集图片的事后判断选择其中最稳定的时机,并找出这些最稳定的时机所采集的图片。而这种事后处理方式又可以分为两
[0003]
4
CN 103209292 A
说 明 书
2/16页
个子方式,这两种子方式都需要连续成像,可以叠加在一起使用,且能产生更佳的效果。[0007] 1)在照相设备连续拍照成像的过程中,同时利用设备内置的陀螺、重力加速度传感器等动态传感系统监测照相设备的状态,并记录其状态,在一段时间的连续成像完成后,比对这些相片的成像瞬间的动态,然后选择那些在成像瞬间动态最稳定或较为稳定的一张或几张照片存储起来,在本发明中,这种动态称为相机动态。[0008] 2)在照相设备连续拍照成像后,对各个照片进行像素比对,从总体来说,如果一张照片的像素与前一张或后一张相片相应位置的像素的一致性都很好没有发生变化,即像素动态很小,那就证明拍照期间其成像是静态、稳定的,从而也可以推断其成像是清晰的。反之则推断其成像期间不稳定、成像不清晰,在本发明中,这种动态称为像素动态。[0009] 本发明不仅可以用于专业的电子相机中,还可以应用在手机、平板电脑、个人数字助理、等许多具有拍照功能的电子设备当中。[0010] 具体实现的系统及其实现步骤描述如下
[0011] 1.智能拍照系统的拍照意向采集系统采集相机操作者发出的拍照意向;[0012] 2.智能拍照系统的动态传感系统监测相机的动态;
[0013] 3.智能拍照系统的动态判断模块判断相机的动作状态、判断出比较平稳的瞬间,并向图片采集系统发送指引信息,指引其采集图片;
[0014] 4.智能拍照系统的图片采集系统根据相机的指引信息选择时间段连续采集图片,并将所采集的图片的数据递交给存储系统;
[0015] 5.智能拍照系统的动态分析模块根据动态传感系统产生的相机动态信息评估连续采集的图片,并选择在采集图片期间相机处于比较稳定瞬间的图片和最接近意念点的图片、并将图片和评估出的相机动态系数、意念点接近系数等相机动态信息递交给人机交互选择系统,供操作者参考选择;
[0016] 6.智能拍照系统的图片比对判断模块比对连续采集的图片中的像素,并选择在采集图片瞬间成像比较清晰的图片、或将图片和评估出的像素动态信息递交给人机交互选择系统,供操作者参考选择;
[0017] 7.智能拍照系统的人机交互选择系统在显示屏幕上显示经过动态分析模块、图片比对判断模块复合选择的图片,并与图片一起显示其动态系数、意念点接近系数、成像的清晰系数,供操作者选择,人机交互选择系统还可以根据图片比对判断模块对各图片的分区比对的判断结果在屏幕上用框线等方式区分、提示各幅图片中清晰的和不清晰的部分。[0018] 8.在操作者做出选择后,人机交互选择系统将所选的照片存储到存储系统;[0019] 本发明中有关技术术语的含义及内容进一步解释如下:[0020] 1.智能拍照系统,[0021] 在本发明中,操作者只是给出一个在时间上相对模糊的拍照意向,而具体的拍照采集图片的时机,不是由操作者决定的,而是由相机的内置电脑来决定、或辅助操作者决定拍照的时机,其电脑选择拍照的时机决策方式分为,[0022] 1)图片采集前决策,智能拍照系统实时监测动态传感系统、及像素动态,决定哪个时刻采集图片并保存。
[0023] 2)图片采集后决策,智能拍照系统连续采集一段时间的图片、相机动态信息、像素动态信息等数据,然后分析动态传感系统、和像素比对的动态等数据,并决定保存哪一幅图
5
CN 103209292 A
说 明 书
3/16页
片作为拍照的照片。这种方式比较从容,还允许用人交互的方式,让操作者参与选择。[0024] 智能拍照系统内置的判断动态的算法可分为,[0025] 1)相机动态判断、用相机内置的动态传感系统判断相机是否抖动,来判断是否是合适的拍照时机。
[0026] 2)像素动态比对判断,用比对连续采集的图片对应位置的像素,分析其像素的值是否发生变化、变化的差值、以及统计发生像素变化动态较大区域,从而判断是否是合适的拍照时机、或是否保存图片留给下一步处理。[0027] 2.动态传感系统[0028] 在本发明中,将所有类似陀螺、重力加速度感应器等能感应设备、或人体动作状态的感应器统称为“动态传感系统”,并不排除也可以用光、无线信号来检测动作状态,例如,现在的激光鼠标可以通过激光成像来检测鼠标的动态,现有的在动漫制作中常用的那种用反光标来检测人体动作的系统和原理将来也可能用于检测动态;装有许多传感器的手套也可以来检测动作状态;而诸如此类系统都可以视为一个复杂的动态传感系统。[0029] 3.拍照意向[0030] 在本发明中,智能拍照系统需要获取操作者的拍照意向,这里之所以称之为拍照意向,是因为本发明中并不是用传统相机中那种操作者按下按钮相机立刻执行拍照的简单的操控。在本发明中,拍照意向的含义不是一个时间点,而是点包含了一个时间段,其中甚至可以包含多个参考点。例如,从操作者对准了目标、准备好拍照,按下按钮、一直到操作者松开拍照按钮,甚至可以延迟到操作者松开按钮后的1至2秒。而具体的拍照时机、即相机从CCD采集图片的时刻是由智能拍照系统来做出的,在一个拍照意向的时间段中可以有多个可以稳定采集图片的时机。而在这个拍照意向的时间段中,还可以包括多个参考点,作为协助智能拍照系统选择采集图片的时机的参考,与传统的相机相比现在的电子相机可以有更多种触发方式来获取操作者的拍照意向及其参考点,下面例举几种但并不仅限于如下几种,
[0031] 1)传统的按动按钮的方式,[0032] 2)触摸按钮的方式,电容感应、电阻感应、温度红外感应等,既可以是在实体按钮上布放这些敏感器件来实现,也可以在触摸显示屏上布放虚拟按钮来实现。[0033] 3)语音触发方式,操作者可以采用语言的方式向智能系统表达其拍照意向。[0034] 4)人机交互方式,由于本发明并不是依靠操作者非常紧张地决定准确的拍照瞬间,而是靠电脑的辅助来自动选择拍照时机,及连续采集图片后智能选择合适的图片。所以确认拍照意向的方式可以是非常轻松、自然、多样化的方式,例如采用人机交互菜单的方式来确认,这样也便于在相机中添加更多的功能;例如在一般情况下,为了省电相机的屏幕是处于休眠状态的,准备拍照的时候采用某种操作进行唤醒,而智能拍照系统可以将此唤醒动作认为是拍照意向的起始参考点,还可以再结合动态传感系统,一旦监测出相机处于稳定状态就可以确认拍照意向;再例如在手机中,相机作为一个应用程序,一般人一旦打开此应用即是准备拍照,也可以将打开相机应用程序的时刻就作为拍照意向的起始参考点,还可以再结合动态传感系统一旦监测出相机处于稳定状态就可以确认拍照意向;[0035] 下面以一个传统的,位于相机上面的拍照按钮所能够产生的拍照意向及其参考点为例,参照图1说明一个较长的包含多个小时间段的拍照意向的时间段及其中的参考点,
6
CN 103209292 A
说 明 书
4/16页
在实际中可以将其中的一小段作为一个拍照意向的时间段,而且还可以有更多种类的参考点、及拍照意向时间段的划分方法,本文不一一列举。
[0036] 1)t1是操作者的手指放到拍照按钮上准备拍照,可以用上述的触摸式的触发方式,此时间点可以作为拍照意向的开始的参考点。
[0037] 2)t3是使用者按下拍照按钮并对按钮开关产生触发的前沿的时间,从此点系统可以知道操作者明确决定拍照,而且推测在t3时间点之前,应该还存在一个被称为意念点的t2时间点。在这个t2时间点操作者的大脑中产生的决定拍照的意念但手尚未按压按钮。系统还可以以t3为参考基点结合动态传感系统的监测数据推断出这个意念点t2的位置,所以t1到t3可以作为一个完整的拍照意向时间段,当然也可以只是作为整个拍照时间段中的一个小段。
[0038] 3)t3到t5之间的t4也是一个拍照的稳定瞬间,所以t3到t5之间可以作为一个完整的拍照意向时间段,当然也可以只是作为整个拍照时间段中的一个小段。[0039] 4)t5是操作者松开按钮时按钮开关脱离触发的时间点,即触发的后沿,此点可以作为拍照意向的结束的参考点,但仅仅是参考点,并不一定是真正的结束点,因为在之后的t6时间点,仍然有一个瞬间的平稳期,所以系统可以t5为参考基点并结合动态传感系统的监测数据,推断出t6点,并在t6时间点之后的某个时间点作为结束拍照意向时间段的结束点。所以t6前后的一段时间可以作为一个完整的拍照意向时间段,当然也可以只是作为整个拍照时间段中的一个小段。[0040] 4.采集图片[0041] 在本发明中,这个概念专指相机的系统从CCD或其他感光阵列中采集成像信号的动作,之所以不用拍照这个词汇,是因为传统的拍照,拍照一次就采集图片一次,是对应的,而在本发明中,一次拍照可能包含几个时间段,每个时间段又多次采集图片,而最后决定哪一幅、或几幅图片作为拍照的照片可能需要由智能拍照系统内部的模块来决定,可能还需要等人机交互系统的决策后才最终确定。所以为了防止混淆,就用采集图片这个更具体的词。而本发明中的连续采集图片与一般的视频摄像不同之处在于,一般的视频摄像是根据制式的不同每秒固定地采集50帧或60帧,而在本发明中,其采集的频率可以高得多,CCD本身的速度限制是每秒2万帧左右,而现实的瓶颈在于其高速缓存的速度,最重要的区别是在本发明中,其连续采集图片的速度可以根据动态传感系统的数据、或像素动态信息等实时地变化采集频率,越接近与稳定的状态,就用越密集的频率采集。[0042] 5.操作抖动,[0043] 在本发明中,智能拍照系统主要解决的问题就是采集图片的瞬间相机抖动造成的相片模糊的问题,而在各种造成抖动的因素中,按压拍照按钮所造成的按压抖动是最大的抖动来源。按压拍照按钮所造成的抖动,就简称为按压抖动。当然这里的拍照按钮还可以包括屏幕上的虚拟按钮。另外,除了一般的按压式的按钮以外,还可以有其他方式的触发操作方式,例如,侧滑式的的按钮、虚拟按钮、侧滑式的的虚拟按钮等,这些操作都可以导致相机的抖动,在本发明中,将其统称为操作抖动。[0044] 6.意念点
[0045] 这是本发明中一个重要的概念,在拍照过程中有两个主要的动作,一个是将镜头稳定地对准想要拍照的对象;另一个是确认拍照而按压拍照按钮,而按压拍照按钮会干扰
7
CN 103209292 A
说 明 书
5/16页
前者的稳定。本发明中的意念点的含义就是当操作者将镜头稳定地对准想要拍照的对象,头脑中的意念确认要对此对象进拍照、但尚未按压拍照按钮的时间点。当然,这对于传统的相机来说,是个悖论,尚未按压拍照按钮的时候自然是没有按压抖动,可是也不会有采集到的图片。本人在稍早前提交的发明“一种用于手持式电脑设备的操控系统和方法”中提出过用持续记录动态传感系统的数据,并进行回溯意念点的方式。但是在本发明中仅仅持续记录动态传感系统的数据虽然可以找到那个意念点,但是要找到在那个意念点的图像,还需要图片采集系统也同时进行连续的图片采集,且所采集的图片需要与动态传感系统的数据建立对应关系。这样才能顺利的回溯意念点所采集的图片。[0046] 7.相机动态信息[0047] 在本发明中,相机动态信息既可以是动态传感系统监测到的原始信息,也可以是经过动态判断模块、或动态分析模块初步分析加工的后的信息。动态传感系统监测到的原始信息比较复杂,可以包括很多信息,例如,在三个轴向上旋转的速度、加速度,在三个轴向上移动的速度、加速度等,其可比性差、难以直接用其直接评选出最平稳的瞬间。对于相机的图片采集的清晰程度来说,有些重要,有些则影响不大,在图1中只列出了一个抖动最大的轴向的动态信息,在实际中可以对各项参数据数分别根据其重要性的不同而进行加权然后求和或平均数等较为复杂的算法进行汇总统计加工。而经过动态分析模块加工后的相机动态信息则可以是一个单一的动态系数值、或意念点接近系数值,这样相对简洁,便于评选出最平稳的瞬间、或最接近于意念点的瞬间。在本发明的描述中,为了清晰描述,将这一功能划分在动态分析模块中来实现,在实际系统中,由于软件系统模块的划分可以非常灵活,不排除将其功能合并或划分到其他模块中实现,例如可以将动态判断模块与动态分析模块合并成一个大模块,甚至可以将图片采集系统也合并在一起。[0048] 8.像素动态信息[0049] 在本发明中,像素动态信息指的是,在一系列连续采集的图片中,通过比对每张图片在相应位置上相应的像素的一致性、及其变化的信息。相当于在某个像素位置上,沿着时间轴的方向,像素值发生变化的动态。当然像素动态信息还可以包括基于此进行进一步处理后的信息,例如,可以包括图片中某个区块的像素动态、及其统计数据;还可以包括基于区块的划分,所区划出的像素动态较大、较小的区域。当然为了方便比较,像素动态信息还可以是将上述复杂的像素动态信息经一定的算法处理,成为一个单一数值的像素稳定系数。在本发明的描述中,为了清晰描述,将这一功能划分在图片比对判断模块中来实现,在实际系统中,由于软件系统模块的划分可以非常灵活,不排除将其功能合并或划分到其他模块中实现。[0050] 9.触发
[0051] 由于本系统是基于智能系统来实现智能拍照的,而非传统的机械方式,所以本发明中触发操作,并不一定非要如字面的意思包含“接触”这个动作;只是操作者向智能系统表达需要进行某种操作的指令,只要这种表达方式是能被智能系统所识别和接受。其方式甚至可以包括声音、眨眼动作等等表达方式。附图说明
[0052] 图1是一个典型的相机的拍照按钮按压抖动的曲线图。在实际操作中,可能还会
8
CN 103209292 A
说 明 书
6/16页
有操作者的心跳抖动等一些其他干扰抖动与其叠加,但在本图中不做体现。其中,t1是操作者的手指放到拍照按钮上准备拍照的时候造成的一个极其微弱的抖动;t2是操作者的大脑做出拍照决定的时候的意念点,这个意念点无法单从曲线判准确断出来,要从t3的触发进行回溯才能比较准确地推断出来;t3是使用者按下拍照按钮并对按钮开关产生触发的前沿的时间点;t5是操作者松开按钮时按钮开关脱离触发的时间点,即触发的后沿;t4是在t3和t5之间的一个平稳瞬间,适合采集图片;t6是操作者松开拍照按钮及其造成的反弹后再进入稳定阶段之间的一个拐点,这个拐点是一个平稳瞬间,适合采集图片。本图只是一个拍照按钮在相机上面的常见的相机的按压抖动的曲线示意图,如果按钮在其他位置,其抖动的轴向和方式会有所不同;某些残疾人士操作的时候其抖动曲线也会有所不同,对这些特殊情况,智能拍照系统可以以t1、t3、t5等有实际电触发信号的时间点作为参考基点进行智能自学习,适应这些特殊的抖动曲线,在此不再一一赘述。
[0053] 图2是一个包含智能拍照系统的功能模块的示意图。在实际中,本智能拍照系统还需要与其他系统进行交互,例如需要与相机中自动对焦系统、自动光圈系统等进行信息交流,甚至要以其作为先决条件,且交互方式也有多种可选的不同方式,但在本图中对这些与其他系统交互过程不做体现。本图的模块功能划分方式是按照最容易理解的方式来划分的,在实际的系统当中,模块的功能划分和命名可以非常灵活,可以将其中的几个模块合并,也可以将一个模块拆分为几个模块。具体实施方式
实施例1
[0055] 现在的电子相机、或是手机中嵌入的相机采用的稳像技术,着力于在成像的瞬间稳定镜头和CCD,从而获取清晰的成像。而本发明则采用了独辟蹊径的方式,本发明的智能时机判断模块,则可以在操作者有拍照意向后,根据动态传感系统的检测结果,协助操作者选择一个最佳的时机拍照、采集图片,回避操作抖动。操作者的操作只是作出宏观时间段的决策即拍照意向,而具体的采集时刻则由智能时机判断模块来决定。以下为详细的描述,[0056] 1.首先,需要在现有的电子相机中内置陀螺、重力加速度感应器等动态传感系统,用于连续监测相机本身的动态。由于动态传感系统的系统消耗很小,所以本系统既可以等操作者发出拍照意向以后才开始监测相机的动态,也可以不用等拍照意向,而长期持续监测相机动态。特别是在用动态传感系统的信号作为控制屏幕中光标的操控系统当中,动态传感系统本身就是长期处于运行状态的,在这种共用动态传感系统的情况下,智能拍照系统只需在需要的时候调用相机动态信息即可。
[0057] 2.拍照意向采集系统获取操作者的拍照意向,这里之所以称之为拍照意向,是因为本发明中并不是用传统相机中那种操作者按下按钮相机立刻拍照的简单直接的操控。在本发明中,拍照意向是指操作者对准了目标,从准备好拍照到结束拍照的一个时间段,而具体的拍照时机、即相机从CCD采集图片的时刻是由智能拍照系统来做出的。在拍照意向的时间段内还可以有多个参考点,可以以这些参考点作为基点向前推、或向后推来确定采集图片的时刻。与传统的相机相比现在的电子相机可以有更多种方式来获取操作者的拍照意向,下面例举几种但并不仅限于如下几种,
[0054] [0058]
1)传统的按动按钮的方式。
9
CN 103209292 A[0059]
说 明 书
7/16页
2)触摸按钮的方式,电容感应、电阻感应、温度红外感应等,既可以是在实体按钮
上布放这些敏感器件来实现,也可以在触摸显示屏上布放虚拟按钮来实现操作者向智能系统表达其拍照意向。
[0060] 3)语音触发方式,操作者可以采用语音的方式向智能系统表达其拍照意向。[0061] 4)手势、身体姿势等表达其拍照意向。5)人机交互方式,由于本发明并不是依靠操作者非常紧张地决定准确的拍照瞬间,而是靠电脑的辅助来自动选择拍照时机,及连续采集图片后智能选择合适的图片。所以确认拍照意向的方式可以是非常轻松、自然、多样化的方式,例如采用人机交互菜单的方式来确认,这样也便于在相机中添加更多的功能。
[0063] 3.动态判断模块根据相机动态信息选择采集图片的时刻,图1是一个拍照按钮在右上方的常规布局的相机在拍照的时候的抖动曲线图,本文以此为基础举例说明几种可能的时间点其判断方式,但并不仅限于如下几种,
[0064] 1)本例中的拍照按钮不仅具有按动触发的常规功能,按钮上同时还具备触摸触发的功能,其基本原理如同一般的触摸屏、或笔记本电脑的触摸板,这个功能作为获取操作者的拍照意向的系统的一部分。当操作者的手指放在按钮上的时候,智能拍照系统的拍照意向判断模块就确认操作者准备要开始拍照了,当然在手机和平板电脑的手机功能中这个按钮就可以是触摸屏上的一个虚拟按钮,这个时间点就是在图1中的t1,在图1的t2时间点是使用者的大脑中做出了拍照的决心,但是手指尚未做出按压动作或是刚开始做出按压动作的时间点。相机内置的动态传感系统可以检测出在t1到t2这个时间段相机的动态相对平稳,都可以作为采集图片的时间点,当然在实际操作中还要考虑相机的其他因素,特别是单反相机还有光圈、焦距调整等其他照相必备的因素。在本发明中,操作者甚至可以不需要用力按压实体按钮确认拍照了,只要上述因素都具备,智能拍照判断模块就开始自动采集图片,同时还可以伴随发出电子虚拟出的快门声作为反馈。这种方式的好处就是不仅能回避按压按钮造成的抖动,甚至连因为心跳导致的手臂的轻微抖动都可以屏蔽。缺点就是习惯于传统相机的操作者缺乏操控机器的快感,特别是对那些有些操控狂的人来说有些不爽。
[0065] 2)基于上一个例子,操作者实际上的意念点是t2,为了让采集的图片的时间点最接近于操作者的意念点,当操作者按下拍照按钮、相机内置的动态传感系统检测出相机开始有向下加速度的趋势的时候,就是在t2之后,最接近于t2时间点的时刻作为采集图片的时间点,这时候抖动仍然相对平缓,所以相片也相对清晰。同时也解决了第1)个例子中缺乏操控快感的缺点。
[0062]
3)从图1的t3到t5这段时间,是电子按钮的触发时段,其中的t3为按钮电路闭
合,相当于电流的前沿,t5是电路断开,相当于电流的后沿。一般的电子相机利用t3时刻的前沿触发作为触发采集图片的信号,在本发明中可以将t3时刻作为操作者的拍照意向的信号,但是并不立刻采集图片,而是持续监测动态传感系统的数据,等待一个拐点的瞬间平稳期,如图1的t4时间点所示,其抖动曲线的切线几乎是水平的,这相当于一个极其短暂的静止时间段,所以可以选择在t4时刻采集图片,且这个时间点的具体时刻是可以根据从t3到t4时间段的抖动曲线及其加速度的变化趋势进行大致的预测的,所以在t4这个时刻采集图片也是一个理想的选择。且这个时间点采集图片比较符合传统用户的使用习惯。
[0066]
10
CN 103209292 A[0067]
说 明 书
8/16页
4)在操作者松开按钮后,相机会有一个向上反弹的过程,然后会恢复平缓,而这个
如图1中t6时刻所示的拐点可以被动态传感系统检测到,也可以通过抖动曲线的变化趋势预测到。所以这个时间点也可以作为采集图片的时间点。[0068] 5)在t6时间点之后的平稳期,智能拍照系统也能根据动态传感系统的数据决定采集图片。
[0069] 6)在一个已经具有传统的浮动镜头和CCD,甚至采用电压或机械方式进行抖动补偿的系统中,其抖动的预测和计算比较复杂,因为相机动态信息不仅包括相机框架的动态还要考虑相机镜头的动态,需要综合计算其抗抖动的性能曲线、相机当时的抖动幅度、等等因素。当然,如果将陀螺等动态传感系统与镜头CCD等浮动的系统绑定在一起,则其测算出的相机动态就是浮动的系统的动态,而不是相机框架的动态了,这样就可以回避此矛盾。当然,也可以在浮动的系统和相机的机身上各放一套动态传感系统,这样不仅能测出他们各自的动态,还能根据两者的差值,进行更进一步的更复杂的测量、计算、和预测。
[0070] 4.图片采集系统可以根据动态判断模块的指引信息在上述步骤中的任意一个可选的时间点采集图片,也可以在每个时间点都采集一幅图片、或连续采集多幅图片,供用户选择一幅或几幅并存储,这样用户更有操控和做主的感觉。之所以称之为指引信息而不是指令,是因为基于智能系统的灵活性,图片采集系统与动态判断模块的分工可以非常灵活,可以包括但不仅限于以下几种,
1)动态判断模块来决定采集图片的时机,当动态判断模块判断出稳定的瞬间,就
向图片采集系统发出采集图片的指令,图片采集系统则完全被动的执行命令。[0072] 2)动态判断模块将所有动态信息发给图片采集系统,由图片采集系统来决定采集图片的时机。
[0073] 3)动态判断模块将所有动态信息、及其判断出的稳定瞬间等具有指引作用的信息同时发给图片采集系统作为参考,图片采集系统则根据动态判断模块及其他模块的信息综合考虑判断采集图片的时机,上面所述的其他模块的信息可以是实施例3中所述的图像比对判断模块处理所得信息。
[0074] 5.图片采集系统采集幅图片之后,既可以将这些图片作为正式照片存储到非易失存储系统中,也可以先将其存放在高速缓存中,并递交给人机交互系统。[0075] 6.人机交互选择系统在显示屏幕上显示可供选择的图片,在操作者做出选择后,人机交互选择系统可以将所选的照片存储到非易失存储系统,其存储格式可以是传统的数字图片格式,也可以是本发明特有的包含相机动态信息的图片格式,当然也可以是包含了几幅连续图片及其对应的相机动态信息的格式,这样的格式便于后期制作。[0076] 具体实现步骤
[0077] 一种由内置电脑辅助决定拍照时机的智能拍照方法,其特征在于智能拍照系统采用如下步骤
[0078] 1)智能拍照系统的拍照意向采集系统采集相机操作者发出的拍照意向;[0079] 2)智能拍照系统的动态传感系统监测相机的动态,并发送给动态判断模块;
[0071]
3)智能拍照系统的动态判断模块判断相机的动作状态、判断出比较平稳的瞬间,并向图片采集系统发送指引信息;
[0081] 4)智能拍照系统的图片采集系统根据动态判断模块的指引信息采集图片,并递交
[0080]
11
CN 103209292 A
说 明 书
9/16页
给存储系统;
[0082] 5)人机交互选择系统在显示屏幕上显示可供选择的图片,在操作者做出选择后,人机交互选择系统将所选的照片存储到存储系统;[0083] 实施例2
[0084] 实施例1的方式虽然有效,但还不够完美,当动态判断模块分析相机动态信息,且结论为稳定后,再通知图片采集系统采集,当等图片采集系统的电子快门再曝光采集,这时相机的动态可能已经发生变化,只能指望从监测动态到采集图片之间的时间足够短,及相机本身的动态的变化很小,所以需要改进。本实施例就是在连续采集图片的时候,同时记录相机动态信息,即将一段时间内的图像及其动态先凝固在高速缓存中,在采集图片的事后判断选择其中最稳定的时机,并找出这些最稳定的时机所采集的图片,以下为详细的描述,[0085] 1.首先,需要在现有的电子相机中内置陀螺、重力加速度感应器等动态传感系统,用于连续监测相机本身的动态。由于动态传感系统的系统消耗很小,所以本系统既可以等操作者发出拍照意向以后才开始监测相机的动态,也可以不用等拍照意向,而长期持续监测相机动态。特别是在用动态传感系统的信号作为控制屏幕中光标的操控系统当中,动态传感系统本身就是长期处于运行状态,在这种共用动态传感系统的情况下,智能拍照系统只需在需要的时候调用相机动态信息即可。
2.智能照相系统的拍照意向采集系统获取操作者的拍照意向,其获取的具体方式
与实施例1类似。
[0087] 3.智能照相系统的图片采集系统可以根据拍照意向采集系统的信息决定在某一时间段连续采集图片,暂存在高速缓存中。当然作为可选方式,也可以采用类似实施例1的方式,让动态判断模块、或图片采集系统根据相机动态信息优化选择连续采集图片的时间段。传统的电子相机,在照相的时候,只是在按下拍照按钮的瞬间采集一幅图片,而这个按下拍照按钮的动作会导致按压抖动,而此按压抖动会导致图片的模糊。而采用了本发明的连续采集图片的的方式后,不仅可以在时间上避开按压抖动瞬间,还可以避开其他因素导致的抖动。其思路如同用机枪对准一个目标连射,总有一颗子弹打中目标,当然打机枪不用判断到底是第几颗子弹射中了目标,而本发明在连续采集后还需要智能判断哪一幅或几幅图片是清晰的、更接近操作者拍照意念点的图片。要实现此目标方式还需要解决如下两个问题,
[0088] 1)如何更快地连续采集,
[0089] 现在的电子相机的电子快门技术为高速连续拍摄图片提供了基础,不仅可以达到一般摄像机的50~60帧每秒的速度,甚至有可能达到10000帧每秒以上的速度。但是现有的存储方式是存在闪存中,但是现有的非易失存储系统即微硬盘或闪存的存储速度远远不够提供连续存储大幅高清画面的速度,所以可以采用大容量的RAM进行快速缓存,待选择确定几幅图片后再存储到闪存中,现在RAM的价格也支持这样的硬件架构,当然不排除将来的非压缩存储系统的速度大大提高,可以直接使用其作为高速缓存。但是高速连续采集会带来一个严重问题,就是瞬间采集几十甚至数百幅画面,完全靠人眼来识别选择显然是不现实的,而本发明提供的动态分析模块、图片比对判断模块就解决了这个识别选择的问题,
[0086] [0090]
2)采集时间段的选择
12
CN 103209292 A[0091]
说 明 书
10/16页
a)从图1可以看出,t1时间点是手指触摸拍照按钮的时刻,有轻微的抖动,t2时
间点是使用者决定拍照的意念点,在此之后开始按动拍照按钮。从t1到t2这段时间都比较稳定,可以作为采集图片的时间段区间,其中t2点是操作者的意念点,最符合操作者的需求和意志,所以从t1到t2这段时间是最佳的采集时间段,当然t2这个时间点的判断比较模糊,所以,可以将结束点定在t3,即按钮按动触发的前沿,事后再进行回溯意念点t2的操作;
[0092] b)从t3点到t5点之间有一个抖动的拐点t4,其抖动曲线的切线几乎是水平的,这相当于一个极其短暂的静止时间,而传统的相机都是从t3点开始快门曝光、或采集图片的。所以在t3到t5之间连续采集图片,或是根据动态传感系统的数据来选择其中最平缓的一段时间采集图片,也可以作为一种选择。[0093] c)从t6之后,进入平缓期,也可以考虑在t6之后一段时间作为连续采集时间段。[0094] d)当然,也可以将从t1到t6之后的某个时间点,这样一大段时间作为采集时间段。
[0095] 4.在智能照相系统的图片采集系统连续采集图片的时候,动态传感系统利用内置的陀螺仪等动态传感系统监测相机的动态,并将监测到的相机动态信息送到高速缓存系统,并将相机动态信息与采集到的图片建立对应关系,以便区分采集每幅图片的时候的不同动态。建立对应关系的方法有很多种,包括但不仅限于以下几种方式,1)智能照相系统采用特殊的图片文件存储格式,其数据格式不仅包括图片像素信息,还包括采集此图片时的动态传感系统所监测到的相机动态信息,此相机动态信息可以不仅包括快门曝光、采集图片那个瞬间时刻的数据,甚至还可以包括此时刻前后一段时间的相机动态信息,以便于事后分析。
[0097] 2)智能照相系统采用特殊的图片文件存储格式,其数据格式不仅包括图片像素信息,还包括采集此图片的时的时间标记;同时建立独立的相机动态信息存储文件,其数据格式不仅包括相机动态信息,还包括检测到相应相机动态信息的时的时间标记。这样就可以利用两者的时间标记来建立两者的对应关系。
[0098] 3)智能照相系统采用特殊的图片文件存储格式,其数据格式不仅包括图片像素信息,还包括序列号,每个图片都与至少一个序列号对应,其序列号既可以存在于文件中,也可以将序列号作为存储文件的文件名;同时建立独立的相机动态信息存储文件,在文件中相机动态信息也分别与一系列的序列号对应;这样就可以利用两者的序列号来建立两者的对应关系。
[0099] 4)结合上述几种方式的优点,智能照相系统用一个大文件连续记录一次拍照的每个时间段所采集到的各个图片的信息、顺序、时间标记、及相机动态信息,利用文件格式本身建立每幅图片与采集其时的相机动态信息的对应关系,类似于表格、数据库的数据结构方式就是现成可利用的方式之一。其中对于采集图片的时刻可以是智能选择控制的,而对于相机动态信息则可以是连续记录的。这样便于进一步智能分析、选择。
[0100] 5.智能照相系统的动态分析模块可以比对在连续采集图片的时候所记录下来的动态传感系统的相机动态信息,其动态最接近于静止的时候所采集的图片将是最清晰的。上述动态评估至少可以分为四种,
[0096] [0101]
1)其一是当一张图片采集完毕,立即实时地根据在其采集时刻的相机动态信息判
13
CN 103209292 A
说 明 书
11/16页
断、并选择是保留还是抛弃;
[0102] 2)其二是当一系列连续的图片采集完成后,再集中进行判断和选择,这样做的好处是可以结合后面的实施例3所述图片像素比对的选择方式一起进行复合选择,还可以再采用人机交互系统由操作者进行二次选择。
[0103] 3)其三是在整个连续采集图片的时间段内,都实时进行动态评估,并据此实时地调整采集图片的频率密度,动态越是稳定,采集图片的频率越高。[0104] 4)结合上面三种方式,采用第一种方式先进行较为宽松的初步筛选,通过初步筛选的图片再采用第二中方式集中选择,且可以与其他方式一起进行复合筛选。[0105] 当然,瞬间采集几十甚至数百幅画面,完全靠操作者的人眼来识别选择显然是不现实的,可以由动态分析模块分析相机动态信息,来选择抖动最小的一张图片,也可以选择几张,直接作为正式照片存储,或是递交给人机交互选择系统,显示在屏幕上,由操作者选择,且在提供操作者选择的时候可以在每幅图片上或其周边列出相机动态系数,此系数是通过处理相机动态信息而得出的相对简洁易懂的体现相机动态的数据,其表达形式既可以是数字形式的,也可以是其他形式的,例如用彩条的长短、或颜色等方式来表示。[0106] 6.如图1所示,动态分析模块还能根据拍照期间的动态曲线进行分析,以t3为参考基点进行逆推、回溯,找出t3点之前的一个平稳瞬间t2,这就是最接近于操作者拍照意念的意念点,并找出在此意念点所采集的一幅或几幅图片作为最终的拍张照片。当然,所谓意念点是存在于操作者脑中的,其对于本发明的系统来说并不是一个确定的点,而是本模块推测出来的,所以此模块也可以列出几张最接近于意念点的图片,并对其进行接近系数的评估,最终将这几张照片及其评估系数一并提交给人机交互选择系统由操作者进行二次选择,且其显示系数的方式也可以是多种形式的。
[0107] 7.如果智能拍照系统的设置是让动态分析模块筛选出多幅图片,再由其人机交互系统进行二次筛选,则人机交互选择系统在显示屏幕上显示多幅经过动态分析模块选择的图片,并显示其动态系数和意念点接近系数。在操作者做出选择后,人机交互选择系统将所选的照片存储到存储系统,其存储格式可以是传统的数字图片格式,也可以是本发明特有的包含相机动态信息的图片格式,当然也可以是包含了几幅连续图片及其对应的相机动态信息的格式,这样的格式便于后期制作。操作者通过人机交互系统的设置,还可以对动态分析模块的内部算法进行修正,例如将意念点的时机向前或向后修正,甚至人机交互系统还可以通过操作者每次选择的图片及其相应的时间点,总结规律进行智能自学习,自动修正意念点回溯的算法和修正值。
具体实现步骤
[0109] 一种由内置电脑辅助决定拍照时机的智能拍照方法,其特征在于智能拍照系统采用如下步骤,
[0110] 1)智能拍照系统的拍照意向采集系统采集相机操作者发出的拍照意向;[0111] 2)智能拍照系统的动态传感系统监测相机的动态;[0112] 3)智能照相系统的动态判断模块、或图片采集系统根据相机动态信息选择连续采集图片的时间段,图片采集系统在此时间段连续采集图片,并递交给存储系统,[0113] 4)智能拍照系统的存储系统存储图片采集系统所采集的图片、及相机的动态传感系统所产生的相机动态信息;
[0108]
14
CN 103209292 A[0114]
说 明 书
12/16页
5)智能拍照系统的动态分析模块根据动态传感系统产生的相机动态信息评估连
续采集的图片,并选择在采集图片期间相机处于比较稳定瞬间的图片、或将图片和评估出的图片的稳定系数递交给人机交互选择系统,供操作者参考、选择。
[0115] 6)智能拍照系统的人机交互选择系统在显示屏幕上显示多幅经过动态分析模块选择的图片,并显示其动态系数和意念点接近系数。在操作者做出选择后,人机交互选择系统将所选的照片递交给存储系统;[0116] 技术优势
[0117] 由于本实施例具有回溯意念点的功能,在抓拍难以预见的精彩瞬间的方面具有独特的优势,例如在体育赛事中,资深的体育摄影记者往往具有极强的预见能力,因为从你看见、到判定这是个精彩画面、再到用手按下拍照按钮、相机快门动作,这一系列的动作需要一定时间,一般的新手往往陷于看得见抓拍不到的困境。而用本发明中本实施例的回溯意念点t2的方式,可以轻易地完成抓拍。[0118] 实施例3
[0119] 实施例1和实施例2的方式虽然有效,但还不够完美,主要有两个问题,第一个问题是,上述两个实施例通过智能拍照系统智能地选择拍照时机,确实能有效地回避、消除操作者的抖动造成的图片模糊不清。但是对于被拍照对象的晃动等动作所造成的图片模糊不清无法消除,在传统技术中,解决这一问题的方式有两个,其一是靠拍照操作者紧张的寻找并抓住对象静止的瞬间,其二则是靠被拍照者摆出一个静止的姿态。第二个问题是,如果操作者是对一个移动的物体跟拍,则用上述两个实施例的方式,智能拍照系统将可能面临着难以找到合适采集时间段、或采集图片时机不符合操作者意向的问题,因为操作者的相机始终处于动态之中。本实施例就是为了解决上述两个问题的解决方案,要用智能拍照系统来自动的找出并抓住被拍照者的稳定瞬间的时机,同时,本实施例的方式也能对由于相机本身的抖动造成的图片模糊,进行有效的过滤和筛选。详细描述如下。[0120] 1.智能拍照系统的拍照意向采集系统获取操作者的拍照意向,其获取的具体方式与实施例1类似。
[0121] 2.智能拍照系统的图片采集系统根据拍照意向采集系统的信息决定在某一时间段连续采集图片,暂存在高速缓存中。,并同时记录其对应的采集的时间标记或序列号。图片与相应的时间标记、序列号的对应方式可以非常灵活,与实施例2中图片与相机动态信息的对应方式类似,不再赘述。3.智能拍照系统的图片比对判断模块对各个照片进行像素比对并统计各图片的前后一致性,从总体来说,如果一张照片的像素与前一张或后一张相片相应位置的像素的一致性很好,那就证明拍照期间其成像是静态、稳定的,从而也可以推断其成像是清晰的,反之则推断其成像期间不稳定、成像不清晰,在本发明中将这些信息统称为像素动态信息。其像素比对算法可以有如下几种但不仅限于如下几种,[0123] 1)最基本的逐个像素、逐行、或逐列对比。这是最笨也是最基本的方式。这样也可以将每个像素的比对结果用闪烁等方式提示给操作者,但这样显示出来的结果会比较繁杂、操作者难以识别,只能供智能拍照系统的电脑来识别判断。[0124] 2)像素的比对间隔,既可以是比对连续紧邻的两张、三张图片相互比对,也可以是间隔几张图片后相互比对,或是几种方式结合起来的综合比对方式,因为相邻图片的比对
[0122]
15
CN 103209292 A
说 明 书
13/16页
只能算出图片本身的清晰程度,而连续的综合比对则可以算出变化趋势,甚至根据变化趋势预测下一个时刻的变化。其算法比较复杂在此不赘述,但其外在效果就如同实施例1中,用以前和当前的相机动态信息及其变化趋势预计下一时刻动态类似,且这两者都可以用来选择采集图片的时机、或实时地调整采集图片的频率。[0125] 3)分块逐步对比,即将图片分成多个图片区块,然后就此区块各像素与前后图片相应区块的相应像素的一致性进行比对和统计,且可以对其中像素变化最大的一个或几个区块做出提示。这样附带的一个好处是不仅能识别出由于相机抖动造成的抖动,还能识别出由于被拍照的对象自己的晃动等动作造成的图片模糊,例如眨眼、摇头等。这样,当相机的人机交互系统在显示屏上列出一张或几张采集到的图片的时候,不仅能给用户提示每张照片的清晰程度,还能对不清晰的区块做出提示,例如在许多人合影的时候,拍照的操作者很难立刻识别出其中某个人眨眼或晃头等导致相片局部不清晰的情况,而采用本方式的智能拍照系统可以立刻识别出不清晰的局部且用框线、闪烁等方式给拍照操作者做出提示。[0126] 4)采用专用的硬件比对算法,或是用现有的视频压缩芯片进行比对,现有的MPEG4的压缩算法其基础也是对比前后帧的像素,如果本帧与上一帧区别不大则其压缩后的数据就较小,如果变化较大则压缩后的数据就较大。所以完全可以利用现有的硬压缩芯片辅助进行像素比对。当然在本发明得以大规模推广后,就可以采用专用的芯片进行比对了。
5)像素一致性的判断标准也可以分为几种,其一就是判断前后两张图片其对应位
置像素值是否相同;其二就是采用模糊判断方式,例如,建立一个类似Windows中图画应用程序中的编辑颜色功能中的调色盘,基于像素在调色盘中的位置,判断前后两张图片其对应位置的像素在调色盘中的坐标值的接近程度,如果非常接近、或不超过某一阀值、或整张照片都朝向某个色调方向少量偏移,则可以判断为一致,当然这个调色盘也可以是三维甚至是四维的;这种模糊判断的方式的好处就是当光线闪烁、变化的时候可以智能识别,不会产生误判,而第一种方式就可能产生误判。当然,还可以有其他更复杂的识别像素一致性的算法,例如将邻近的像素一起纳入算法的计算当中等,这里就不再一一赘述。[0128] 在使用上述算法对图片做比对后,根据所得出像素动态信息,图片比对判断模块可以自主的筛选出一幅或几幅图片作为正式照片存储起来,也可以将图片及其像素动态信息递交给人机交互选择系统,进行进一步的筛选。[0129] 4.人机交互选择系统根据像素比对结果,将几张图片、及其比对结果以像素动态系数值的形式或其他的形式列在屏幕上,供操作者选择,且此系数可以和实施例2中的相机动态系数、意念点系数一并显示。[0130] 当然,图片比对判断模块可以在第1步即操作者做出拍照意向后即与图片采集系统一起开始运行,并实时地在屏幕上显示其对比判断结果、标出清晰或不清晰的区域,这样操作者可以实时调整自己的拍照姿态,这一点对于做跟拍运动物体的工作来说很有用。这样做实际上就是从采集到操作者的拍照意向以后,就连续地采集图片并进行实时地比对判断。唯一的问题是,对于目前相机的CPU来说,要做到实时比对判断,其运算性能还需要提高,估计要开发专用的比对算法的芯片才可以实现实时地比对判断。在实现了高速实时像素比对的前提下,智能拍照系统甚至可以利用以前及当前的像素动态去大致预测下一步的像素动态,即如果当前的像素动态处于比较稳定的状态,且以前的几幅图片像素动态的趋
[0127]
16
CN 103209292 A
说 明 书
14/16页
势也是趋于越来越稳定,则可以推断下一步连续采集的几幅图片也将是稳定的,并自动增加采集图片的密度,且可以不再进行比对就决定将其选择作为正式的照片存储、或交送人机交互选择系统。所以像素动态信息的运用方式至少可以有以下三种,但不仅限于如下三种,
[0131] 1)在连续采集了一系列图片之后,分析、推断其清晰程度,从而协助操作者选择图片。
[0132] 2)在连续采集图片的当时,实时地分析各个区块的清晰程度,从而协助操作者跟拍。
[0133] 3)在连续采集图片的当时,实时地分析像素动态及其变化趋势,预计下一步的动态,从而决定采集图片的密度、或选择下一步将要采集的一幅或几幅图片作为正式照片。[0134] 5.操作者在根据比对结果、系数对诸多图片做出选择后,人机交互选择系统将所选的照片从高速缓存系统转存到存储系统,其存储格式可以是传统的单张形式的数字图片格式,也可以是本发明特有的包含了几幅连续图片及其对应的时间顺序的格式,这样的格式便于后期制作,例如在1号图片中合影人甲在眨眼,在3号图片中合影人甲已经睁开了眼睛,但是合影人乙在眨眼,但这两个图片的其他像素基本没有变化,这样在后期制作中就可以利用特殊软件将1号图片和3号图片进行拼接合并,制作出一幅完美的照片,智能拍照系统、或专用的后期处理软件甚至能为操作者提出拼接方案,甚至自动完成拼接。具体实现步骤
[0136] 1.一种由内置电脑辅助决定拍照时机的智能拍照方法,其特征在于智能拍照系统采用如下步骤,
[0137] 1)智能拍照系统的拍照意向采集系统采集相机操作者发出的拍照意向;[0138] 2)智能拍照系统的图片采集系统连续采集图片,并送交存储系统;[0139] 3)智能拍照系统的图片比对判断模块比对连续采集的图片中的像素,根据像素动态信息评估、选择图片,或将图片和评估出的图片的稳定系数递交给人机交互选择系统,供操作者参考选择;
[0140] 4)智能拍照系统的人机交互选择系统根据像素比对结果,将几张图片、及其比对结果以系数值的形式或其他的形式列在屏幕上,供操作者选择,最终将所选图片存储到存储系统;
[0141] 技术优势
[0142] 在跟拍移动物体的时候,往往要求所拍的移动物体清晰,而对背景是否清晰不做要求,本发明的这个实施例的方式能够迅速判断在一幅图片中哪部分清晰、哪部分不清晰。无论是实时进行图片比对判断、选择,还是在事后对已经采集的图片进行比对判断,都可以智能地筛选出效果更佳的图片,都为拍照者决策、选择提供详细的辅助参考。[0143] 实施例4
[0144] 本实施例是对上述几个实施例的综合运用,以期通过智能拍照系统在采集图片前、采集图片当时、及采集图片后的综合处理,智能地选择拍照时机,成为一个完美的拍照系统。
[0135]
1.首先,需要在现有的电子相机中内置陀螺、重力加速度感应器等动态传感系统,
用于连续监测相机本身的动态。
[0145]
17
CN 103209292 A[0146]
说 明 书
15/16页
2.拍照意向采集系统获取操作者的拍照意向,其获取的具体方式与实施例1类
似。一旦获取拍照意向,智能拍照系统立刻启动动态传感系统和动态判断模块,开始跟踪、判断相机的动态信息。
[0147] 3.如果相机是设在动态跟拍模式下,在智能拍照系统获取操作者的拍照意向后,图片采集系统立刻开始连续采集图片,并用图片比对判断模块实时地对各个连续的图片进行像素比对,并统计整个相片或其中区块的前后一致性,其比对方式如实施例3所述基本一致。根据其一致性的统计,判断其成像的清晰系数提供给人机交互选择系统,并与动态图像一起实时地显示在屏幕上,作为操作者调整其拍照姿态、拍照动作的实时参考。当然,在此动态模式下,也可以启用动态传感系统、和动态分析模块,但并不一定将相机动态信息作为选择拍照时机的前提,而只是如实施例2所述将相机动态信息作为采集图片之后选择拍照时机、及回溯意念点的参考。
[0148] 4.如果相机是设在一般静态拍照模式下,动态判断模块根据动态传感系统的相机动态信息选择拍照时间段,在拍照意向的的时间段指导图片采集系统连续采集图片,其选择拍照时间段、以及连续采集图片的方式如实施例2所述一致。[0149] 5.图片采集系统连续采集图片,且同时记录其采集的时间及顺序并发送到存储系统的高速缓存系统中;
[0150] 6.在拍照意向的时段内,动态传感系统利用内置的陀螺仪等动态传感系统监测相机的动态,并将监测到的相机动态信息送到高速缓存系统,智能拍照系统将相机动态信息与采集到的图片建立对应关系,其对应方式如实施例2所述基本一致,其最优的方式是,智能拍照系统在高速缓存中用一个大文件连续记录一次拍照的每个时间段所采集到的各个图片的像素信息、顺序、时间标记、及相机动态信息,其中对于采集图片的时刻可以是智能选择控制的,而对于相机动态信息则是连续记录的。这样便于进一步智能分析、选择。[0151] 7.在连续采集图片之后,动态分析模块可以比对在连续采集图片的时候所记录下来的相机动态信息,选择其中在采集图片期间动态较为稳定的一张或几张图片,最终将这几张照片及其评估系数一并提交给人机交互选择系统。当然,在本实施例中,因为动态分析模块与动态判断模块功能接近,一个是在事后分析相机动态信息,一个是事前实时判断相机动态信息,完全可以将两者合并成同一个模块,只是为了更加清晰、有条理地描述不同功能,才将两者分别命名和描述。[0152] 8.在连续采集图片之后,动态分析模块还可以根据拍照期间的动态曲线进行分析,找出最接近于操作者拍照意念的意念点,进而找出在此意念点所采集的一幅、或几幅图片作为正式拍照的照片递交给存储系统,或对其进行接近系数的评估,最终将这几张照片及其评估系数一并提交给人机交互选择系统。
9.在连续采集图片之后,图片比对判断模块对这些在拍照意向时间段内所采集的
各个图片进行像素比对并统计整个相片或其中区块的一致性,并根据其一致性的统计,从而判断其成像的清晰系数、清晰的区域,并将这些像素动态信息提供给人机交互选择系统。其比对方式如实施例3所述一致。
[0154] 10.人机交互选择系统在显示屏幕上显示经过动态分析模块、图片比对判断模块复合选择的图片,并并与图片一起显示其动态系数、意念点接近系数、成像的清晰系数,供操作者选择,人机交互选择系统还可以根据图片比对判断模块对各图片的分区比对的判断
[0153]
18
CN 103209292 A
说 明 书
16/16页
结果在屏幕上用框线等方式区分、提示各幅图片中清晰的和不清晰的部分。在操作者做出选择后,人机交互选择系统将所选的照片存储到存储系统的非易失存储系统当中,[0155] 11.智能拍照系统所存储相片的存储格式可以是传统的数字图片格式,也可以是本发明特有的包含相机动态信息的图片格式,当然也可以是包含了几幅连续图片及其对应的相机动态信息、像素动态信息的格式,这样的格式便于后期制作。具体实现步骤
[0157] 1.智能拍照系统的拍照意向采集系统采集相机操作者发出的拍照意向;[0158] 2.智能拍照系统的动态传感系统监测相机的动态;
[0159] 3.智能拍照系统的动态判断模块判断相机的动作状态、判断出比较平稳的瞬间,并向图片采集系统发送指引信息,指引其采集图片;
[0160] 4.智能拍照系统的图片采集系统根据相机的指引信息选择时间段连续采集图片,并将所采集的图片的数据递交给存储系统;
[0161] 5.智能拍照系统的动态分析模块根据动态传感系统产生的相机动态信息评估连续采集的图片,并选择在采集图片期间相机处于比较稳定瞬间的图片和最接近意念点的图片、并将图片和评估出的相机动态系数、意念点接近系数等相机动态信息递交给人机交互选择系统,供操作者参考选择;
[0162] 6.智能拍照系统的图片比对判断模块比对连续采集的图片中的像素,并选择在采集图片瞬间成像比较清晰的图片、或将图片和评估出的像素动态信息递交给人机交互选择系统,供操作者参考选择;
[0163] 7.智能拍照系统的人机交互选择系统在显示屏幕上显示经过动态分析模块、图片比对判断模块复合选择的图片,并与图片一起显示其动态系数、意念点接近系数、成像的清晰系数,供操作者选择,人机交互选择系统还可以根据图片比对判断模块对各图片的分区比对的判断结果在屏幕上用框线等方式区分、提示各幅图片中清晰的和不清晰的部分。[0164] 8.在操作者做出选择后,人机交互选择系统将所选的照片存储到存储系统;[0165] 经过上述描述,一个完美的智能拍照系统就呈现出来了。本系统不仅能替操作者智能地选择最稳定的瞬间拍照采集图片,节省抗抖动硬件的成本、及其设备空间;还能在操作者跟拍动态物体的时候实时提示、协助操作者控制拍照的动态姿态;还能在拍照后用人机交互选择系统同时显示多幅照片及其能标明各图片清晰程度的多种参数,协助相机操作者做出最佳的选择;最后,因为发明的系统所存储的相片不仅包括图片像素本身,还可以包括其拍照瞬间的动态等信息,为后期在电脑上加工、修饰图片提供了更好的基础。
[0156]
19
CN 103209292 A
说 明 书 附 图
1/2页
图1
20
CN 103209292 A
说 明 书 附 图
2/2页
图2
21
因篇幅问题不能全部显示,请点此查看更多更全内容