一种用于获得目标的改善的立体图像的方法和系统

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(21)申请号 CN2.4

(22)申请日 2010.11.23

(71)申请人 阿尔卡特朗讯公司

地址 法国巴黎

(72)发明人 S·利文斯 D·蒂盖特 J-F·麦克 M·埃尔茨

(74)专利代理机构 北京市中咨律师事务所

代理人 杨晓光

(51)

H04N13/00

权利要求说明书 说明书 幅图

(10)申请公布号 CN 102771128 A

(43)申请公布日 2012.11.07

(54)发明名称

一种用于获得目标的改善的立体图

像的方法和系统

(57)摘要

公开了一种用于获得关注目标的立

体图像的改善的深度精度的方法，包括：

从第一位置成像关注目标的第一图像；从

不同于第一位置的第二位置成像关注目标

的第二图像；其中，所述方法包括基于第

一图像和第二图像，确定关注目标深度的

粗略估计；基于深度的粗略估计，确定对

应于关注目标改善的深度精度的改善的成

像位置集合；从所述改善的成像位置集合

成像改善的图像；基于改善的图像确定改

善的深度。也公开了有关的系统。

法律状态

法律状态公告日

法律状态信息

法律状态

权 利 要 求 说 明 书

1.用于获得关注目标的立体图像的改善的深度精度的方法，包括：

-从第一位置成像所述关注目标的第一图像；

-从不同于所述第一位置的第二位置成像所述关注目标的第二图像；

-基于所述第一图像和所述第二图像，确定所述关注目标的深度的粗略

-基于所述深度的所述粗略估计，确定对应于所述关注目标的改善的深

-从所述改善的成像位置集合成像改善的图像；

-基于所述改善的图像确定改善的深度。

2.根据权利要求1的方法，其中确定所述深度的所述粗略估计是基于所

3.根据权利要求1或2的方法，其中所述改善的成像位置集合包括所述

第一位置或所述第二位置中的至少一个。

度精度的改善的成像位置集合；

估计；

其中所述方法包括

述第一和所述第二位置之间的距离和视差，所述视差为在所述第一图像和

所述第二图像之间的所述关注目标的图像位置之间的差别。

4.根据上述任一权利要求的方法，其中所述改善的成像位置集合的成

5.根据上述任一权利要求的方法，包括通过第一和不同的第二照相机

6.根据权利要求5的方法，包括在多个照相机中选择两个照相机的集

目

7.根据权利要求5的方法，包括移动所述第一和所述第二照相机中的至

8.根据权利要求5的方法，包括基于所述多个照相机的位置和基于所述

合，将所述两个照相机的集合带到对应的所述改善的成像位置集合，并且

通过所述两个照相机的集合从所述改善的成像位置集合成像所述关注

标。

成像所述第一图像和所述第二图像。

像位置沿着连接所述第一位置与所述第二位置的直线。

少一个，并且通过所述第一和所述第二照相机从所述改善的成像位置集合

成像所述关注目标。

改善的成像位置集合，在固定位置从多个照相机中选择出第三和第四照相

机，并且从所述选择的两个照相机成像所述关注目标。

9.根据上述任一权利要求的方法，包括用于所述第一和第二图像的立

10.根据上述任一权利要求的方法，包括用于从所述改善的位置集合获

11.用于获得具有关注目标的改善的深度精度的立体图像的系统，包

-多个成像设备，所述成像设备包括用于获得所述关注目标的第一图

-基于所述第一图像和所述第二图像，用于获取所述关注目标的粗略深

-基于所述粗略深度，用于确定对应于所述关注目标的改善的深度精度

-用于控制所述多个成像设备的控制装置，所述多个成像设备答复从

所述确定装置接收的改善成像位置集合，以从对应于所述改善的成像位置

的改善的成像位置集合的确定装置；

度的粗略深度获取装置；

像的第一成像设备和用于获得所述关注目标的第二图像的第二成像设备；

括：

得的改善的图像的立体图像校正。

体图像校正。

集合的位置成像所述关注目标。

12.根据权利要求11的系统，其中所述控制装置包括用于移动所述第一

13.根据权利要求11的系统，其中所述控制装置包括用于从所述多个成

14.根据权利要求11至13的系统，包括沿着可被引导的所述多个成像设

15.根据权利要求11的系统，其中所述多个成像设备中的每一个位于固

-用于从所述多个成像装置中选择出两个成像设备的选择装置，所述

和/或所述第二成像设备到所述改善的成像位置集合的装置。

像设备中选择出第三和第四照相机的装置，和用于移动所述第三和第四照

相机到所述改善的成像位置集合的装置。

备中的至少一个的引导装置。

定位置；所述控制装置包括：

被选择的两个成像设备的位置最优地对应于所述改善的成像位置集合；

说 明 书

技术领域

本公开涉及用于获得关注目标的立体图像信息的方法和设备领域。

背景技术

存在能够获取目标的三维（3D）信息的立体照相机。

在最先进的立体照相机系统中，多个照相机之间的距离是固定的。

尽管目标能够在捕获的场景到处移动，但是经常不能用最优的精度测

此外，最先进的方法和系统需要在它们的立体照相机设置中的过多数

发明内容

本发明的一个目的是为了提供用于获得关注目标的立体图像的改善的

这通过本发明的几个方面实现。

根据本发明的第一个方面，描述了一种用于获得关注目标的立体图像

-从第一位置成像关注目标的第一图像；

改善的深度精度的方法，包括：

深度精度的方法和系统。

量的照相机和许多的处理能力。

量目标的深度。

-从不同于第一位置的第二位置成像关注目标的第二图像；

其中所述方法包括

-基于第一图像和第二图像，确定关注目标的深度的粗略估计；

-基于深度的粗略估计，确定对应于关注目标的改善的深度精度的改

像位置集合；

-从改善的成像位置集合成像改善的图像；

-基于改善的图像确定改善的深度。

成像位置优选地对应于照相机焦点的位置。在两个照相机之间的距离

深度是在关注目标和连接第一和第二成像位置的直线之间的距离。

根据优选的实施例，深度的粗略估计的确定基于在第一和第二位置之

根据优选的实施例深度的粗略估计可由z=b＊f/d获得，其中b为沿着照

在立体设置中的照相机通常具有基本上相同的焦距。图像校正也使得

相机之间的基线的距离，f为焦距，以及d为视差。

善的成

可以定义为在它们各自焦点之间的距离（也指的是基线（baseline）距离或

基线）。

间的距离和视差（disparity），该视差为在第一图像和第二图像之间的三

维关注目标的被投影的二维图像的位置的差别。视差指的是三维真实世界

的目标（或点）在两个照相机的像平面上投影之后在二维图像位置的差别；

所述差别源于在两个照相机焦点之间的可变的距离。

校正过的图像看起来仿佛它们由一个具有相同焦距的照相机产生。

在离散步骤中测量视差（例如每像素/像素组）。对应于两个连续的视

对应于两个连续可能的视差值的两个连续深度值之间的差别，不等于

根据优选的实施例，改善的成像位置集合包括第一位置或第二位置中

根据优选的实施例，改善的成像位置集合的成像位置沿着连接第一位

根据优选的实施例，成像第一图像和成像第二图像分别由第一和不同

根据优选的实施例，第一和第二照相机中的至少一个被移动以将第一

根据优选地实施例，所述方法包括在多个照相机中选择两个照相机的

集合，将所述的两个照相机的集合带到对应的改善的成像位置集合，并且

和第二照相机带到改善的成像位置。则所述方法优选地包括通过第一和第

二照相机从改善的成像位置集合成像关注目标。

的第二照相机实现。

置和第二位置的直线。

的至少一个。

超过可能的视差值的整个范围。由于在离散步骤中测量视差，深度也同样

可以仅在离散步骤中测量。对应于视差值（d）的每个深度值（z）的不确

定性，由这个深度值（z）的距离提供给低于这个深度值（z）的最接近的

可能的深度值（z’，对应于视差d’=d+1）和高于这个深度值（z）的最接近

的可能的深度值（z”，对应于视差d”=d-1）。这个不确定性确定能够测量

深度有多准确，并因此确定深度精度。

差步骤的深度中的差别被称为深度精度（depth precision）。

通过两个照相机的集合从所述改善的成像位置集合成像所述关注目标。

根据优选的实施例，所述方法包括基于多个照相机的位置和基于改善

在本发明的任何实施例中，可以实施第一和第二图像的立体图像校正。

立体图像校正是重新投影（reprojecting）捕获的图像到公共图像平面

程，所述公共图像平面平行于光学中心间的线。立体图像校正最重

点是计算立体对应被减少到一维搜索问题。在两个校正后图像中的

（对应相同的三维目标的二维点）将取决于在两个校正后图像中的

线（具有相同的Y坐标）。

在本发明的任何实施例中，能够实施改善的图像的立体图像校正。

在本发明的任何实施例中，优选地实施各个照相机的照相机校准。照

根据本发明的第二方面，一种用于获得具有关注目标的改善的深度精

-多个成像设备，该成像设备包括用于用于取得关注目标的第一图像 的第一

度的立体图像的系统，包括：

相机校准通常为确定照相机内在和外在参数的过程，该参数描述为从真实

世界三维点到在捕获的图像中的二维点的映射。

上的过

要的优

对应点

相同的

的成像位置集合，从位于固定的位置的多个照相机中选择两个照相机的组

合，一第三照相机和一第四照相机，所述多个照相机包括第一和第二照相

机，并从所选择的两个照相机成像关注目标。优选地可以选择最接近各自

的改善的成像位置的照相机。所述第三和第四照相机可以包括第一和/或第

二照相机。

成像设备和用于用于取得关注目标的第二图像的第二成像设备；

-基于第一图像和第二图像，用于获取关注目标的粗略深度的粗略深

装置；

-基于粗略深度，用于确定对应所述关注目标的改善的深度精度的改善

-用于控制多个成像设备的控制装置，所述多个成像设备答复从确定

收的改善的成像位置集合，以从对应于改善的成像位置集合的位置

注目标。

根据本发明的一个实施例，控制装置包括用于移动所述第一和/或第二

根据本发明的实施例，控制装置包括用于从多个成像设备中选择第三

根据本发明的实施例，所述系统在所述立体照相机设置中可包括多于

的成像位置集合的确定装置；

度获取

装置接

成像关

成像设备到改善的成像位置集合的装置。根据实施例，所述系统恰好包括

两个成像设备。

和第四照相机的装置，以及用于移动所述第三和第四照相机到改善的成像

位置集合的装置。

两个的成像设备（例如照相机）。在改善的照相机位置集合的确定后，基

于例如到最优成像位置的各个照相机的附近，和/或为照相机关于其他照相

机被移动的无障碍的考虑，可以在多个照相机中选择出两个照相机的集合。

在所述多个照相机中选择出两个照相机的集合的选择后，则能够带来

于（通常能够移动到）各个改善的成像位置的所述第三和/或第四照

集合。

对应

相机的

所述系统还可以进一步包括引导装置，沿着该导引装置多个成像设备

根据本发明的另一个实施例，多个成像设备中的每一个位于固定位置；

并且控制装置包括用于从多个成像设备中选择出两个成像设备的选择装

置，所述被选择的两个成像设备的位置最优地对

集合。

中的至少一个成像设备可被引导。所述引导装置可被定位从而它对应所述

第一位置和所述第二位置。所述引导装置优选为直的。在另一视图中，所

述引导装置可允许至少第一和/或第二成像设备沿着直线的移动。所述引导

装置可允许多个成像设备中的所有成像设备的移动。这可优选地沿着直线。

应于所述改善的成像位置

根据本发明的优选实施例，多个成像设备中的每一个沿着直线定位。

所述方法和系统也可用于在捕获的场景中的多个关注目标。不同的关

本发明的进一步方面通过从属权利要求描述。从属权利要求的特征，

附图说明

注目标可通过应用涉及平行于不同目标的单个关注目标的公开的方法处

理。该方法则可通过使用根据本发明的第二方面的包括多于两个（例如三

个或四个）照相机的单个系统或多个这样的系统被应用。例如当涉及两个

关注目标时，单个系统可使用包括四个照相机，其中两个照相机的第一子

系统能够关联到第一关注目标，两个照相机的第二子系统能够关联到第二

关注目标。

任何独立权利要求的特征和其他从属权利要求的任何特征可被组合，对于

本领域技术人员而言认为是适当的，而不仅仅作为权利要求定义的特定的

组合。

附图用于描述本发明的实施例。

图1，图2和图3提供为两个照相机中心之间的不同距离，作为关注

深度的函数说明深度精度参数的演化的曲线图。

图4提供了本发明的一方面的示意图，在该示意图中两个成像位置间

是变化的以改善深度精度。

图5提供了本发明的一方面的示意图，在该示意图中两个成像位置间

是变化的以为在场景中到处移动的关注目标改善深度精度。

具体实施方式

当结合各自的附图阅读时，本发明上述和其他有利的特征和目标将变

本发明多个方面的描述通过特定实施例和参考某些附图的方式实施，

通常深度测量的精度不是均匀地分布在整个深度范围内。在最先进的

本公开的优选实施例包括适合于为整个捕捉场景提取深度的基本的立

体照相机设置。因为立体照相机设置潜在地还没有聚焦在关注目标上，相

当可能的是关注目标的深度没有用最优的精度捕获。通过自动地调节立体

技术中，因此非常类似的是关注目标（例如视频会议期间的人脸或在演出

期间中的人体）的深度不是用最优的深度精度测量的，因为关注目标可在

被捕捉的场景中到处移动。

但是本发明并不局限于此。描述的图像仅仅是示意性的并且不应当作为限

制考虑。

得更明显，并且从下面的详细描述中本发明将被更好地理解。

的距离

的距离

目标的

照相机设置中的照相机间的距离，可自动地调整深度范围，在该深度范围

中，关注目标的深度被用最优精度测量。初始和粗略的深度的估计被用于

作为初始的指示器，关注目标存在于该指示器中，并且作为深度测量中的

最优精度所需要的结果。

根据优选实施例，设置被反复调整以便导致关注目标的最优的深度精

根据优选实施例，在跟踪关注目标以用最优精度保持这些关注目标在

在图1-3的曲线图中说明了理论模型。在这些曲线图中为不同基线距

B和C；分别对应40mm，4mm和1mm）说明了深度精度与深度

离（A，

之间的

均地分

的距离。

深度范围中的同时，立体照相机的设置可连续地调整。

度。

关系。这些图指出在立体照相机设置中在深度测量中的精度不是平

布于整个深度范围上，并且依赖于在立体照相机设置中的照相机间

曲线图在X轴上（图1：0-50mm；图2：0-200mm；图3：0-500mm）

描绘的深度范围不同。例如在图1中示出，为了更大的深度值，线B比线

C显示出更好的（更低的）深度分辨率（更高的精确度）。这意味着用于

测量更大的深度值，可增加立体照相机设置中照相机间的距离（在这种情

况下从1mm-线C-到4mm-线B）。注意到线B在一个大约10mm的

小的深度值处停止。这是部分地因为在根据线B的设置中照相机被放置得

太宽，以致于邻近的目标在立体照相机设置的照

且因此深度测量无法进行。 相机两者中都不可见，并

改变基线的另一原因可能是由于照明的改变，或由于被遮避的邻近目

标的部分的精度损失。在这种情况下可能需要在立体照相机设置中的照相

机之间使用更小的距离。例如可使用根据线C的设置。

附图基于下面描述的关系。两个照相机提供一个场景的两个图像，所

关注目标能够分别被辨认为第一和第二照相机的图像中的二维点m和

假设二维点m的坐标为(x,y)，对应二维点m’的坐标为(x’,y’)。在图像

图4中提供了一个进一步的例子，其示出具有初始设置（1）的立体照

相机。所述附图同样示出通过立体照相机中两个照相机中的一个获得的图

像之一，该图像具有是人脸的关注目标。关注目标可通过最先进的识别技

术（例如人脸识别技术）被检测和指示。但是立体照相机的初始设置（1）

对于关注目标的最优深度测量是不够的。立体照相机的当前设置（1）的深

度测量的最优精度位于不同于我们的关注目标属于的范围的深度范围。但

是，具有基线b的当前设置（1）提供关注目标深度的粗略估计，因而立体

照相机设置能够被自动地调整到设置（2），该设置提供关注目标所属于的

深度范围中的更好的甚至最优的深度精度。立体照相机的具有基线b’的新

设置（2）中的深度范围展示它的深度测量中的最优精度，该最优精度现在

更好地符合所述关注目标所属于的深度范围，因

域中该最优精度在其中所需要的准确的深度测量。

的立体校正之后，y和y’能够带入到对应中，并且视差可由d＝|x-x’|给出。

然后深度z可由z＝(b＊f)/d给出，其中b为照相机之间的基线，以及f为在

图像校正后获得的焦距。焦距f＝分辨率/2tan(Ω/2)，其中Ω代表视野。在

摄影中，视野描述了一个通过照相机成像的给定场景的环形区域（也就是

公知的视角）。

m’。相对于某些全局参考系统，则能够计算出对应于关注目标的真实位

置的三维点M的三维坐标。

述两个图像至少是重叠的并且两者都包括关注目标。优选地所述图像包括

关注目标的至少某些共同特征。

此导致在捕获的场景的区

如图5所示，如果一个关注目标（例如一个人）在场景中正在到处移

照相机之间的距离的相应调整可能是必要的。例如当人进一步远离

时，能够通过增加基线距离b到b’（b’>b），朝向设置（2）改变

（1）。当人更接近照相机时，能够通过再一次减小基线距离b’到b”

根据本发明的实施例允许在场景中具有深度测量中的最优精度的关注

过多数量的照相机和处理能力因此不再需要。

虽然在此描述的一些实施例包括一些但不是在其他实施例中包括的其

而与具体的实施例相关的本发明的原理在上文已体现，能够清楚地理

解的是这些描述仅仅是通过举例的方式，而不是作为通过附加的权利要求

确定的保护范围的限制。

他特征，但是如本领域技术人员能够理解的，不同实施例的特征的组合意

为仍然落入本发明的范围中，并且形成不同的实施例。

目标的捕获，无论在哪里所述目标都属于该场景，以及独立于场景中关注

目标的移动。当关注目标走得更接近时，照相机之间的距离减小。当关注

目标移动的更远时，照相机之间的距离增加。

（b”<b’），再一次朝向设置（3）改变设置（2）。如果所述人比在设置

（1）中走得更近，基线距离b”将比b更小（b”<b）。关注目标例如可以

是在他的椅子上向前和向后倾斜的一个人。通过使用最先进的目标识别和

跟踪技术在捕获的场景中跟踪（或预测）关注目标的位置，并且例如自动

地通过调整立体照相机设置，展示深度测量中的最优精度的深度范围可与

场景中关注目标的移动和位置保持一致。

动，在

照相机

设置