admin管理员组文章数量:1531466
2024年6月15日发(作者：)
(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(21)申请号 CN2.2
(22)申请日 2012.05.03
(71)申请人 西安电子科技大学
地址 710071 陕西省西安市太白南路2号
(72)发明人 韩红 谢福强 韩启强 张红蕾 顾建银 李晓君 甘露 郭玉言 刘三军
(74)专利代理机构 陕西电子工业专利中心
代理人 王品华
(51)
G06K9/66
G06T7/20
(10)申请公布号 CN 102663453 A
(43)申请公布日 2012.09.12
权利要求说明书 说明书 幅图
(54)发明名称
基于第二代条带波变换和极速学习
机的人体运动跟踪方法
(57)摘要
本发明公开了一种基于第二代条带
波变换和极速学习机的人体运动跟踪方
法，主要解决现有技术的人体运动跟踪中
对视频图像特表示不准确和学习回归函数
时间复度高，跟踪结果不准确的问题。其
实现过程为，首先预处理视频图像，获得
原始关节点三维坐标矩阵Y；提取处理后
视频图像的第二代条带波变换Bandlet2图
像特征X；以提取的Bandlet2图像特征X
为输入，视频图像中人体的三维坐标矩阵
Y为输出，使用极速学习机学习回归函
数；使用极速学习机学习得到的回归函
数，以新的视频图像的bandlet2特征X为
输入，估计出运动人体的三维姿态数据。
本发明较之现有的人体跟踪方法训练过程
快，对图像特征表示准确，可用于运动捕
获，人机交互，视频监控，人体目标识别
和三维姿势恢复。
法律状态
法律状态公告日
法律状态信息
法律状态
权 利 要 求 说 明 书
1.一种基于第二代条带波变换Bandlet2和极速学习机ELM的人体运动跟踪方法包
括如下步骤：
(1)从原始的视频图像中获得人体关节点的三维坐标矩阵Y；
(2)提取原始视频图像的第二代条带波变换Bandlet2图像特征X：
2a)输入
待处理训练视频图像集转换为连续单幅序列图，根据图像内容，判断需要识别的主
要人体目标，提取像素大小为64*192的含有人体的矩形框体，作为之后处理的训
练样本；
2b)对提取后的每个训练样本图像进行二维离散正交小波变换，小波
变换的层数为M，其中M＝1，变换后得到小波采样系数f；
2c)对小波变换后
的图像，采用四叉树划分和自底向上融合法则，按4*4像素大小，将图像划分为
768个子图像块；
2d)对步骤2b)获得的小波采样系数f，做一维离散变换，得
到一维离散变换系数fθ；
2e)对得到的一维离散变换系数
fθ进行量化，得到量化后的一维离散变换系数
n>0
mo>| row> > n> i> i>
其中，T为量化阈值，sign(·)是符号函数，T＝15，q∈Z；
2f)将一维离散变换
系数
优几何流方向d；
2g)将一维离散变换系数在最优几何流方向d上的一维离散变
换系数存储在一个二维矩阵W中，获得整幅图片的Bandelet2系数矩阵W；
2h)提取Bandelet2系数矩阵W在最大几何流方向的统计特征作为最后图像的
Bandlet2图像特征X；
(3)便用极速字习机字习一个从第二代条带波变换
Bandlet2特征X的到人体关节点三维坐标Y的映射关系g(·)，使用g(·)将第j帧的
三维姿势yi用第j帧的第二代条带波变换Bandlet2特征xj
表示，即：
yj＝g(xj)，
其中，Y＝
{y1，...yj，...yn}，X＝
{x1，...xj，...xn}，j∈[1，n]，n为训练视频
图像帧数；
(4)利用学习到的映射关系对新的视频序列做人体运动跟踪：
4a)对新的人体运动视频图像序列，按照步骤2)提取该视频图像序列的第二代
条带波变换Bandlet2特征集X′，使用步骤(3)中学习到的映射关系g(·)，以第j帧的
第二代条带波变换Bandlet2特征x′j为输入，则该视频序列的第j帧的
三维姿势数据y′j，通过下式得到：
y′j＝
g(x′j)，
其中，X′＝
{x′1，...x′j，...x′n}，j∈[1，n]，n为该视频
图像帧数；
4b)重复步骤4a)，获得全部视频图像三维姿态数据，Y′＝
{y′1，...y′j，...y′n}，j∈[1，n]，n为该视频
图像帧数；
4c)将三维人体运动姿势数据Y′＝{y′1，
y′2，...y′n}，转换为人体骨架关节点，恢复出输入视频的
三维运动姿势。
2.根据权利要求1中所述方法，其中步骤3)中所述的使用
极速学习机学习一个从第二代条带波变换Bandlet2特征X的到人体关节点三维坐
标Y的映射关系g(·)，按如下步骤进行：
3a)确定从第二代条带波变换
Bandlet2特征X的到人体关节点三维坐标Y的映射关系g(·)形式：
mi>i
i>x
Math>
其中，yj为视频图像第j帧的三维关节点坐标，
xj为视频图像第j帧的第二代条带波变换Bandlet2图像特征表示，
j∈[1，n]，n为视频帧数，N为极速学习机中需要设定的隐节点个数，N＝5000，
G(·)为隐节点输出函数，βi为第i个隐节点输出函数的权重，
ai、bi为隐节点参数，
对整个视频序列可以将上式写
成一个统一的形式：
Y＝H·β，
其中，Y＝
{y1，...yj，...yn}，为整个视频序列的三维
坐标矩阵，n为该视频图像帧数，β为隐节点输出函数权重矩阵，β＝
{β1，...βi，...βN}T，H为隐节
点输出函数G(·)的输出矩阵；
3b)对隐节点参数ai、bi
随机赋值，其中，i＝1，....5000；
3c)计算隐节点输出函数G(·)的输出矩阵H：
n > mi>a b>
N
mrow>
b> /mi>
N
msub>
o>,> 其中，n为该视频图像帧数，N为极速学习 机中需要设定的隐节点个数，N＝5000，ai、bi为隐节点 参数，i＝1，....5000； 3d)计算隐节点输出函数权重矩阵β： β＝H- 1Y， 其中，β＝ {β1，...βi，...βN}，Y＝ {y1，...yj，...yn}，(·)-1表示矩 阵求逆，N为极速学习机中需要设定的隐节点个数，N＝5000，n为该视频图像帧 数。 说 明 书 技术领域 本发明属于图像处理技术领域，更进一步涉及到计算机视觉领域中实现人体运动跟 踪的一种方法，可用于体育训练和动画制作，视频监控领域。 技术背景 人体运动跟踪是近二十年来计算机视觉领域的重大热点之一，人体运动跟踪在运动 捕获，人机交互，视频监控等多领域获得了初步的应用，并具重大的应用前景。从 视频序列中准确恢复三维人体姿态，实现人体运动跟踪是计算机视觉领域长期存在 的问题。实现人体运动跟踪主要包括两步：第一步是实现对视频图像特征的准确表 示，第二步是学习从视频图像特征到人体姿态的回归函数。 第一步，对于一帧视频图像，人体是视频图像中的核心内容，反映视频图像的核心 语义特征。对于人类来说，观看一帧图像的同时几乎可以瞬间理解其中人物的姿态， 然而对于计算机，却要克服重重困难：必需要有一种有效的图像特征，作为计算机 识别的接口。这种图像特征必须有效表示图像中的人物运动状态以及图像纹理，轮 廓等细节信息。现有图像特征表示方法大致可以分为基于全局特征点方法和基于局 部字码表的特征表示方法，如梯度直方图特征、层级化特征、形状上下文和尺度不 变性特征点的方法。目前已经有很多成熟的图像特征表示方法被运用到人体特征表 示和运动跟踪中。但是大部分描述人体的图像特征表示是基于轮廓和边缘信息的， 在理论上不严谨，很难准确的刻画图像内部信息。这些基于边缘的图像特征表示方 法还面临一个主要问题：视频图像的快速变换常沿边缘曲线不连续性跳跃，一方面 会导致封闭边界的灰度不连续性模糊，另一方面也会导致纹理变化不沿几何曲线聚 集。最终结果是无法有效表示图像中的几何纹理走向，不能全面刻画人在其中的姿 态和特征信息，导致后期的运动跟踪和姿态恢复产生了模糊性和歧义性。 第二步，学习从图像特征到人体姿态的回归函数。回归函数的好坏直接关系到目标 跟踪结果的准确性和学习效率的高低。当前学习回归函数的方法主要有线性回归， 高斯过程回归，双高斯过程回归，高斯隐变量回归，权重最近邻回归，支持矢量机 回归。这些回归方法在学习回归函数的过程中需要使用大量的训练样本，和大量训 练时间，计算复杂度高，获得的回归函数在一定程度上依赖于数据库的复杂程度， 也就是获得的结果稳定性低。 发明内容 本发明针对上述已有技术的不足，提出了一种基于第二代条带波变换和极速学习机 的人体运动跟踪方法，以降低图像特征提取的复杂度，提高特征的表征能力，减少 学习回归函数的时间，提高回归函数的稳定性，并在图像数据分布未知情况下，通 过学习先验进行准确的姿态预测。 本发明技术方案通过如下步骤实现： (1)从原始的视频图像中获得人体关节点的三维坐标矩阵Y； (2)提取原始视频图像的第二代条带波变换Bandlet2图像特征X： 2a)输入待处理训练视频图像集转换为连续单幅序列图，根据图像内容，判断需要 识别的主要人体目标，提取像素大小为64*192的含有人体的矩形框体，作为之后 处理的训练样本； 2b)对提取后的每个训练样本图像进行二维离散正交小波变换，小波变换的层数为 M，其中M＝1，变换后得到小波采样系数f； 2c)对小波变换后的图像，采用四叉树划分和自底向上融合法则，按4*4像素大小， 将图像划分为768个子图像块； 2d)对步骤2b)获得的小波采样系数f，做一维离散变换，得到一维离散变换系数 fθ； 2e)对得到的一维离散变换系数fθ进行量化，得到量化后的一维离散变 换系数 /mo> erDot;
o>
terDot;
a;
其中，T为量化阈值，sign(·)是符号函数，T＝15，q∈Z；
2f)将一维离散变换系数
量化后图像块的最优几何流方向d；
2g)将一维离散变换系数
一个二维矩阵W中，获得整幅图片的Bandelet2系数矩阵W；
2h)提取Bandelet2系数矩阵W在最大几何流方向的统计特征作为最后图像的
Bandlet2图像特征X；
(3)使用极速学习机学习一个从第二代条带波变换Bandlet2特征X的到人体关节点
三维坐标Y的映射关系g(·)，使用g(·)将第j帧的三维姿势yj用第j帧
的第二代条带波变换Bandlet2特征xj表示，即：
yj＝g(xj)，
其中，Y＝{y1，...yj，...yn}，X＝
{x1，...xj，...xn}，j∈[1，n]，n为训练视频
图像帧数；
(4)利用学习到的映射关系对新的视频序列做人体运动跟踪：
4a)对新的人体运动视频图像序列，按照步骤2)提取该视频图像序列的第二代条带
波变换Bandlet2特征集X′，使用步骤(3)中学习到的映射关系g(·)，以第j帧的第二
代条带波变换Bandlet2特征x′j为输入，则该视频序列的第j帧的三维
姿势数据y′j，通过下式得到：
y′j＝g(x′j)，
其中，X′＝{x′1，...x′j，...x′n}，j∈[1，n]，
n为该视频图像帧数；
4b)重复步骤4a)，获得全部视频图像三维姿态数据，Y′＝
{y′1，...y′j，...y′n}，j∈[1，n]，n为该视频
图像帧数；
4c)将三维人体运动姿势数据Y′＝{y′1，
y′2，...y′n}，转换为人体骨架关节点，恢复出输入视频的
三维运动姿势。
本发明与现有的技术相比具有以下优点：
1、在本发明中使用的第二代条带波特征表示方法能够通过几何流准确表示图像的
人体结构信息，根据几何流的图像描述可以避免传统的基于边缘的，或基于轮廓的
图像表示方法产生的表述模糊性，能得到更好的三维运动跟踪结果。
2、本发明由于使用极速学习机学习回归函数，能够通过调节隐节点个数，实现对
不同复杂度的数据库的学习，较现有方法有效的减少了学习时间短，降低了学习过
程中的计算复杂度，提高了学习结果准确性。
附图说明
图1是本发明的实现流程图；
图2是本发明提取视频图像第二代条带波bandlet2图像特征的子流程图；
图3是未经处理的人体行走运动序列视频截图；
图4是用本发明对图3的姿态恢复结果图；
图5是用不同方法对图3恢复结果的关节点误差对比图。
具体实施方式
本发明是一种基于第二代条带波变换和极速学习机的人体运动跟踪方法。
参照图1，本发明的具体实施步骤如下：
步骤一，从原始的视频图像中获得人体关节点的三维坐标矩阵Y。
步骤二，提取原始视频图像的第二代条带波变换Bandlet2图像特征X。
参照图2，本步骤实现如下：
2a)输入待处理训练视频图像集转换为连续单幅序列图，根据图像内容，判断需要
识别的主要人体目标，提取像素大小为64*192的含有人体的矩形框体，作为之后
处理的训练样本；
2b)对提取后的每个训练样本图像进行二维离散正交小波变换，小波变换的层数为
M，其中M＝1，变换后得到小波采样系数f；
2c)对小波变换后的图像，采用四叉树划分和自底向上融合法则，按4*4像素大小，
将图像划分为768个子图像块；
2d)对步骤2b)获得的小波采样系数f，做一维离散变换，得到一维离散变换系数
fθ；
2e)对得到的一维离散变换系数fθ进行量化，得到量化后的一维离散变
换系数
/mo>
erDot; o>
terDot;
a;
其中，T为量化阈值，sign(·)是符号函数，T＝15，q∈Z；
2f)将一维离散变换系数
量化后图像块的最优几何流方向d；
2g)将一维离散变换系数在最优几何流方向d上的一维离散变换系数存储在一个二
维矩阵W中，获得整幅图片的Bandelet2系数矩阵W；
2h)提取Bandelet2系数矩阵W在最大几何流方向的统计特征作为最后图像的
Bandlet2图像特征X。
步骤三使用极速学习机学习一个从第二代条带波变换Bandlet2特征X的到人体关
节点三维坐标Y的映射关系g(·)：
3a)确定从第二代条带波变换Bandlet2特征X的到人体关节点三维坐标Y的映射关
系g(·)形式：
mi>g
mo>
ub> mi>
其中，yj为视频图像第j帧的三维关节点坐标，xj为视频
图像第j帧的第二代条带波变换Bandlet2图像特征表示，j∈[1，n]，n为视频帧数，
N为极速学习机中需要设定的隐节点个数，N＝5000，G(·)为隐节点输出函数，
βi为第i个隐节点输出函数的权重，ai、bi为
隐节点参数，
对整个视频序列可以将上式写成一个统一的形式：
Y＝H·β，
其中，Y＝{y1，...yj，...yn}，为整个视频序
列的三维坐标矩阵，n为该视频图像帧数，β为隐节点输出函数权重矩阵，β＝
{β，...βi，...βN}T，H为隐节点输出函数
G(·)的输出矩阵；
3b)对隐节点参数ai、bi随机赋值，其中，i＝1，....5000；
3c)计算隐节点输出函数G(·)的输出矩阵H：
> i> mo>. msub> mtd> >, mi>n > ced> o>> 其中，n为该视频图像帧数，N为极速学习机中需要设定的隐节点个数，N＝5000， ai、bi为隐节点参数，i＝1，....5000； 3d)计算隐节点输出函数权重矩阵β： β＝H-1Y， 其中，β＝{β1，...βi，...βN}，Y＝ {y1，...yj，...yn}，(·)-1表示矩 阵求逆，N为极速学习机中需要设定的隐节点个数，N＝5000，n为该视频图像帧 数。 步骤四利用学习到的映射关系对新的视频序列做人体运动跟踪： 4a)对新的人体运动视频图像序列，按照步骤2)提取该视频图像序列的第二代条带 波变换Bandlet2特征集X′，使用步骤(3)中学习到的映射关系g(·)，以第j帧的第二 代条带波变换Bandlet2特征x′j为输入，则该视频序列的第j帧的三维 姿势数据y′j，通过下式得到： y′j＝g(x′j)， 其中，X′＝{x′1，...x′j，...x′n}，j∈[1，n]， n为该视频图像帧数； 4b)重复步骤4a)，获得全部视频图像三维姿态数据，Y′＝ {y′1，...y′j，...y′n}，j∈[1，n]，n为该视频 图像帧数； 4c)将三维人体运动姿势数据Y′＝{y′1， y′2，...y′n}，转换为人体骨架关节点，恢复出输入视频的 三维运动姿势。 本发明的效果可以通过以下仿真实验得到验证： 1)仿真实验条件设置：本发明的仿真实验在Matlab 2010a上编译完成，执行环境为 Windows框架下的HP工作站。本发明仿真实验所用的视频图像来自美国布朗大学 的HumanEva数据库，原始图像大小为640×480，预处理后，提取原始图像中含有 人体的大小为64*192部分。本实验采用的原始视频人体运动姿态如图3所示，其 中图3a是行走视频序列第10帧的截图，图3b是行走视频序列第20帧的截图，图 3c是行走视频序列第30帧的截图，图3d是行走视频序列第40帧的截图。 2)仿真内容及结果 仿真一，使用本发明对图3中“行走”的人体运动视频图像进行姿态恢复，恢复结果 如图4。图4a是使用本方法对行走视频序列第10帧的恢复结果图，图4b是对行 走序列第20帧的恢复结果图，图4c是对行走序列第30帧的恢复结果图，图4d是 对行走序列第40帧的恢复结果图。 从图4中可以看出，恢复结果准确，没有歧义姿态出现，说明使用本方法可以实现 对运动人体的准确跟踪。 仿真二使用本发明和其他现有的方法对图3中的人体视频图像进行跟踪，跟踪结果 误差如图5所示。 从图5可以看出，使用高斯过程GP学习回归函数，恢复出的人体姿态关节点误差 较大，平均误差达到44mm；使用本方法学习回归函数，恢复出人体姿态关节点误 差小，平均误差30mm。整体而言，在该序列上已经将误差水平控制在平均30mm 左右，达到了当前的公认的良好量化指标。 综上，本发明在降低图像特征提取的复杂度的同时，提高了特征的表达能力，并在 图像数据分布未知情况下，通过学习先验进行准确的三维姿态预测，减小了图像表 示的模糊现象。本发明具有人体运动跟踪快速，结果精确，节省特征提取时间的优 点，该技术可以进一步用于人体目标识别。
版权声明：本文标题：基于第二代条带波变换和极速学习机的人体运动跟踪方法 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/shuma/1718428816a679600.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论