基于手机内置多传感器的瞬时心率估计

admin管理员组

文章数量:1530517

2024年7月26日发(作者：)

基于手机内置多传感器的瞬时心率估计

李相泽;蒲宝明;杨东升;于旭蕾;王帅

【摘 要】This paper presents a novel method for instantaneous heart rate

estimation(IHRE)because of the diffi-culty in estimating by pulse wave

signals captured by smartphone this method,the Android

camera and accelerometer sensors are used in camera

collects the photoplethysmography(PPG)signals of a body,and the

accelerometer sensor,built into the smartphone,calculates the respiratory

wave signals of the abdo-men,which are taken as the carrier

variable frequency complex demodulation(VFCCM)demodulates PPG

signals to obtain the instantaneous heart rate compared with

traditional short-term autocorrela-tion(STA)method,the error of the

efficiency of the IHRE method was decreased by 14.3%and the accuracy

rate was increased by 11.5%,using the traditional EGG method as a

ore, in Android smartphones, the IHRE method can

effectively and accurately estimate the instantaneous heart rate.%针对仅使

用智能手机摄像头提取脉搏信号很难进行瞬时心率估计的问题,本文提出一种融合

摄像头传感器与加速度传感器的瞬时心率估计方法(instantaneous heart rate

estimation,IHRE).该方法通过手机摄像头采集人体体表光电容积脉搏波信号

(photoplethysmography,PPG),通过手机内置的加速度传感器计算人体腹部呼吸

信号.将呼吸信号作为载波信号,采用变频复解调方法(variable frequency complex

demodulation,VFCDM)解调PPG信号,得到瞬时心率信号.实验结果表明:以传统

ECG方法为基准,IHRE方法比传统短时自相关方法(short-term auto-

correlation,STA)有效率误差降低14.3%,而准确率提高11.5%.因此,IHRE方法可

以在Android智能手机上实现有效和准确地的瞬时心率估计.

【期刊名称】《哈尔滨工程大学学报》

【年(卷),期】2018(039)004

【总页数】6页(P730-735)

【关键词】安卓摄像头传感器;加速度传感器;脉搏波信号;呼吸波信号;瞬时心率估计;

智能手机

【作 者】李相泽;蒲宝明;杨东升;于旭蕾;王帅

【作者单位】东北大学计算机科学与工程学院,辽宁沈阳110819;东北大学计算机

科学与工程学院,辽宁沈阳110819;中国科学院沈阳计算技术研究所,辽宁 沈阳

110168;中国科学院沈阳计算技术研究所,辽宁 沈阳110168;沈阳工学院信息与控

制学院,辽宁沈阳113122;中国科学院沈阳计算技术研究所,辽宁 沈阳110168

【正文语种】中 文

【中图分类】TP311

瞬时心率是指一个心动周期内的每搏心率。我们可以通过瞬时心率判断心脏每搏的

细微差别，从而衡量心脏及相关血管系统的健康状态。通常，采用专业级设备或者

智能手机软件测量的心率均为平均心率，它只是一段测量时间内心率的平均值[1]。

平均心率只能近似表征心脏搏动情况，无法提供心脏每搏细节信息。因此，瞬时心

率的便携检测对每个人都有重要意义。

传统专业级传感器乃至医疗级传感器会对使用者产生额外负担[2]，并且无法随时

随地提供瞬时心率检测功能。智能手机已经集成加速度计、磁力计、摄像头传感器

等10余种传感器[3-4]。通过手机内置的多传感器，可以实现各种人体生理信号及

参数的采集和计算。智能手机已经成为一种移动生理健康感知及计算平台。

在智能手机平台，学者们已经展开了许多关于运动健康方面的研究。LUIS等通过

手机加速度传感器计算人体呼吸信号[5]。NAM Y等[6]通过采集iPhone4S手机

摄像头的绿光脉搏波估计呼吸率。LIU等[7]采用智能手机前置和后置摄像头估计

脉搏波传导时间。通过以上研究可知，现有研究对手机平台瞬时心率计算研究很少，

特别是无先验条件下的瞬时心率估计方面研究。

针对以上问题，本文提出一种基于智能手机内置摄像头传感器及加速度传感器的瞬

时心率估计方法。在不使用外接传感器条件下，该方法提供智能手机瞬时心率检测

功能。采用解调原理，对智能手机摄像头采集的PPG信号进行逐拍解调，从而获

得瞬时心率结果。

1 IHRE方法信号采集

本文首先使用手机摄像头和加速度传感器，分别计算集胸部近表皮的PPG信号和

呼吸波信号；其次，通过VFCDM对PPG信号进行解调。最终，得到逐拍心率数

据，即瞬时心率数据。

1.1 基于手机摄像头的PPG信号提取

手机摄像头采集PPG波形的基本原理：将手机闪光灯作为入射光源，与闪光灯同

侧的手机摄像头作为近表皮血管灌注图像采集器。随着心脏的舒张，近表皮图像会

反应血管灌注特性。从而，手机摄像头可以根据所采集图像明暗变化表征血管灌注

情况。

搭载安卓系统的手机，摄像头的原始格式为YUV格式(Y表示亮度，U、V分别表

示色差)，并不是RGB三色光格式。需要通过矩阵变换：

(1)

将手机摄像头采集的YUV格式血液灌注图像，转换为RGB格式，才能通过计算

红光(R)或者绿光(G)像素值，得到相应的PPG波形。

文献[3-4,7]已经证明绿光或者红光是手机摄像头采集人体指尖脉搏波的最佳光源。

可见光入射人体后，血小板和胆红素等人体组织吸收部分入射光，摄像头接收到的

反射光主要来源于人体组织中骨胶原成分的散射作用。骨胶原在人体表皮中各个层

次均有分布，采用波长较长的入射光才能接收到相对完整灌注信息。而红光波长为

620～750 nm，绿光波长为500～560 nm。因此，本文采用红光作为摄像头采集

PPG信号的主要光源。

设红光R分量提取的PPG信号为F(n)，将每帧图像的红光光强均值作为PPG信

号中的一点，则PPG信号公式为

i=1,2,…,a， j=1,2,…,b

(2)

式中：F(xi,yj)为像素点(xi,yj)的光强值；a和b分别为手机摄像头所采集图像的长

和宽，像素；n∈(1,N)为采样的帧数。如图1所示为摄像头采集的红光PPG信号。

其中，每个心动周期内均包含明显的重播波波峰和主峰。

图1 摄像头提取的红光PPG信号Fig.1 The red PPG signal captured by

smartphone camera

1.2 基于手机摄像头的PPG信号提取

呼吸波是一种重要的人体生理信号，它反映人体当前状态下呼吸系统状态，是人体

气体能量交换的主要方式。人体呼吸过程中，胸腔会随着呼气、吸气动作而呈现伪

周期起伏规律。

如图2中，1号箭头所示为呼气后胸腔位置，2号箭头所指为吸气后胸腔位置，3

号箭头所指为手机摄像头，4号箭头所指为智能手机。图1中人体胸腔下方，5号

双向箭头所指位移即为胸腔一呼一吸的位移。由于胸腔起伏是呼吸状态的物理表达，

因此，本文采用智能手机的加速度传感器计算每次呼吸胸腔的合加速度，得到胸腔

位移，从而计算出呼吸波信号。

首先，在计算合加速度之前，需要去除加速度传感器各个轴向的重力干扰。在

Android4.0以上版本系统中，采用陀螺仪对加速度传感器进行校正，并提供去除

重力分量之后的纯净加速度数据。采用Android4.0中的

LINEAR_ACCELERATION方法获得去除重力干扰的三轴向加速度数据。

其次，计算手机当前的合加速度值，其计算公式为

(3)

式中：cz为加速度传感器沿Z轴加速度，by为加速度传感器沿Y轴加速度，ax

为加速度传感器沿X轴加速度。如图2所示，手机摄像头侧紧贴胸腔外侧，垂直

手机屏幕向外为加速度传感器Z轴正向，即图2中Z轴箭头所示。垂直Z轴向手

机摄像头侧，顺时针方向分别为加速度传感器X轴正向及Y轴正向。

图2 呼吸波提取示意图Fig.2 Respiratory wave extraction diagrammatic

sketch

最后，计算时域位移得到呼吸波信号。每个位移值均为呼吸波纵轴幅值。本文采用

合加速度信号的频域积分进行胸腔位移计算，从而获得呼吸波信号。将合加速度信

号进行快速傅里叶变换，并对加速度频域信号进行两次积分，得到位移的频域公式

为

(4)

(5)

式中：k为加速度信号频域的频率顺序。比如，原点取k=0；从频域左侧到右侧，

对应第一个非零频率点，取k=1，以此类推。

对位移的频域信号s(n)做傅里叶反变换可得到时域内的位移信号，即得到时域内呼

吸波形R(n)。如图3所示，为加速度传感器计算的呼吸波时域波形。其中，点表

示呼吸波波峰，两个呼吸波波峰之间为一个呼吸周期。

2 IHRE中瞬时心率的计算

PPG信号作为反映人体血液循环情况的一种外部表现，它蕴含丰富的生理信息。

PPG信号是由多种生理信息混合而成。根据文献[8]，PPG信号主要由心率成分、

呼吸成分及其他噪声组成。根据这一思想，只需将PPG信号中的呼吸成分滤掉，

就可以得到对应的心率成分。并且，解调信号解调时间窗口满足心率搏动生理特征，

即可从PPG信号中解调瞬时心率成分,如图4所示。

图3 加速度传感器提取的呼吸波波形Fig.3 Respiratory wave computed by

acceleration sensor

图4 IHRE算法流程图Fig.4 The flow chart of IHRE algorithm

由于安卓手机摄像头传感器采集的PPG信号的采样频率为30/Hz，而加速度传感

器采集的采样频率为300/Hz。因此，在IHRE中，需要对低采样率的PPG信号进

行数据校准。本文采用三次样条插值法[9]实现数据校准功能。数据校准后，得到

频率为300/Hz的PPG信号。然后，采用相同采样率的呼吸波信号和PPG信号进

行解调计算。

VFCDM方法[10]是一种变频复解调方法。PPG信号作为一种窄带信号，可通过若

干余弦信号调制而成。人体PPG信号属于低频信号，并且每个人的PPG频率中心

均不同，正常人PPG信号频率一般为0.5～2 Hz。根据VFCDM基本原理[11]，

PPG信号可以表示为

(6)

式中：f(τ)为PPG信号的频率函数，A(n)为瞬时幅值，φ(n)为瞬时相位，DC(n)为

直流分量。

在式(6)的左右两边同时乘以则脉搏波信号F(n)变为

(7)

通过可以改变脉搏波信号F(n)的中心频率。在频谱范围内，Z(n)的中心频率更接近

0。如果将式(7)通过一组截止频率为fc

波后的信号Zlpf(n)只包含瞬时幅值A(n)和瞬时相位φ(n)。通过信号Zlpf(n)，可

以求得具体瞬时幅值A(n)和瞬时相位φ(n)：

(8)

A(n)=2Zlpf(n)

(9)

(10)

式(10)中Im()函数和Re()函数分别计算Zlpf(n)的虚部和实部。从而，可以得到瞬

时频率：

(11)

式中 f0为PPG信号的中心频率。通过低通滤波器的分频段滤波方法，可以得到

PPG信号的中心频率f0[12]。而根据式(11)，IHRE可以得到呼吸信号的瞬时中心

频率fr。

至此，IHRE可以从PPG信号中解调出心率成分。但是，为了计算瞬时心率(即每

个心搏周期的心率)，IHRE需要计算以下两个参数，以得到瞬时心率值：

1) 提取呼吸波的中心频率fr，作为低通滤波器的截止频率上限。用于滤除PPG信

号中的呼吸波成分。同f0类似，采用通频带遍历的方法获得呼吸波中心频率fr。

在式(7)～(11)的推导过程中，截止频率上限是一个重要参数，这个参数决定低通

滤波器滤除呼吸波效果的好坏。

2) 设置解调窗口大小。瞬时心率是每个心动周期内的心率值，而不是几个心动周

期心率的平均值。因此，解调窗口大小直接决定输出心率结果是否为瞬时心率。由

于人体正常心动周期为0.3～1 s，并结合多次实验结果验证。本文设置解调窗口

大小为0.4 s，即每0.4 s的PPG信号和呼吸波信号进行一次解调处理。从而，

IHRE每0.4 s计算出一个心率值，即为瞬时心率值。

根据校准后的PPG信号频率300 Hz，计算出0.4 s对应的采样点数为120。因此，

瞬时心率信号公式为

(12)

其中，w=n+120，n∈[1,N]。

3 实验验证与结果分析

为了对本文提出的IHRE方法进行评价，设计实验如下：邀请12名测试者，年龄

分布为22～29岁。其中，男性7人，女性5人。健康状况良好，无先天心脏病

史。本文采用心电信号计算的瞬时心率作为参考标准，采样频率为300 Hz。通过

计算ECG信号的每个RR间期，获得瞬时心率值。ECG信号的采集设备为HKD-

10L蓝牙双导联心电传感器。PPG信号的采用传感器为手机摄像头，呼吸波的采

集传感器为手机加速度传感器。

以APP的方式，在Android手机上实现IHRE方法及STA方法[13]，并在3款主

流手机上测试上诉两种方法进行可行性及准确性的验证。具体实验过程如下。

1)在静息状态下，每名测试者采集2 min数据。选择3款手机中的一款，进行

PPG数据和加速度数据的采集。同时，记录ECG数据。

2)每名测试者分别进行2 min的节律跳绳运动，待运动停止后，立即进行数据采

集，时间仍为2 min。

3)1次静息状态采集和1次运动后状态采集称为1次数据采集。为保证实验数据的

科学性，每名测试者进行1次数据采集后，休息3 min。换下一款手机重复步骤

1)～3)的实验，直至3款手机均完成实验为止。

3.1 可行性验证与分析

通常正常成人的瞬时心率范围为60～100次/min，本文通过有效率来对IHRE方

法进行有效性评价。如表1所示为3款手机硬件参数。

表1 3款手机硬件参数Table 1 3 phone hardware parameters序号型号

CPU频率/GHz摄像头像素采样频率/(帧·s-1)采样时间/s1三星

NOTE21.61920×108030302红米Note42.11920×108030303魅族

MX42.23840×21603030

设每搏的瞬时心率为r，有效结果记为αi。如果r满足不等式60≤r≤100，则认为

此次瞬时心率计算结果有效，则αi=1；否则，αi=0。从而，有效率计算公式为

(13)

式中：η是有效率;λ为总采样时间内的总的计算次数，本文总采样时间为4 min。

如表2所示，为本次实验的有效率统计。有效率用于表示每次计算的瞬时心率是

否属于正常成人心率范围。在表2中，共计12位测试者，每位测试者使用1款手

机进行瞬时心率估计，同时采用ECG传感器估计瞬时心率，测试数据分别采用

IHRE算法和传统STA算法[13]计算。

表2 有效率统计Table 2 Effective percentage statistics %测试者序号三星

NOTE2IHRESTA[13]ECG红米NOTE4IHRESTA[13]ECG魅族

MX4IHRESTA[13]ECG1100.0084.32100.0092.8678.46100.0091.6783.46100.0

0290.9163.7491.6791.6781.32100.00100.0093.78100.00387.5060.5788.8991.

6784.34100.0083.3375.8491.67483.3362.43100.0081.8173.1491.6790.0084.6

792.31583.3361.45100.0088.8969.8790.9192.3183.7192.31690.9181.36100.0

083.3368.41100.0091.6780.46100.00771.4258.49100.0087.5070.4688.8992.8

681.67100.00891.6762.7891.6790.0082.46100.0090.0080.46100.00985.7161.

87100.0081.8172.8791.6791.6779.4991.671091.6763.14100.0090.0081.9710

0.0088.8978.6488.891191.6762.78100.0084.6270.21100.0091.6783.14100.00

1283.3359.79100.00100.0092.15100.0091.6782.47100.00平均值

87.6265.2397.6988.6877.1496.9391.3182.3296.40

在4 min采样时间内，IHRE方法至少进行4次瞬时心率计算。根据式(13)，计算

每款手机和同步ECG传感器的瞬时心率有效率。在三星NOTE2、红米NOTE4和

魅族MX4平台，IHRE和STA所计算的瞬时心率平均值分别为87.62%和

65.23%、88.68%和77.14%、91.31%和82.32%。与手机实验相对应，同步

ECG传感器的瞬时心率有效率平均值分别为97.69%、96.93%和96.40%。

以ECG传感器的瞬时心率有效率为参考标准，IHRE算法和STA算法分别在三星

NOTE2手机、红米NOTE4手机和魅族MX4手机上的有效率平均值误差分别为

10.07%和32.46%、8.25%和19.79%、5.09%和14.08%。在本文实验的3款手

机中，IHRE方法有效率误差由低到高分别为魅族MX4、红米NOTE4和三星

NOTE2。在3款手机上，两种算法有效率的误差均值约分别为7.80%和22.11%。

根据以上分析可知，IHRE方法较传统STA方法有效性误差更低，从而表明IHRE

方法可以进行更有效的瞬时心率估计。

3.2 准确性验证与分析

准确性是衡量IHRE算法性能的重要指标。通过准确性的描述，可以有效表达

IHRE算法性能。根据文献[14-15]中的绝对误差率公式，通过绝对误差率对本文准

确性进行定量描述，绝对误差率表达式为

(14)

式中:Ei(k)为ECG信号计算的瞬时心率均值，为真实参考值；Si(k)为PPG信号和

呼吸率信号计算的瞬时心率均值，为实际计算值；i=1,2,3表示3款不同的手机，

k=1,2,…,12表示不同的测试者。

如图5所示为IHRE算法的准确率。每位测试者第一至三列数据分别表示三星

NOTE2手机、红米NOTE4手机和魅族MX4手机的瞬时心率准确率。

在图5中，仅有5个准确率低于90%，其余准确率均在90%以上。但是，图5中

存在3处明显异常点。在异常点1处，该测试者使用三星NOTE2计算的瞬时心

率准确率远远低于使用其他两款手机计算的准确率。原因在于该位测试者在测试过

程中，有部分采集时间与人交谈，直接影响加速度信号采集。在异常点2处和异

常点3处，准确率明显低于同组准确率。这是由于第5位测试者和第6位测试者

在使用相应手机测试过程中测试部位移动，导致测试数据部分失真。

图5 IHRE算法准确率Fig.5 The accuracy of IHRR algorithm

以测试者为统计对象，12位测试者的IHRE算法和STA算法准确率如表3所示。

12位测试者的IHRE算法平均准确率为93.38%。其中，第6位测试者的准确率

为89.70%，其余11位测试者的准确率均为90%以上。原因在于该位测试者在使

用魅族MX4手机测试时有部分时间与人交谈，导致所采集数据不稳定。这一点，

在图5的统计中也得到表现。而STA算法的平均准确率仅有81.42%，这主要由

于STA算法在不同机型上的鲁棒性不足，该算法需要根据具体机型设置相应参数。

因此，相比传统STA算法而言，本文提出的IHRE算法在不同型号手机中均具有

良好的准确性。

表3 12位测试者个体准确率Table 3 Accuracy rate of 12 people %序号准

确率IHRESTA序号准确率

IHRESTA195.8082.51796.1886.78293.9881.49894.8183.27392.4580.74993.4

781.46490.7480.111094.1780.46590.5679.641194.0182.46689.7074.361294.

7383.71

4 结论

1) 在智能手机平台上提出并实现了一种基于脉搏波信号与呼吸波信号相融合的瞬

时心率估计方法。

2) 采用ECG信号计算的瞬时心率为黄金标准，采用三星NOTE2、红米NOTE4

和魅族MX4等3款不同品牌手机实际测试本文算法及传统STA算法。实验结果

表明，在3款不同品牌手机上，IHRE算法有效率均高于STA算法，并且IHRE的

平均有效率达到89.2%。

3)以ECG信号为参考信号，本文提出的IHRE算法在三星NOTE2、红米NOTE4

和魅族MX4等3款手机上准确率均高于90%。与STA算法相比，本文提出的

IHRE算法平均准确率提高11.5%。

因此，本文提出的IRHE算法在不同Android手机平台上具有良好的使用效果，

表现出良好的鲁棒性。该方法的提出为使用智能手机内置传感器计算生理参数提供

了一种新思路。

[1] ZHANG Zhilin. Photoplethysmography-based heart rate monitoring in

physical activities via joint sparse spectrum reconstruction[J]. IEEE

transactions on biomedical engineering, 2015, 62(8): 1902-1910.

[2] COUCEIRO R, CARVALHO P, PAIVA R P, et al. Real-time prediction of

neurally mediated syncope[J]. IEEE journal of biomedical and health

informatics, 2016, 20(2): 508-520.

[3] SCULLY C G, LEE J, MEYER J, et al. Physiological parameter monitoring

from optical recordings with a mobile phone[J]. IEEE transactions on

biomedical engineering, 2012, 59(2): 303-306.

[4] JUNIOR A D, MURALI S, RINCON F, et al. Methods for reliable

estimation of pulse transit time and blood pressure variations using

smartphone sensors[J]. Microprocessors and microsystems, 2016, 46: 84-95.

[5] ESTRADA L, TORRES A, SARLABOUS L, et al. Respiratory signal derived

from the smartphone built-in accelerometer during a respiratory load

protocol[C]//Proceedings of the 37th Annual International Conference of

the IEEE Engineering in Medicine and Biology Society. Milan, Italy: IEEE,

2015: 6768-6771.

[6] NAM Y, LEE J, CHON K H. Respiratory rate estimation from the built-in

cameras of smartphones and tablets[J]. Annals of biomedical engineering,

2014, 42(4): 885-898.

[7] LIU He, IVANOV K, WANG Yadong, et al. Toward a smartphone

application for estimation of pulse transit time[J]. Sensors, 2015, 15(10):

27303-27321.

E, MILLECAMPS A, TEOLI J, et al. Assessing interactions among multiple

physiological systems during walking outside a laboratory: an Android

based gait monitor[J]. Computer methods and programs in biomedicine,

2015, 122(3): 450-461.

[9] DRUGMAN T, STYLIANOU Y. Fast inter-harmonic reconstruction for

spectral envelope estimation in high-pitched voices[J]. IEEE signal

processing letters, 2014, 21(11): 1418-1422.

[10] LZARO J, NAM Y Y, GIL E, et al. Respiratory rate derived from

smartphone-camera-acquired pulse photoplethysmographic signals[J].

Physiological measurement, 2015, 36(11) 2317-2333.

[11] WANG Hengliang, SIU K, JU K, et al. A high resolution approach to

estimating time-frequency spectra and their amplitudes[J]. Annals of

biomedical engineering. 2006, 34(2): 326-338.

[12] TARASSENKO L, VILLARROEL M, GUAZZI A, et al. Non-contact video-

based vital sign monitoring using ambient light and auto-regressive

models[J]. Physiological measurement, 2014, 35(5): 807-831.

[13] NAKANO M, KONISHI T, IZUMI S, et al. Instantaneous heart rate

detection using short-time autocorrelation for wearable healthcare

systems[C]//Proceedings of 2012 Annual International Conference of the

IEEE Engineering in Medicine and Biology Society. San Diego, California,

USA: IEEE, 2012: 6703-6706.

[14] XIONG Jiping, CAI Lisang, WANG Fei, et al. SVM-based spectral

analysis for heart rate from multi-channel WPPG sensor signals[J]. Sensors,

2017, 17(3): 506.

[15] YE Yalan, CHENG Yunfei, HE Wenwen, et al. Combining nonlinear

adaptive filtering and signal decomposition for motion artifact removal in

wearable photoplethysmography[J]. IEEE sensors journal, 2016, 16(19):

7133-7141.

本文标签： 信号心率手机传感器呼吸