通过人脸识别技术限制重复投票的电子投票系统的设计

admin管理员组

文章数量:1531791

2024年5月31日发(作者：)

通过人脸识别技术限制重复投票的电子投票系统的设计

祝江土

【摘 要】将人脸识别技术应用于电子投票系统中,限制重复投票行为.首先分析了该

电子投票系统的结构,给出了人脸识别技术在限制重复投票行为中的应用场景.针对

电子投票系统对人脸识别算法的需求以及投票人图像采集背景简单和光照变化较小

的特点,分析了适用于本系统的基于AdaBoost的人脸检测方法以及基于特征脸的

人脸识别方法,给出了通过OpenCV实现的基于人脸识别方法的身份认证子系统的

设计流程,并介绍了基本投票子系统各模块的功能.最后对身份认证子系统的性能进

行了分析.%Face recognition technology is applied in the electronic voting

system to restrict repetitious voting operations. The structure of the

electronic voting system is firstly analyzed and then the application

scenario of face recognition technology in restricting repetitious voting is

introduced. For the electronic voting system's requirements on face

recognition algorithm and the characteristics that the background of the

voters' images is simple and the illumination condition varies little, this

paper analyzes face detection method based on AdaBoost and face

recognition method based on Eigenface respectively, both of which meet

the requirements of this system, presents the design flow of the identity

recognition sub-system based on face recognition with OpenCV, and

describes functions of each model of the basic voting sub-system briefly.

Finally, performance analysis of the identify recognition sub-system is

shown in this paper.

【期刊名称】《电子测试》

【年(卷),期】2017(000)009

【总页数】5页(P40-44)

【关键词】电子投票系统;人脸识别;人脸检测;重复投票;身份认证

【作 者】祝江土

【作者单位】浙江九阳光电有限公司,浙江衢州,324100

【正文语种】中 文

传统的投票系统通过发放纸质的选票的方式进行，通过人工方式对投票结果进行统

计。这种方式费时费力，统计出错的概率较大。

随着计算机技术和电子技术的发展，自动的电子投票系统可以克服人工投票系统的

弊端，由电子投票机代替传统的投票箱，投票过程和投票结果统计完全由电子设备

自动完成。但是，如何避免同一投票人多次重复投票成为该系统投票统计结果可信

度的关键因素。

为了提高自动系统投票统计结果的可信度，限制同一投票人多次重复投票，需要对

投票人的身份进行判断，例如可以通过刷卡、指纹等身份信息判定投票人是否为重

复投票。在人体特征信息中，指纹、虹膜等信息是目前已知的具有唯一性的人体特

征，但提取这种人体特征需要投票人在投票前主动验证身份，比如指压指纹采集仪，

并且人的十只手指指纹不尽相同，不同的手指可能输出不同的识别结果，因此无法

避免同一个人重复投票。而虹膜虽然是可靠性较高的生物识别技术，但是要求投票

者的眼睛对准虹膜图像采集仪，给投票操作带来诸多不便。

人体的面部特征的唯一性虽然不及指纹和虹膜，但从统计角度看，其重复率也较低，

因此在中小规模的投票活动中可以作为身份识别的依据。本文所设计的电子投票系

统即通过人脸识别技术限制重复投票行为，增加投票结果的可信度。安装在电子投

票机前的摄像头采集投票人的图像信息，提取投票人的人脸图像，与已完成投票的

投票人的人脸图像比对，以此判断当前投票人是否为首次投票。通过人脸图像限制

重复投票的方式，投票人无需额外操作，满足了系统无操作要求的特点。

1.1 系统结构

本文所设计基于人脸识别技术的投票系统在传统的电子投票系统之上增加了身份判

别环节，用于判断当前投票人是否为重复投票，若为重复投票，则屏蔽该投票人的

投票操作。因此，该系统包含身份认证子系统和基本投票子系统两部分，如图1

所示。

投票操作的流程包括了身份认证和基本投票操作两个阶段。身份认证阶段对当前投

票人的是否为首次合法投票进行认证，通过人脸识别技术实现。安装在电子投票机

前的摄像头采集当前投票人的图像，身份认证子系统检测并提取当前投票人的人脸

图像，通过人脸识别算法判断所提取的人脸图像是否存在于由已经完成投票的投票

人的人脸图像组成的人脸数据库中，若存在，表明当前投票人为二次或多次投票，

系统屏蔽基本投票操作；否则，为首次正常投票。系统的操作示意和实现流程分别

如图2、图3所示。

1.2 系统需求

目前，人脸识别算法无法达到100%的准确性，最好的人脸识别系统也必须在一定

的系统环境下达到最佳的识别效果。因此，本文将人脸识别技术应用在限制电子投

票系统的重复投票中，亦是在一定的条件下，尽可能的限制重复投票行为的发生。

1）识别率：此系统不要求能够识别待识别目标的具体身份，只要判断待识别人脸

是否在人脸数据库中即可。此处将识别率定义为正确区分待识别人脸是否存在于人

脸数据库的比率。误识主要包括两个方面：将不在人脸数据库中的待识别人脸误判

为存在于人脸数据库，导致正常的首次投票无法完成；将存在于人脸数据库中的待

识别人脸误判为不在人脸数据库中，重复投票行为发生。出于对投票结果可信度的

考虑，应尽可能避免第二种误判的发生。

2）识别时间：电子投票系统要求对投票人身份判别的时间要求尽可能短，要求在

数秒时间内对投票人是否为重复投票做出判断，识别时间应控制在3s以下。

3）训练集构造：训练集由已经完成投票的投票人的人脸图像构成，由于无法要求

投票人主动配合采集不同表情、不同姿态的训练样本，为了尽可能提高训练分类器

的分类精度，系统设计时采用多摄像头策略。由多个摄像头采集不同角度的图像，

尽可能克服姿态对识别结果的影响。

基于人脸识别技术的去伪电子投票系统包括身份认证子系统和基本投票子系统两大

部分。身份认证子系统的功能是对投票人是否为首次合法投票进行认证，从而决定

当前投票人是否有权投票，主要包括投票人图像采集、人脸图像检测与提取以及身

份判别三个部分组成。基本投票子系统部分提供管理员对投票过程的管理、结果统

计与发布、投票操作人机界面等功能。

2.1 投票人图像采集

当投票人准备投票时，摄像头采集投票人的图像，借助OpenCV工具可以方便从

摄像头的视频数据流中捕获投票人图像数据。如前文所述，为了消除拍摄角度对识

别精度的影响，系统采用了多摄像头策略，在投票人的正前方、正前方左、右侧分

别安装摄像头，分别捕获不同角度的人脸图像，尽可能获得正面人脸图像，三摄像

头的安装示意如图2所示。

2.2 人脸图像检测与提取

人脸识别的前提是从采集的投票人图像数据中检测人脸的位置并提取人脸图像数据。

人脸检测算法主要有：基于知识的方法、模板匹配方法和基于统计的方法等。基于

知识的人脸检测方法通过对人脸的先验知识得到的人脸判决规则实现对图像中人脸

的检测，如，Yang 和 Huang 在[1]中提出的基于知识的分层人脸检测方法。基于

模板匹配的方法中，预先得到了描述人脸特征的的标准模板，通过计算待检测图像

与标准模板的相关性实现人脸的检测，如静态模板法[2-3]和弹性模板法[4-5]。基

于统计的人脸检测方法则是首先通过大量“人脸”和“非人脸”样本训练分类器，

训练好的分类器对待检测图像所有可能位置进行“人脸”和“非人脸”的分类，从

而实现人脸的检测，如，特征子空间法、人工神经网络、支持向量机等。

在该自动投票系统中，所采集的投票人图像的背景相对简单，光照条件较好，但要

求人脸检测具有较高的实时性。Viola and Jones 提出的基于简单矩形特征和

AdaBoost的人脸检测系统检测准正面人脸的速度达到了每秒15帧以上[6]，可以

满足系统实时性要求，本系统将采用此算法实现人脸的检测。

AdaBoost人脸检测方法是一种基于积分图、级联检测器和AdaBoost算法的方

法，其基本思想是将大量分类能力一般的弱分类器通过一定方法组合起来，构成一

个分类能力很强的强分类器，再将若干个强分类器级联成分级分类器，完成图像的

搜索。通过级联强分类器进行人脸检测过程如图4所示。

2.3 身份判别

身份判别的作用是根据提取的人脸图像搜索人脸数据库，根据人脸识别算法判断当

前人脸图像是否存在于人脸数据库中，若存在表明为重复投票，若不存在表明为首

次投票，判断过程通过人脸识别技术实现。

基于特征脸（Eigenface）[7]的人脸识别方法由和nd提出，直

到现在仍然是最流行的人脸识别算法之一，已经成为事实上的基准测试算法，但其

性能容易受到光照和面部姿态变化的影响。Belhumeur等在PCA（principle

components analysis ）的基础上，采用线性判别分析（LDA, linear

discriminant analysis）的方法对人脸进行识别，提出的Fisherface方法[8]同样

也是目前主流的人脸识别方法之一。基于Gabor小波变换和弹性图匹配的人脸识

别方法较好地利用了人脸的结构信息和局部灰度分布信息，具有良好的识别效果，

其缺点是时间复杂度高，实现复杂。基于局部特征分析的方法也

基于AdaBoost的人脸检测算法获得了很高的实时性，但训练过程相对复杂，

OpenCV提供的函数和分类器为人脸检测提供了方便，人脸检测过程包含以下三

个步骤：加载分类器、加载待检测图像以及检测。

1）加载分类器，OpenCV提供的“haarcascade_frontalface_ ”文件是

使用自举分类器的级联对“人脸”前脸特征进行学习训练所得到的分类器的参数，

通过cvLoad函数载入该文件。

2）加载待检测图像，通过cvLoadImage函数分别加载当前投票人的三个不同角

度的图像。

3）检测，cvHaarDetectObjects函数使用针对某目标物体训练的级联分类器在图

像中找到包含目标物体的矩形区域，并将这些区域作为一系列的矩形框返回。

检测到图像中的人脸位置之后，提取人脸数据，归一化为统一大小的人脸图像，供

下一步身份判别使用。是一种重要的识别方法，但该方法已商业化为著名的

FaceIt系统，其技术实现细节没有公开。此外，隐马尔可夫模型[8]（HMM，

Hidden Markov Model）、奇异值分解[9]（SVD， Singular Value

Decomposition）、独立元分析（ICA， Independent Component Analysis）

等方法也在人脸识别中得到了应用。

该电子投票系统对人脸识别算法的需求同样需要较低的时间开销，本系统拟采用基

于特征脸的方法，尽管其受光照和人脸姿态影响较大，但如上文所述训练集中的人

脸图像由已经完成投票的投票人组成，这些图像和待识别的投票人的人脸图像采集

时的光照条件基本一致，并且如[10]所述“同一个人脸由于光照和视角不同得到的

人脸图像间的差异要比不同人脸图像间的差异大”, 因此，在一致的光照条件下，

特征脸法的性能可以满足系统需求。

基于特征脸的人脸识别方法也称为基于PCA的人脸识别方法，其核心思想是构造

一个使不同人脸图像之间差异最大化的本征空间，然后将人脸图像投影到这个本征

空间中并进行识别。特征脸方法的基本思想简述如下，详细介绍参见[7]。

假设M幅大小为N×N像素的人脸图像作为学习样本，将每幅图像看作长度为N2

的列向量，记为x1,x2,...,xM，M幅人脸图像的平均值向量μ表示为：

μ代表了M幅人脸的平均脸，每个人脸图像与平均脸的差值用向量Фj表示。

定义M个训练样本的协方差矩阵为：

Sw是一个N2×N2的矩阵，直接计算其特征值和特征向量的计算量较大，为了降

低计算量，构造一个低维M×M的矩阵L=XTX，

设λi和vi分别为矩阵L的特征值及其对应的特征向量，则Sw的特征向量为：

由式（5）得到的特征向量ui被称为特征脸，构成了人脸空间的一个子空间的正交

基，该人脸图像集中的每个人脸均可精确表示为特征脸的线性组合，这些特征脸形

成了一个低维子空间，称为“人脸子空间”，每张人脸图像在该低维子空间上的投

影即作为识别特征。

训练集中的每一个人脸图像通过（6）所示的简单运算投射到“人脸子空间”，

特征值越大，与之对应的特征向量对表示人脸图像的影响也越大，因此，m（m＜

M）个最大特征值对应的特征向量来表征人脸就足以用于人脸识别。

假设式（6）中特征向量ui对应的特征值按递减的顺序排列，则前m个特征向量

代表了特征值最大的m个特征向量。m 个权值wi（i=1，2，…，m）构成了权值

向量WT=[wi，w2，…wm]。权值矢量即用作人脸识别，识别过程包括以下步骤：

1） 获得M个人脸图像训练样本；

2） 计算矩阵L，得到其特征值和特征向量，选择m个最大特征值对应的特征向

量；

3） 根据（5）计算得到m个特征脸ui；

4）对于训练集中每个已知个体的人脸图像，根据（6）计算各自的权矢量Wk，定

义到训练集中已知个体的最大允许距离门限θε；

5） 对于待识别的人脸图像，计算它的权矢量W以及到训练集中每个已知个体的

欧氏距离εk；

如果最小距离εi＜θε，待识别的人脸识别为对应的个体；反之，如果最小距离εi

＞θε，表明待识别人脸不在训练集中。

在特征脸方法的基础之上，在本系统中，不需要识别投票人的具体身份，只要判断

当前投票人是否存在于训练样本中。因此，设计时，设定判决门限vθ，当待识别

人脸图像在“人脸子空间”上投影与训练集在“人脸子空间”上投影的最小距离小

于vθ时，表明待识别人脸存在于训练样本中，即当前投票人为重复投票，否则，

当前投票人为首次投票，并将当前投票人的人脸图像加入到训练样本中。

为了尽可能减小人脸姿态对识别结果的影响，系统采用了多摄像头策略，图2中

的三个摄像头分别采集不同角度的投票人的图像。在上述5）中计算欧氏距离时，

分别计算三个摄像头所采集的人脸图像到到训练集中每个已知个体的欧氏距离,kiε

(i = 1， 2，3)，取三者的最小值εk=min{εk,1,εk,2,εk,3}。计算待识别人脸到训练

集中所有样本的距离εk，取最小距离εmin=min{εk}。如果εmin＜θv，判决当前

投票人为重复投票，反之为首次投票，将人脸图像加入到训练集中，并开启基本投

票操作功能。身边判别流程如图5所示。

2.4 基本投票子系统设计

系统根据身份认证的结果决定是否开启投票操作，若当前投票人认证为首次投票，

则开启投票操作，由当前投票人完成投票操作。基本投票子系统的设计过程与一般

软件设计过程类似，此处不详细介绍设计过程，仅对基本功能简单介绍。

基本投票子系统实现了投票操作的人机接口，主要功能模块包括：管理员模块和用

户投票操作模块。

管理员实现对投票过程的管理，包括：候选人信息的编辑、增加、删除，设置投票

规则，如设置每一个投票人最大投票数，投票结果统计，投票结果发布等。

用户投票操作模块实现了投票人与电子投票系统的人机接口，提供候选人的基本信

息，记录投票人的投票操作，检查当前投票人的投票结果是否有效，例如：检查是

否多选等，生成当前投票人的投票结果，根据当前投票人的投票结果更新候选人的

得票数等。

身份认证子系统身份判别时间是本系统考虑的主要性能指标之一，身份判别时间主

要包括人脸检测时间和人脸识别时间。采用了实时性较强的AdaBoost人脸检测

算法，对于一幅640x480的图像，在处理机型号为2.66 GHz Pentium D系统中，

人脸检测时间为475ms左右。

人脸识别时间主要包括两部分的消耗：训练时间和识别时间。基于特征脸方法的人

脸识别需要计算训练集人脸图像的特征值和特征向量，以及用于识别的权向量，当

训练集中人脸数目增多时，特征值和特征向量的计算将占用较多时间，实验中，当

训练集中的人脸图像增加到300幅时，每幅人脸图像大小为110x90像素，训练

时间为18.85s左右。

由于识别时，只要计算待识别人脸图像到训练集中人脸图像在“人脸子空间”中的

欧氏距离，用时相对较少，训练集中的人脸图像为300幅时，识别时间约为

32ms。

可以发现，包含300幅人脸图像的训练集在身份认证阶段所消耗的时间约为19.4s。

显然19.4s的认证时间用于投票操作前的身份判断是不能接受的。然而，根据该投

票系统的特点可以发现，用于判断当前投票人是否是首次投票的训练集由已经完成

投票的投票人的人脸图像构成，而与当前投票人的人脸图像无关，因此，耗时较多

的训练过程可以在上一个投票人的投票过程中由后台进程并发完成。在这样的方式

下，投票前的身份判别时间仅包括人脸检测时间和识别时间，训练集规模达到

300幅时，身份判别时间仅为0.5s，可以满足应用需求。

人脸识别技术已经在很多需要身份识别的地方得以应用，本文将人脸识别技术用电

子投票系统中，限制重复投票行为的发生，并得到较好的效果。然而，受到人脸识

别精度的限制，目前的技术还无法做到100%的识别精度，因此，需要进一步改进

人脸识别算法。另外一方面，身份认证的时间依赖于训练集的大小，即身份认证时

间随已完成投票的投票人的数目增长，这同样在一定程度上制约了人脸识别技术在

大规模投票系统中的应用。因此，实时的人脸识别算法以及其它关键技术决定了人

脸识别技术是否能够在电子投票系统中成功应用。

美国华盛顿州，埃弗雷特2017年4月27日消息——Fluke和Veros Systems达

成协议，在资产性能和条件监测技术方面进行合作，旨在提高对电机驱动机器的效

率和可靠性的洞察力。Fluke 438-II电机效率和电气性能综合测试仪是此次合作后

推出的第一款工具。

福禄克是关键工业设备维护领域电能质量仪器和技术的领先供应商。Fluke 438-II

分析三相电能质量测量数据，并采用由Veros研发的创新方法来计算电机输出扭

矩、转速、马力和效率。利用上述信息，工程师和技术人员可以在电机运转期间评

估系统性能和检测过载条件，无需使用速度计、应变计或其他侵入式传感器等机械

传感器。该技术融合了Fluke 430系列和Veros技术，进一步提高了业内识别能

量浪费和维护关键机械的能力。

【相关文献】

[1] G. Yang, T. S. Huang. Human face detection in complex background [J]. Pattern

Recognition, 1994, 27(1): 53-63.

[2] 徐信,郝晓丽,王芳.基于 Adaboost 算法的远距离人脸检测[J].计算机工程与设计, 2015, 36(4):

983-986.

[3] li,te matching: matched spatial filters and beyond[J].Pattern

Recognition, 1997, 30(5): 751-768.

[4] , P. Hallinan, D. Cohen. Feature extraction from faces using deofrmbale

templates[J]. Jounral of Computer Vision, 1992, 8(2): 99-111.

[5] 叶亮.一种基于变形模板匹配的人脸检测方法[J].计算机工程, 2004, 30(11): 115-117.

[6] P. Viola, M. Jones. Rapid object detection using a boosted cascade of simple features.

CVPR, 2001, 511-518.

[7] ,A. Pentland. Eigenfaces for recognition[J].Journal of Cognitive Neuroscience,

1991, 3(1): 71-86.

[8] 沈杰,王正群,邹军.一种基于嵌入式隐马尔可夫模型的人脸识别方法[J].扬州大学学报(自然科学

版)，2008，11(1): 58-62.

[9] 孙静静,张宏飞,孙昌.一种基于奇异值分解的人脸识别新方法[J].科学技术与工程，2010，10(25):

6204-6208.

[10] P.N. Belhumeur, J.P. Hespanha, D.J. Kriegman. Eigenfaces vs. Fisherfaces: recognition

using class specific linear projection[J]. IEEE Transactions on Pattern Analysis and Machine

Intelligence, 1997, 19(7): 711-720.

本文标签： 投票人脸图像识别