Hard-Hat Detection for Construction Safety Visualization翻译

admin管理员组

文章数量:1539573

原文地址：Hard-Hat Detection for Construction Safety Visualization

译文：

用于施工安全可视化的安全帽检测

摘 要

​ 在2012年，有775起事故被报道，在美国还有更多的人在建筑工地受伤。其中，415人（54%）是由于跌倒，滑落，以及被坠落物击中。为了减少由于这些种类引起的建筑工地事故，职业安全和健康管理局（OSHA）提供了防跌倒和OSHA-10训练来培训工人们。而且，还有安全员监督工人们是否正确使用个人防护装备（PPE）。数据表明建筑事故率从1994年以来每年下降2%，但是开发商仍然不满意这个结果。各种研究表明跌倒是造成事故的最主要原因。一项研究表明有一半的跌倒事故是因为工人没有佩戴个人防护装备或者没有正确使用他们。研究还表明，正确使用安全帽可以使得由于跌倒，滑落，以及被坠落物击中的事故率减少。这项研究开发并且测试了一个基于图像处理技术的安全帽检测的工具，来判断工人是否佩戴安全帽。对于没有佩戴安全帽的工人将会发出警告。

一、引言

​ 在美国很多人们的工作地点并不安全，每年有上千的人丢失了性命。在美国2012年有4383人在工作的地方受到了致命伤。平均下来每周有89人每天有接近12人因此丧命。建筑工作是死亡率最高的十大工作之一。死亡人数与所有工人总工作时间的比率被称为致死率，在2012年致死率为3.4。致死率反映的是每100000员工死亡的人数。根据OSHA，死亡率的计算方式为：死亡率=（死亡人数/工人工作的总时间）*20000。相对于发达国家，发展中国家的死亡率会高很多。比如在韩国，建筑业的死亡率超出了美国的两倍多。发展中国家较高的建筑死亡率引起了建筑管理者的关注。美国最大的建筑业，也有着很多的建筑业的伤亡事件。劳工统计局从1990年以来的数据显示，死亡率从1994年开始每年下降2%。然而在Nevada还在上升。2011年，建筑业是美国死亡人数第二大的行业。

​ 2012年，在美国4383起工作场所死亡事故中，4175起发生在私营行业，约五分之一（19.30%）的私营行业死亡事故发生在私营建筑行业。施工现场死亡的主要原因是坠落、滑倒、被物体击中、触电和被物体夹住/夹在物体之间。由于跌落死亡的人数在建筑业死亡人数的占比是34.6，这一比例在1980年代和1990年代上半期为49.9%。表1展示了近六年各个工作由于跌倒的死亡人数。自2007年以来，屋顶、梯子、脚手架和舞台上的致命坠落次数和百分比都有所增加。

表1：各类型工作死亡率

年份	死亡人数下降	屋顶	梯子	脚手架	小计	比率
2012	570	124	133	58	315	55.3
2011	563	109	122	64	295	52.4
2010	522	117	132	44	293	56.1
2009	518	109	122	53	284	54.8
2008	593	123	119	58	270	52.3
2007	746	161	132	88	381	51

​ 在绝大多数的跌落事故中，工人们从高处掉落头部砸在坚硬的地上。报道称有一半的事故是从小于等于3米的地方跌落的，有57%的事故是从梯子、屋顶、施工中的建筑还有从平台跌落的。安全帽设计用于抵抗物体的冲击和穿透以及与电气危险接触的危险。如果工人们正确使用安全帽，一半由于跌落产生的事故和由于跌落，绊倒，被物体砸伤的人数会大量减少。在一项调查建筑死亡人数和PPE使用情况的研究中，结果显示47.3%的致命伤受害者没有使用PPE或没有正确使用PPE。

​ 图1的左侧展示了一个建筑工地，所有工人都带了安全帽除了一个人把安全帽拿在手上。图片右侧有两个工人站在脚手架上工作时没有佩戴安全帽。从施工现场传送的这些类型的图片可以分析以确定工人是否遵守安全规则。在这项研究中，一个自动的软件可以检测这些工人是否在建筑工地佩戴安全帽。
​

图1：工人们在建筑工地没有使用安全帽或者没有正确使用安全帽的示例图片

​ 国家职业安全与健康研究所调查了由于在工地跌落死亡的情况。数据表明，从1980年到1994年，跌落是职业死亡的主要原因。在1980年到1994年期间，在施工现场，从梯子、脚手架、建筑物和其他结构以及从一层到另一层的坠落率分别为12.3%、13%、34.7%和16.6%。从1982到1997年，这些分别为8.8%、18.7%、63.8%和8.8%，这些因跌倒而死亡的数据来源于11个职业（建筑业、农业、矿业、制造业、交通业等）。这些数据显示，因跌落的事故占总事故的49.9%，死亡率为3.89。

​ 通过执行与工作相关的安全规定来减少伤害，美国政府在1970年成立了职业安全和健康管理局（OSHA）。OSHA制订了工作安全的指导方针，并且提供了津贴给工人们进行安全训练，让工人们明白正确使用PPE的重要性。除此以外，OSHA为了安全考虑还监控施工地，承包商需要遵守安全规定来避免在工地发生事故。由于各种原因，工人们有时不能遵守OSHA的规定，比如在极端恶劣的天气下或者面临截止工期的压力。

​ 由于OSHA的参与，很多工地发生的事故有明显的减少，但是工程师和包工头对于使用人工监视工人是否有使用PPE不是很满意。他们在寻找一种更加全面的监视工人的方法。传统方法中，安全检测员不是所有时间都能确认他们是否佩戴安全帽，因为他们不可能时时刻刻都监视着工人们。当然，如果安全员可以实时的观看从工地传来的录像，有关安全帽的安全规则可以更有效地执行。这样可以减少由于跌倒，滑落，以及被坠落物击中而发生的事故。这项研究研发了一个检测工人是否在工地带安全帽的工具。

​ 为了开发在实时视频中自动检测未戴安全帽的工人的工具，使用了可视化方法。这种可视化方法是一种新型的软件工具可以实时监控工人们，并且在工人们违反安全规定时（在此阶段正确佩戴安全帽）给相关人员发送警告信息。这种方法由

1. 安装在施工现场的闭路电视

2. 有线/无线网络，用于将闭路电视摄像机拍摄的视频传输至服务器（办公室计算机

3. 最近办公室的服务器

4. 在办公室和在工地的喇叭用来警告安全违规行为

5. 带有局域网（LAN）无线功能的手机可向相关人员发送警告信息

6. 施工现场的图片会持续的展示在办公室的电脑上。使用实时图像，软件将会检测工人们是否佩戴或者正确使用安全帽。当程序检测到工人在施工现场没有佩戴安全帽将会触发警告信息。这项工具是基于图像处理软件开发的。

图2：施工安全可视化示意图

​ 当前研究是在施工安全可视化、机器视觉、图案辨识和网络传输领域之前的研究的一个拓展和延伸。此工具基于一种图像处理方法来检测工人的人脸而且利用边缘检测算法和分割算法来确定工人是否使用安全帽。这项软件由建筑工程师和计算机科学教授联合开发，并且在拉斯维加斯内华达大学建筑管理实验室进行测试。

​ 安全帽检测工具可以检测工人是否佩戴安全帽。在项目开发的初始阶段，其范围仅限于安全帽。这项工具主要适用于能被周围摄像头所观察到工人的施工现场。在线性的工程项目中，此技术实施有困难。比如道路建设或者摄像范围有限制的建筑物中。

二、文献综述

本研究的文献综述主要集中在两个方面：计算机视觉和图片处理。这些领域的论文综述如下。

2.1计算机视觉

​ Teizer和Reynolds研究并且设计了一个使用射频（RF）技术的智能头盔来防止建筑工人接触重型设备。安全帽和重型设备上都安装了无线硅微处理器。当工人们靠近重型设备（微处理器设定的设备）的时候，这个系统将会广播高音调的声音来警告工人。作者时候当工人和重型设备在同一个施工场地的时候，安全是非常重要的，这项技术也会非常有用。

​ 作者研究了RGB-D传感器跟踪工人和物体的三个参数的性能。1.传感器跟踪工人的移动位置2. 身体部位的三维旋转角度3.分析传感器判断身体部位移动的准确度。这三个数据集是在实验研究期间收集的。为了对比这些数据集，作者同样用了6个能获取最准确的结果的400万像素维康传感器的数据集来进行对比。比较结果表明，RGB-D传感器的位置轨迹差异为10.70cm，旋转角度差异为16.20度。然而，关于运动分析的结果差异不显著。

2.2图像处理

​ Shrestha等人开发了一个用于建筑安全可视化的框架并且研发和测试了一种边缘检测的算法。框架包含了CCTV的安装和布置、在办公室安装一个高性能的服务器、还有一个一旦检测到工人没有在施工现场佩戴安全帽就会自动给安全相关人员发送警报的装置。服务器是一个配置了边缘检测和分割两个算法的高性能的电脑。此研究中依靠分割算法来辨认工人和安全帽。

​ 此研究中，Curio等人曾使用图像处理算法用来检测行人。程序判断画面中有行人需要确定在两个条件下。第一个是图片匹配了人的轮廓，第二个是在走动的时候，腿是会移动的。用两个摄像头获取图像来产生立体视觉。立体视觉可以用在摄像机和行人位于中短距离的情况。

​ Tsai使用图像处理的机器检测交通信号的缺陷。交通标志类型的识别、用于清点目的的标志的准确位置以及标志牌条件的识别——反光、褪色标志颜色、倾斜标志和被物体阻挡的标志牌可以通过该程序进行识别。在检测程序中，交通标志将会通过他们的颜色背景和图例来进行识别。在图像处理算法中至关重要的一步是将那些包含交通标志的图片和没有包含的分开。在程序执行期间，第一步交通标志会被检测，第二步将会完成识别。本研究仅涉及交通检测。

Canny等人研发了一种边缘检测算法，包含以下5步。

1. 平滑：这是图像的模糊。每个图像中都有一定数量的噪声，并使用高斯滤波器对其进行平滑

2. 寻找梯度：在灰色图片中这些灰度变化最明显的地方就是边缘。这是通过确定梯度来识别的

3. 非极大值抑制：梯度图像中的最大值被保留，其余的被删除

4. 双阈值：在步骤（3）之后剩余的像素用它们的强度逐像素标记

5. 滞后边缘追踪：强边和与强边连接的弱边被认为是“某些边”

​ Park等人带领研究了确定在施工现场的人是否是真正的工人。满足以下两个条件的被认为是工人，一个人的轮廓和PPE的存在。基于此研究开发的程序分析了来自施工现场的诗篇，通过图像处理基础来分别背景中移动的物体来确认人的轮廓。通过分析图片的像素检测到人后来判断此人是不是工人。在此测试中，一名工人身穿汗衫头戴安全帽比正常穿着的人有着更高的像素对比度。通过像素的差异，系统会判断此人是否是工人。
Hen等人使用了基于运动检测来通过摄像机图像追踪在建筑工作中的不安全工作行为。通过使用两台不一样的摄像机的图片来生成工人的3D模型。此3D模型用来确认工人的移动是否安全。但是这项技术不能应用在实时图像处理的机器中。
Tharindu等人使用Kinect传感器的图像处理技术检测建筑工地的工人。程序使用摄像机图片来确定工人的位置。为了确保图片是建筑工人，被图像处理技术检测到的人必须带着安全帽。使用模式识别安全帽。

​ Escorcia等人使用Kinect传感器的技术检测建筑工地的工人和他们的动作。一项基于机器学习的算法被用于此研究。视频日志将会被分析用来确定建筑工人的准确动作。该程序对评估室内环境中的生产率、安全性和职业健康是非常有用的。

2.3文献空白

已经进行了许多关于检测工人的研究。一些研究使用传感器附着在安全帽或者身体的某个地方来追踪他们。但是使用图像处理技术来检测建筑工人和安全帽是一种新的方法。使用图像处理来检测工人和物体比起使用传感器有着很大的优势。研究表明使用传感器来追踪物体缺乏准确性。然而使用图像处理技术可以准确的检测工人和物体。而且目前还没有关于安全帽实时监测的研究。

三、研究方法

​ 计算机视觉是一种新的技术。目前，计算机视觉技术被用作主动预防工具，用来自动地检测检测建筑工人和他们的PPE是非常的有效的。它由安装在施工地的CCTV的摄像头、连接在两个摄像头之间的网络、一台办公室电脑（服务器）、一个用作数据分析的电脑服务器、在办公室用来显示的电脑、安装在现场办公室的警告扩音器以及发送违反安全规则警报信息的手机。计算机视觉被分为三个部分：图像输入、图像处理、图像输出。

​ 图像输入部分，现场安装了一台高分辨率的由无线或者有线传输实时画面CCTV摄像头。安装具有适当重叠的摄像机，可以实现立体视觉，从而确定工人和/或物体的准确位置。摄像机使用带电耦合器件（CCDs）来捕捉高质量的视频。视频将会通过本地局域网或者无线网发送到办公室的电脑中。

​ 图像处理部分，传送过来的图像将会被分成数字图像。一个视频是由多个照片组成的。这个程序将会把一秒的图像分割成32张照片，然后每一个照片将会被图像处理技术进行分析。当32张图片都被处理完成后意味着这1s的视频被处理完成。在图像处理期间，工人将会被多种方法来检测，例如行人识别或者面部识别。面部检测方法被用于这项研究中。当工人面对摄像头时，他或者她的面部会在一张或者多张图片中被识别。这样就可以认为工人在施工现场被检测到。因为不止一个的摄像头被安装在现场，工作人员的脸可以认为是为其中一个摄像头的前视图。

​ 在图3中，当程序检测到工人，面部检测程序将会唤醒检查图片中是否被认为有安全帽的安全帽检测程序。和面部检测方法一样，一些安全帽检测方法也会被依赖。两个方法——在安全帽中使用传感器芯片和主要使用边缘检测算法——这种方法被常用。在本研究中，使用边缘检测程序绘制上头部区域内明显包含安全帽的对象的边缘。如果这个程序找到了安全帽，按照图3展示的，程序将会认为“安全工作情况”存在。然后程序将会对其他图片执行相同的流程，否则它满足输出图像的条件。

​ 图像输出部分，如果工人在工作的时候没有佩戴安全帽，警告信息将会在三个地方被触发：办公室的电脑显示，相关人员（例如建筑管理者或者安全员）的手机，安装在施工现场的喇叭。为了传递这些信息，程序将会使用三种可能的网络中的几种方法：本地有线局域网发送到办公室电脑，本地无限局域网，或者无线手机数据。在第2、3点中有关于计算机视觉技术更详细的解释。

图3：确定工人是否佩戴安全帽的流程图

四、人脸检测程序开发

​ 人脸检测程序是视觉技术中很重要的一步。传感器芯片和人脸检测是经常被使用的两种方法。对于使用图像处理的视觉技术，使用了人脸检测。在数据分析过程中，人脸检测程序检查现场监控的每张图像中是否存在人脸。在本程序中，人脸检测中要考虑的一个重要假设是工人检测。当程序检测到一个或者更多的人脸时，将会唤醒安全帽检测程序。如果在图片中没有任何人脸或者工人被检测到，它将会对其他的图片进行相同的处理。

图4（左边）展示了一个工人的脸被检测到。在本程序开发阶段，为了追踪是否有脸被检测到，一个黑色的矩形框会显示在脸的周围，表示有人脸被检测到。图4（右边）展示了一个蓝色的矩形框在人的上头部区域，表示程序在头上寻找安全帽。

五、安全帽检测程序开发

​ 在计算机视觉中（图3），在人脸检测程序之后，安全帽检测程序将会执行。安全帽检测程序检测通过检测人物头部上方区域是否有安全帽。程序运行期间，这些步骤会被依次执行。

1. 聚焦在距离面部上方12英尺的头部区域
2. 在头部上方申请能吧数字图像转为物体轮廓的边缘检测程序。将图片转为物体轮廓图有三步。第一步，将一张图片上传到程序中；图5（左侧）所示的安全帽图像是在UNLV的施工管理实验室拍摄的，用于本研究。第二步，图5（中间）彩色图片将会被转化为灰度图片。第三步，图5（右侧）程序通过边缘检测算法将灰度图片转化为物体轮廓
3. 安全帽检测需要满足两个条件：第一，安全帽的轮廓为半圆，如图6所示；第二，安全帽的颜色为红色
4. 安全帽倾斜角度由帘线行向量与行向量（1，0）的点积确定；软线是连接形成的半圆末端的线
5. 在（4）中计算出的点积结果表示了安全帽相对于x轴的旋转角度。值为零和非零（介于−1和1之间）分别表示安全帽完全笔直向上，或者以一定角度旋转。如果发现安全帽已旋转，则将其关于𝑥 轴旋转−arccos 𝜃转换为正常位置
6. 如果有任何标志或者特殊的首字母，则安全帽更容易被检测

图4：人脸检测程序的实现

图5：边缘检测程序的实现

图6：安全帽检测程序的实现

六、讨论和结论

​ 本研究中的软件是基于Microsoft Visual Studio 2012开发的。在执行软件期间，首先程序将从安装在施工现场的CCTV发送过来的实时图像切割成每秒32张的图片。然后人脸检测程序将会对每张图片进行人脸检测。人脸检测程序使用哈尔特征检测人脸。如果程序检测到人脸，将会唤醒安全帽检测程序执行。本程序通过满足以下两个条件来认为检测到安全帽。安全帽的红色和半圆的轮廓。采用边缘检测算法来寻找安全帽的轮廓。当程序测到超过一张人脸和安全帽时，如果安全帽的数量和人脸的数量匹配则程序会被设置“安全工作”的状态，否则程序将会发出“警告信息”给办公室监视器、相关人员的手机和安装在现场的喇叭。

​ 本程序开发还在初始阶段。因此在某些情况下程序可能不能检测到人脸和安全帽。CCTV摄像机必须被安装在施工现场能从正前方拍到工人的位置；但是，摄像机不能拍到正脸照当工人工作的时脸移出屏幕的时候。在这些情况中，程序暂时不能检测到人脸和安全帽。而且当执行安全帽检测程序的时候，当安全帽和背景颜色的对比度不是很高时，边缘检测程序不能给出清楚的安全帽轮廓。当工人移动很快时，程序有时也不能完全检测到工人。

​ 本程序的研发将有助于节省时间、成本和拯救现场工人的生命，但是，在目前阶段还不能完全减少建筑事故。还有其他很多因素诸如工人的行为、工种、各钟有危险的工作、以及熟练和训练有素的工人的水平，这些都影响着建筑事故的数量。因此，让安全工程师对施工现场进行包括危险分析的深度分析，来减少建筑事故的数量。依靠这项研究开发的工具将会帮助工程师达到不在施工现场发生一次事故的目标。

进一步研究和建议

​ 在程序开发的初始阶段，考虑了理想情况。该程序与实验室场景一起使用，以测试该程序是否能够实时检测到作者的安全帽。目前，通过安装闭路电视摄像机并传输实时图像，正在实际施工现场测试该软件。程序的其他拓展方向如：检测工人是否穿工作服、第三个扩展涉及添加一个程序，根据工人的轮廓和行走时的典型腿部运动来检测工人。此外，对所有工人使用数据库管理，以便该程序能够记录所有工人违反安全规则的历史记录。未来的研究将会使得程序能够有效的检测所有的PPE（工作服、鞋子、手套等）。使用程序检测工作服将会比检测鞋子和手套更加的简单。因为相比之下，鞋子和手套有着更小的尺寸，所以目前摄像机并不能正确的捕捉他们。

本文标签： DetectionhatHardVisualizationsafety