• ISSN: 1674-7461
  • CN: 11-5823/TU
  • 主管:中国科学技术协会
  • 主办:中国图学学会
  • 承办:中国建筑科学研究院有限公司

2021, 13(3): 65-74. doi: 10.16670/j.cnki.cn11-5823/tu.2021.03.10

基于计算机视觉技术的施工机械操作员疲劳作业检测方法

1. 

天津大学 管理与经济学部,天津 300072

2. 

天津旭辉企业管理有限公司有限公司,天津 300041

网络出版日期: 2021-06-01

作者简介: 崔兵(1999-),男,硕士研究生,主要从事工程管理方面的研究; 张金月(1972-),男,博士,副教授,主要从事工程管理、建筑工程信息学方面的研究

基金项目: 国家重点研发计划“南水北调工程运行安全检测技术研究与示范”南水北调工程运行监测检测大数据分析与智能预警处置集成系统研发 2018YFC0406900

A CV-Based Approach for Detecting Fatigue Operation of Construction Equipment Operators

1. 

College of Management and Economics, Tianjin University, Tianjin 300072, China

2. 

CIFI Holdings (Group) Co., Ltd., Tianjin 300041, China

Available Online: 2021-06-01

引用本文: 崔兵, 张金月, 刘相池. 基于计算机视觉技术的施工机械操作员疲劳作业检测方法[J]. 土木建筑工程信息技术, 2021, 13(3): 65-74. doi: 10.16670/j.cnki.cn11-5823/tu.2021.03.10

Citation: Bing Cui, Jinyue Zhang, Xiangchi Liu. A CV-Based Approach for Detecting Fatigue Operation of Construction Equipment Operators[J]. Journal of Information Technologyin Civil Engineering and Architecture, 2021, 13(3): 65-74. doi: 10.16670/j.cnki.cn11-5823/tu.2021.03.10

摘要:施工机械操作员的疲劳检测是工程安全管理中比较复杂棘手的问题。现有的疲劳检测方式存在着各种问题,疲劳问卷难以量化、时效性差,生理指标检测侵入性强、成本高昂。而计算机视觉技术为基于面部信息的疲劳检测提供了一个有价值的技术手段。本论文构建了一种基于计算机视觉技术的施工机械操作员疲劳作业检测方法。采用dlib(图像处理开源库)模型标注68个人脸特征点,计算实时的眼纵横比(EAR)和嘴纵横比(MAR)值,并取前30s视频作为样本计算出相应的阈值,进而计算出眨眼频率、平均眨眼时长、眼睑闭合时间百分比(PERCLOS)以及哈欠频率这四个指标值,利用归一化方法进行指标融合,依据综合疲劳指标的取值和持续时间采取不同的疲劳应对措施。最终通过实验验证该方法的准确性,结果表明本论文提出的综合疲劳指标能够反映不同情境下检测对象疲劳状态的变化趋势,其眨眼状态判定的正确率在95%左右。

关键词: 施工机械操作员, 计算机视觉, 疲劳检测
[1]

Dittner A J, Wessely S C, Brown R G. The assessment of fatigue-A practical guide for clinicians and researchers[J]. Journal of Psychosomatic Research, 2004, 56(2): 157-170.doi: 10.1016/S0022-3999(03)00371-4

[2]

Zhang M, Sparer E H, Murphy L A, et al. Development and validation of a fatigue assessment scale for U.S. construction workers[J]. American Journal of Industrial Medicine, 2015, 58(2): 220-228.doi: 10.1002/ajim.22411

[3]

Zhang M, Fang D. A continuous Behavior-Based Safety strategy for persistent safety improvement in construction industry[J]. Automation in Construction, 2013, 34: 101-107.doi: 10.1016/j.autcon.2012.10.019

[4]

Aryal A, Ghahramani A, Becerik-Gerber B. Monitoring fatigue in construction workers using physiological measurements[J]. Automation in Construction, 2017, 82: 154-165.doi: 10.1016/j.autcon.2017.03.003

[5]

曾友雯, 冯珍, 祝亚兵, 等. 基于脑电实验的眨眼次数与疲劳相关性研究[J]. 长春理工大学学报(自然科学版), 2017, 40(1): 123-126.doi: 10.3969/j.issn.1672-9870.2017.01.030

[6]

Tsai M. Applying physiological status monitoring in improving construction safety management[J]. KSCE Journal of Civil Engineering, 2017, 21(6): 2061-2066.doi: 10.1007/s12205-016-0980-9

[7]

卢章平, 尹传斌, 李瑞, 等. 基于生理信号的驾驶疲劳分级检测研究[J]. 重庆交通大学学报(自然科学版), 2017, 36(1): 77-81. 

[8]

He J, Choi W, Yang Y, et al. Detection of driver drowsiness using wearable devices: A feasibility study of the proximity sensor[J]. Applied Ergonomics, 2017, 65: 473-480.doi: 10.1016/j.apergo.2017.02.016

[9]

Nie B, Huang X, Chen Y, et al. Experimental study on visual detection for fatigue of fixed-position staff[J]. Applied Ergonomics, 2017, 65: 1-11.doi: 10.1016/j.apergo.2017.05.010

[10]

Ishimaru S, Kunze K, Kise K, et al. In the blink of an eye: combining head motion and eye blink frequency for activity recognition with Google Glass[C]. Proceedings of the 5th Augmented Human International Conference, Kobe: ACM, 2014, 150-153.

[11]

迟健男, 张国胜, 刘琳娜. 驾驶疲劳监测方法综述[J]. 交通节能与环保, 2015, 11(4): 84-89. 

[12]

鲍跃全, 李惠. 人工智能时代的土木工程[J]. 土木工程学报, 2019, 52(5): 1-11. 

[13]

Soukupová T, ech J. Real-Time Eye Blink Detection using Facial Landmarks[C]. 21st computer vision winter workshop, Rimske Toplice: 2016.

[14]

Wierwille W W, Wreggit S S, Kirn C L, et al. Research on vehicle-based driver status/performance monitoring; development, validation, and refinement of algorithms for detection of driver drowsiness, Final Report: DOT HS 808 247[R]. Washington DC: National Highway Traffic Safety Administration, 1994.

[15]

Jin H. Traffic Crash Epidemiology[M]. Beijing: Science Press, 2013, 24-30.

[16]

杨春宇, 胡皓, 向奕妍, 等. LED照明环境下照明参数对人眼视疲劳的影响[J]. 土木建筑与环境工程, 2018, 40(4): 88-93. 

[17]

Nie B, Huang X, Chen Y, et al. Experimental study on visual detection for fatigue of fixed-position staff[J]. Applied Ergonomics, 2017, 65: 1-11. 

[18]

尚耀华, 楼雪娘. 施工现场建筑工人作业疲劳评价研究[J]. 建筑经济, 2014, 35(12): 130-133. 

[1]

郭轶, 姜立, 熊志坚, 王会一. 室内装饰工程计算机辅助系统[J]. 土木建筑工程信息技术, 2011, 3(3): 22-31.

[2]

. 向工程建设三维技术应用迈进工程三维模型与虚拟现实表现—第二届工程建设计算机应用创新论坛成功举办[J]. 土木建筑工程信息技术, 2009, 1(2): 115-117.

[3]

史伟民, 徐兆颖, 何季昆, 明艳丽, 李醒春. 深圳市医疗器械检测和生物医药安全评价中心项目施工BIM应用[J]. 土木建筑工程信息技术, 2021, 13(2): 117-124. doi:10.16670/j.cnki.cn11-5823/tu.2021.02.17

[4]

张志远, 王文婷, 刘立渠, 杨国威, 高明芹, 周曹俊. 建筑检测与评定(鉴定)系统的研制[J]. 土木建筑工程信息技术, 2016, 8(4): 105-108. doi:10.16670/j.cnki.cn11-5823/tu.2016.04.19

[5]

黄俊杰, 许福, 龙士国, 彭亿洲. PC构件检测信息可视化管理及其在套筒灌浆饱满度检测中的应用[J]. 土木建筑工程信息技术, 2018, 10(3): 86-90. doi:10.16670/j.cnki.cn11-5823/tu.2018.03.16

[6]

卢玉韬, 韩春华, 曾鹏. 基于BIM的无人机桥梁检测实施方案研究[J]. 土木建筑工程信息技术, 2017, 9(2): 73-77. doi:10.16670/j.cnki.cn11-5823/tu.2017.02.12

[7]

蒋璐. BIM技术在既有建筑检测中的应用研究[J]. 土木建筑工程信息技术, 2017, 9(3): 90-95. doi:10.16670/j.cnki.cn11-5823/tu.2017.03.16

[8]

张晓龙, 马恩成, 夏绪勇, 晋娟茹, 陈玉林. 钢结构三维模型碰撞检测技术研究及应用[J]. 土木建筑工程信息技术, 2009, 1(2): 51-54.

[9]

蒋璐, 郑昊. BIM技术在既有建筑检测加固中的应用探索[J]. 土木建筑工程信息技术, 2016, 8(5): 26-29. doi:10.16670/j.cnki.cn11-5823/tu.2016.05.05

[10]

赵馨怡, 郭晓. 基于BIM和三维激光扫描技术的建设工程质量检测方法研究[J]. 土木建筑工程信息技术, 2020, 12(5): 131-134. doi:10.16670/j.cnki.cn11-5823/tu.2020.05.22

[11]

刘颖, 张勇, 卢吉, 周诚. 基于无人机实景建模的机场道路路基平整度检测与分析研究[J]. 土木建筑工程信息技术, 2021, 13(3): 51-57. doi:10.16670/j.cnki.cn11-5823/tu.2021.03.08

[12]

黄尊, 丁修恒. BIM在机械法联络通道修建中的应用[J]. 土木建筑工程信息技术, 2018, 10(6): 32-38. doi:10.16670/j.cnki.cn11-5823/tu.2018.06.05

[13]

汤圣君, 朱庆, 赵君峤. BIM与GIS数据集成:IFC与CityGML建筑几何语义信息互操作技术[J]. 土木建筑工程信息技术, 2014, 6(4): 11-17.

[14]

曹阳, 许后磊. 基于Dynamo for Revit的参数化设计在水力机械设计中的运用[J]. 土木建筑工程信息技术, 2018, 10(2): 29-34. doi:10.16670/j.cnki.cn11-5823/tu.2018.02.06

[15]

方琦. 浅谈BIM软件系统与云计算[J]. 土木建筑工程信息技术, 2015, 7(1): 49-52.

[16]

高奎香, 王健, 程拥强. 弯箱梁计算模型的建立及动力计算中若干问题的探讨[J]. 土木建筑工程信息技术, 2010, 2(3): 91-95.

[17]

姜立, 王会一, 任燕翔, 张雷. 建筑日照分析原理与计算方法的研究[J]. 土木建筑工程信息技术, 2009, 1(2): 63-69.

[18]

康忠良, 方媛媛. 计算风工程中的网格技术对比研究[J]. 土木建筑工程信息技术, 2015, 7(2): 80-83.

[19]

张艳如, 李云贵, 李守功. 框架梁梁端弯矩调幅计算方法研究[J]. 土木建筑工程信息技术, 2013, 5(1): 45-53.

[20]

肖作义, 高英, 康文庆. 自动喷水灭火系统水力计算程序开发[J]. 土木建筑工程信息技术, 2010, 2(4): 40-43.

计量
  • PDF下载量(4)
  • 文章访问量(135)
  • HTML全文浏览量(83)
目录

Figures And Tables

基于计算机视觉技术的施工机械操作员疲劳作业检测方法

崔兵, 张金月, 刘相池

  • 版权所有© 《土木建筑工程信息技术》编辑部
  • 京ICP备17057008号
  • 地址:北京市朝阳区兴化路2号院1号楼
  • 电话:010-64517910 邮编:100013
  • 微信号:tmxxjs  QQ:342182902  E-mail:tmxxjs@163.com
本系统由北京仁和汇智信息技术有限公司设计开 技术支持: info@rhhz.net