• ISSN: 1674-7461
  • CN: 11-5823/TU
  • 主管:中国科学技术协会
  • 主办:中国图学学会
  • 承办:中国建筑科学研究院有限公司

基于MediaPipe的手势识别用于挖掘机遥操作控制
王如斌, 窦全礼, 张淇, 周诚
2022,14(4):9-16. doi: 10.16670/j.cnki.cn11-5823/tu.2022.04.02
挖掘机有十分广泛的应用场景,但在某些危险工况下,对其采用遥操作是更好的选择。同时,近年来随着机器视觉和深度学习的发展,涌现出一系列手势识别的算法和框架。为了探究基于MediaPipe的手势识别算法在挖掘机遥操作中的应用,本文将手部不同手势与挖掘机的不同动作相对应,提出一种利用手势实现挖掘机遥操作的新型控制方式。在实验室环境下,对实验用挖掘机器人进行运动学分析,采用MediaPipe对15种手势类型进行实时静态识别,生成指令并利用Arduino单片机实现对挖掘机的控制。结果显示,该系统具有良好的性能,可以用于挖掘机的遥操作控制,为挖掘机的远程控制提供了一种新型的人机交互形式。
关键词: 手势识别, MediaPipe, 挖掘机, 单片机, 遥操作

出版年份

相关作者

相关热词

  • 版权所有© 《土木建筑工程信息技术》编辑部
  • 京ICP备17057008号
  • 地址:北京市朝阳区兴化路2号院1号楼
  • 电话:010-64517910 邮编:100013
  • 微信号:tmjzgcxxjs  QQ:3676678954  E-mail:tmqk@cgn.net.cn
本系统由北京仁和汇智信息技术有限公司设计开 技术支持: info@rhhz.net