Truong Van Doi, Lim Hyun-Kyo, Kim Seongje, Dat Than Trong Khanh, Yoon Jonghun
Department of Mechanical Design Engineering, Hanyang University, 222, Wangsimni-ro, Seongdongsu, Seoul 04763, Republic of Korea.
BK21 FOUR ERICA-ACE Center, Hanyang University, 55, Hanyangdaehak-ro, Sangnok-gu, Ansan-si, Gyeonggi-do 15588, Republic of Korea.
Comput Struct Biotechnol J. 2024 May 11;24:393-403. doi: 10.1016/j.csbj.2024.05.006. eCollection 2024 Dec.
Medical image visualization is a requirement in many types of surgery such as orthopaedic, spinal, thoracic procedures or tumour resection to eliminate risk such as "wrong level surgery". However, direct contact with physical devices such as mice or touch screens to control images is a challenge because of the potential risk of infection. To prevent the spread of infection in sterile environments, a contagious infection-free medical interaction system has been developed for manipulating medical images.
We proposed an integrated system with three key modules: hand landmark detection, hand pointing, and hand gesture recognition. A proposed depth enhancement algorithm is combined with a deep learning hand landmark detector to generate hand landmarks. Based on the designed system, a proposed hand-pointing system combined with projection and ray-pointing techniques allows for reducing fatigue during manipulation. A proposed landmark geometry constraint algorithm and deep learning method were applied to detect six gestures including click, open, close, zoom, drag, and rotation. Additionally, a control menu was developed to effectively activate common functions.
The proposed hand-pointing system allowed for a large control range of up to 1200 mm in both vertical and horizontal direction. The proposed hand gesture recognition method showed high accuracy of over 97% and real-time response.
This paper described the contagious infection-free medical interaction system that enables precise and effective manipulation of medical images within the large control range, while minimizing hand fatigue.
医学图像可视化是多种手术的需求，如骨科、脊柱、胸科手术或肿瘤切除术，以消除诸如“手术部位错误”等风险。然而，由于存在感染的潜在风险，直接接触诸如鼠标或触摸屏等物理设备来控制图像是一项挑战。为防止感染在无菌环境中传播，已开发出一种用于操作医学图像的无接触感染的医学交互系统。
我们提出了一个集成系统，它具有三个关键模块：手部地标检测、手部指向和手势识别。将一种提出的深度增强算法与深度学习手部地标检测器相结合，以生成手部地标。基于所设计的系统，一种提出的结合投影和射线指向技术的手部指向系统能够减少操作过程中的疲劳。应用一种提出的地标几何约束算法和深度学习方法来检测六种手势，包括点击、打开、关闭、缩放、拖动和旋转。此外，还开发了一个控制菜单以有效激活常用功能。
所提出的手部指向系统在垂直和水平方向上都具有高达1200毫米的大控制范围。所提出的手势识别方法显示出超过97%的高精度和实时响应。
本文描述了一种无接触感染的医学交互系统，该系统能够在大控制范围内对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时，对手部疲劳最小化的同时精确有效地操作医学图像。 （注：最后一句译文重复表述较多，原文可能存在一些问题，正常应简洁表述为：本文描述了一种无接触感染的医学交互系统，该系统能够在大控制范围内精确有效地操作医学图像，同时将手部疲劳降至最低。 ）
