概括：捕捉人手的复杂协调性（涉及 34 块肌肉和 22 个自由度）一直是机器人和 VR 的“圣杯”。工程师们开发了一种可穿戴超声波腕带，能够以前所未有的精度实时跟踪这些运动。
通过对手腕上移动的肌腱和肌肉（移动手指的“绳子”）进行成像，并使用人工智能算法对这些图像进行解码，该设备可以将佩戴者的手势转化为机器人手或虚拟化身的动作。该研究表明，腕带可用于通过机器人弹钢琴，并通过简单的捏合操作虚拟物体。
主要事实
- “提线木偶”原理：该设备没有使用相机或笨重的传感器手套，而是像木偶弦一样对待手腕肌腱。通过对“绳子”进行成像，人工智能可以准确地知道“木偶”（手指）在做什么。
- 人工智能解码：研究人员将超声数据映射到所有22个自由度在人类手中。人工智能算法经过训练可以识别这些模式，从而实现连续、流畅的跟踪，而不仅仅是简单的“开/关”手势。
- 实时控制：在试验中，志愿者使用腕带无线命令机械手在键盘上弹奏曲子并投出一个微型篮球。
- 通用培训：该团队目前正在构建来自不同用户的大量手部动作数据集，以训练人形机器人执行高灵活性任务，包括潜在的外科手术。
来源：和
下次您滚动手机时，请花点时间欣赏一下这一壮举：由于手中 34 块肌肉、27 个关节以及 100 多条肌腱和韧带的协调，看似平凡的动作得以实现。事实上，我们的手是我们身体最灵活的部分。模仿他们许多细致入微的手势一直是机器人和虚拟现实领域的一个长期挑战。
现在，麻省理工学院的工程师设计了一款超声波腕带，可以实时精确跟踪佩戴者的手部动作。当手部移动时，腕带会产生手腕肌肉、肌腱和韧带的超声波图像，并与人工智能算法配对，不断将图像转换为五个手指和手掌的相应位置。
研究人员可以训练腕带学习佩戴者的手部动作，该设备可以将这些动作实时与机器人或虚拟环境进行通信。
在演示中，该团队展示了佩戴腕带的人可以无线控制机械手。当人做出手势或指向时，机器人也会做同样的事情。在一种无线木偶交互中，佩戴者可以操纵机器人在钢琴上弹奏简单的曲子，并将一个小篮球投进桌面篮筐。使用同一个腕带，佩戴者还可以操纵计算机屏幕上的对象，例如将手指捏在一起以放大和最小化虚拟对象。
该团队正在使用腕带从更多具有不同手部尺寸、手指形状和手势的用户收集手部运动数据。他们设想建立一个大型的手部动作数据集，可以进行探索，例如，训练人形机器人执行敏捷任务，例如执行某些外科手术。超声波带还可用于抓取、操纵视频游戏、设计应用程序或其他虚拟设置中的对象并与之交互。
麻省理工学院机械工程系 Uncas 和 Helen Whitaker 教授赵宣和表示：“我们认为这项工作对于在虚拟现实和增强现实中用可穿戴超声波带取代手部追踪技术具有直接影响。” “它还可以为灵巧的人形机器人提供大量的训练数据。”
赵、陆庚熙和他们的同事在发表于《自然电子学。
他们的共同作者是麻省理工学院的前博士后陈晓宇、李舒聪和博雷·邓，研究生 SeongHyeon Kim 和 Dian Li，博士后 Shu Wang 和 Runze Li，以及麻省理工学院教务长兼 Vannevar Bush 电气工程和计算机科学教授 Anantha Chandrakasan。其他共同作者包括南加州大学的研究生郑玉顺和张俊航、刘宝强、龚陈和周启发教授。
看到字符串
目前有多种方法可以在机器人中捕捉和模仿人手的灵活性。一些方法使用摄像头来记录人在操纵物体或执行任务时的手部动作。其他方法包括让人戴上带有传感器的手套，传感器会记录人的手部动作并将数据传输到接收机器人。
但为不同的应用建立复杂的摄像系统是不切实际的，而且容易出现视觉障碍。装有传感器的手套可能会限制人的自然手部动作和感觉。
第三种方法使用来自手腕或前臂肌肉的电信号，然后科学家将其与特定的手部动作关联起来。研究人员在这种方法上取得了重大进展，但是这些信号很容易受到环境中噪声的影响。
它们也不够敏感，无法辨别动作的细微变化。例如，他们可以辨别拇指和食指是捏在一起还是分开，但不能辨别中间路径。
赵的团队想知道超声波成像是否可以捕捉到更灵巧和连续的手部动作。他的团队一直在开发各种形式的超声波贴纸——医生办公室使用的传感器的微型版本，与可以安全地粘附在皮肤上的水凝胶材料搭配使用。
在他们的新研究中，研究小组将超声波贴纸设计融入可穿戴腕带中，以连续对手腕上的肌肉和肌腱进行成像。
“你手腕上的肌腱和肌肉就像拉动木偶的绳子，也就是你的手指，”卢说。 “所以我们的想法是，每次你拍摄琴弦状态的照片时，你就会知道手的状态。”
映射操作
该团队设计了一款带有超声波贴纸的腕带，其大小与智能手表相当，并添加了大约与手机一样小的板载电子设备。他们将腕带戴在志愿者的手腕上，并确认当志愿者以各种手势移动手指时，该设备可以产生清晰、连续的手腕图像。
接下来的挑战是将手腕的黑白超声图像与手的特定位置联系起来。事实证明，手指和拇指具有 22 个自由度，或者不同的伸展或倾斜方式。
研究人员发现，他们可以识别手腕超声图像中与这 22 个自由度相关的特定区域。例如，一个区域的变化与拇指的伸展相关，而另一区域的变化与食指的运动相关。
为了建立这些联系，佩戴腕带的志愿者将手移动到不同的位置，而研究人员则用志愿者周围的多个摄像头记录这些手势。
通过将超声波图像的某些区域的变化与相机记录的手部位置进行匹配，团队可以用手部相应的自由度来标记手腕图像区域。但连续、实时地进行这种翻译对于人类来说是一项不可能完成的任务。
因此，团队转向人工智能。他们使用了一种人工智能算法，该算法可以被训练来识别图像模式并将其与特定标签相关联，在这种情况下，可以将手的不同自由度相关联。
研究人员用他们精心标记的超声图像来训练算法，注释与特定自由度相关的图像区域。他们在一组新的超声图像上测试了该算法，发现它正确预测了相应的手势。
研究人员成功将人工智能算法与腕带配对后，他们在更多志愿者身上测试了该设备。在这项新研究中，八名手和手腕尺寸不同的志愿者佩戴腕带，同时做出各种手势和抓握动作，包括用美国手语制作所有 26 个字母的手势。他们还拿着网球、塑料瓶、剪刀和铅笔等物品。在每种情况下，腕带都能精确跟踪并预测手的位置。
为了演示潜在的应用，该团队开发了一个简单的计算机程序，将其与腕带无线配对。当佩戴者进行捏和抓的动作时，这些手势相当于放大和缩小计算机屏幕上的物体，并以平滑和连续的方式虚拟地移动和操纵它。
研究人员还测试了腕带作为简单商用机器人手的无线控制器。志愿者戴着腕带，进行了弹奏键盘的动作。机器人随后实时模仿动作，在钢琴上弹奏简单的曲子。同一个机器人还能够模仿人的手指敲击来玩桌面篮球游戏。
赵正计划进一步小型化腕带的硬件，并根据具有更广泛手部尺寸和形状的志愿者的更多手势和动作来训练人工智能软件。最终，该团队正在开发一款任何人都可以佩戴的可穿戴手部追踪器，以无线方式操纵人形机器人或高度灵巧的虚拟物体。
“我们相信，这是通过手腕的可穿戴成像来跟踪灵巧手部运动的最先进方法，”赵说。 “我们认为这些可穿戴超声波带可以为虚拟现实和机器人手提供直观且多功能的控制。”
资金：这项研究得到了麻省理工学院、美国国立卫生研究院、美国国家科学基金会、美国国防部和新加坡国家研究基金会通过新加坡-麻省理工学院研究与技术联盟 (SMART) 的部分支持。
回答的关键问题：
一个：相机需要清晰的视线和复杂的设置，而手套可能笨重并且使您的触觉迟钝。超声波“看”穿皮肤，捕捉肌肉和肌腱的内部运动。这使得它不受视觉障碍的影响，并且对肌肉传感器 (EMG) 经常忽略的微妙的“中间”手指运动更加敏感。
一个：绝对地。研究人员演示了用户在半空中捏手指来放大虚拟对象或“抓取”数字工具。由于它是一款与智能手表大小相当的可穿戴手环，因此最终可以取代 AR/VR 耳机中笨重的控制器，从而实现更直观、“免提”的交互。
一个：该团队使用来自摄像机的“地面实况”数据来训练人工智能。志愿者会移动他们的手，同时摄像机记录外部，腕带记录内部。人工智能学会将手腕上特定的黑白超声波图案与精确的手指位置关联起来，最终学会在没有摄像头的情况下预测手的姿势。