观看手术视频可以让机器人像人类医生一样熟练地进行手术

Josiah02

通过观看经验丰富的外科医生的视频，首次对机器人进行了训练，使其能够像人类医生一样熟练地执行相同的手术程序。
成功使用模仿学习来训练手术机器人，消除了对医疗过程中所需的每个单独动作对机器人进行编程的需要，并使机器人手术领域更接近真正的自主，即机器人可以在没有人工帮助的情况下执行复杂的手术。
“拥有这个模型真的很神奇，我们所做的就是给它输入摄像头，它就能预测手术所需的机器人动作，”资深作者 Axel Krieger 说道。“我们相信，这标志着迈向医疗机器人新领域的重大一步。”
约翰霍普金斯大学研究人员的研究成果在慕尼黑机器人学习会议上引起了广泛关注。
该团队由斯坦福大学的研究人员组成，他们使用模仿学习来训练达芬奇手术系统机器人执行基本的手术程序：操纵针头、提升身体组织和缝合。
该模型将模仿学习与 ChatGPT 所依赖的相同机器学习架构相结合。不过，ChatGPT 使用的是单词和文本，而该模型则使用运动学来表达“机器人”，这是一种将机器人运动角度分解为数学的语言。
研究人员将手术过程中戴在达芬奇机器人手臂上的腕式摄像机拍摄的数百段视频输入到他们的模型中。这些视频由世界各地的外科医生录制，用于术后分析，然后存档。全球有近 7,000 台达芬奇机器人在使用，超过 50,000 名外科医生接受了该系统的培训，为机器人“模仿”创建了一个庞大的数据档案。
尽管达芬奇系统被广泛使用，但研究人员表示，该系统的不精确性是出了名的。但该团队找到了一种方法，让有缺陷的输入发挥作用。关键是训练模型执行相对动作，而不是绝对动作，因为绝对动作是不准确的。
“我们只需要输入图像，然后这个人工智能系统就会找到正确的动作，”首席作者 Ji Woong “Brian” Kim 说道。“我们发现，即使只有几百个演示，该模型也能够学习该过程并推广它从未遇到过的新环境。”
研究团队训练机器人执行三项任务：操作针头、提起身体组织和缝合。在每一项任务中，经过团队模型训练的机器人都能像人类医生一样熟练地执行相同的手术程序。
“这里的模型非常善于学习我们没有教过的东西，”克里格说。“比如，如果它把针头掉下来，它会自动捡起来继续。这不是我教它做的事情。”
研究人员表示，该模型可用于快速训练机器人执行任何类型的外科手术。该团队目前正在使用模仿学习来训练机器人执行小型手术任务，甚至执行完整的手术。
在这项进步出现之前，即使是对机器人进行编程以执行手术的简单方面，也需要对每个步骤进行手工编码。克里格说，有人可能会花十年时间尝试模拟缝合。而这只是一种手术的缝合。
“这非常有限，”克里格说。“这里的新点在于，我们只需要收集不同程序的模仿学习，就可以在几天内训练机器人学会它。它使我们能够加速实现自主的目标，同时减少医疗错误并实现更精确的手术。”
约翰霍普金斯大学的作者包括博士生 Samuel Schmidgall、副研究工程师 Anton Deguet 和机械工程副教授 Marin Kobilarov。斯坦福大学的作者是博士生 Tony Z. Zhao 和助理教授 Chelsea Finn。