在机器人操作领域，手部操作的灵活性、可变形物体的精确操纵，以及人机协同操作的流畅性，一直是科研人员关注的焦点。然而，机器人在这方面的能力与人类相比仍存在显著差距。为了缩短这一差距，相关研究正在不断深入。
 

近年来，科研人员致力于探索更为先进的手部操作技术，通过模仿人类手部的灵活性和多功能性，提升机器人的操作能力。同时，针对可变形物体的操纵，研究者们正尝试将先进的传感器技术、机器视觉与机器学习算法相结合，以增强机器人对物体形态变化的感知和应对能力。

在人机协同操作方面，随着人机交互技术的快速发展，如何实现机器人与人类之间的无缝合作也已成为研究热点。

人机协同操作：港深前沿研究与合作机遇

为帮助广大学者和技术人员更深入地了解这一领域，CAAI认知系统与信息处理专委会秘书长方斌教授发起了《方斌对话 | 人机协同操作》系列直播。在这个系列中，方教授邀请了多位该领城的权威学者，共同探讨人机协同操作的最新研究成果和技术进展。通过直播对话的形式，他们将进行深度思维碰撞，分享各自的研究经验和见解，为观众提供全新视角，以激发新的思考，为未来的研究和实践带来启发。

         
该活动由中国人工智能学会、中国自动化学会主办，中国人工智能学会认知系统与信息处理专业委员会和NOKOV度量动作捕捉承办，机器人大讲堂媒体支持。

近日，《方斌对话》系列直播03期邀请到了清华大学自动化系副教授、博士生导师李翔，和香港理工大学机械工程学系副教授、机器人与机器智能实验室（ROMI-Lab）项目负责人 (PI)David Navarro-Alarcon（毛大卫）共同探讨主题“人机协同操作：港深前沿研究与合作机遇”。

直播回放：https://www.bilibili.com/video/BV1pH4y1V7E1/

在直播中，李翔教授和David Navarro-Alarcon教授分别以“面向人机共融的智能互补协同操作”和“On Shapes, Robots, and Sensor-Based Controls”为主题展开报告分享，同时，两位教授还与方斌教授展开了精彩的三人对话，带领观众直击港深前沿机器人研究，探寻科研合作机会。

那么，两位教授在此次直播中具体分享了哪些技术要点？接下来，请紧随机器人大讲堂的脚步，一起来深入探索！

面向人机共融的智能互补协同操作

在《面向人机共融的智能互补协同操作》主题报告中，李翔教授深入分享了人机协同操作的背景、人机协同核心-共享自治、全局与区域反馈控制的策略，以及机器人如何从演示中学习和相关实验结果等内容。

直播伊始，李翔教授首先向大家简单介绍了当前人机协同操作的研究背景。他表示，近年来，机器人操作研究领域取得了显著的进展，机器人已经能够模仿人类执行一系列精细复杂的操作任务。然而，不容忽视的是，在面对特定类型的操作时，机器人与人类的能力仍存在显著差距。有两位权威学者曾在Science杂志上发表的论文中指出，当前机器人与人类在操作能力上仍存在三大主要差距，包括：手内操作的精细度、柔性物体操作的适应性，以及人机协同操作。

围绕三大挑战的其中之一“人机协同操作”，李翔教授就人机协同操作的架构、感知部分组成与大家进一步展开了深入分享。

典型的人机协同操作系统架构融合交互接口、规划控制、感知组件。在人机协同的过程中，专家通过接口传递运动意图给机器人，机器人的运动规划模块据此设计轨迹。感知组件监测环境变化，控制模块参考实际运行情况动态调整机器人动作方向和力度。在这个系统中，共享自治（Shared Autonomy）是核心，通过实现人机之间的高效协同操作，确保机器人能够更好地适应专家的意图和环境变化，从而共同完成任务。

人机协作的感知部分

人机协作的感知部分集成了多样化的接口技术，这些技术旨在从不同角度精准捕捉人类操作的变化。其中，动作捕捉装置能够实时追踪人类的位置移动，如NOKOV度量动作捕捉系统，机器人能够预测人类的动作，提前准备好与人协同工作的工具或物品。或者使用遥操作Teleoperation直接传递人类的操作技能和技巧给机器人，使机器人能够快速学习和模仿。此外，肌电（Emg）传感器监测人类的肌肉活动，帮助机器人理解人类的意图，为意图分类提供辅助。同时，增强现实（AR）或虚拟现实（VR）技术的应用，使得专家和机器人在虚拟环境中进行交互学习，共同提升操作技能。这些感知技术的融合，为人机协作提供了坚实的基础，确保了人机协同的高效性和精准性。

而后，李翔教授就人机交互规划和控制方面的相关研究进行了分享，并重点介绍了人机协作的一个重要概念——共享自治。

据李翔教授介绍，考虑到人类相较于机器人的操作灵活性和精巧性，以及人机交互过程中产生的大量数据，研究者们期望通过不断收集和分析这些数据，让机器人能够更有效地学习并模仿人类的操作技巧。

目前，关于运动规划方法，目前主要存在两大类。首先是基于模型的规划方法，尽管这种方法在某些场景下有效，但它通常难以适应高度动态和复杂的环境，并且对传感器的要求较高。另一种是基于人类示教的方法，这种方法侧重于机器人末端的规划任务，但往往忽略了机器人关节的协同，限制了其在人机协同任务中的全面应用。

在人机交互任务中，共享自治（Shared Autonomy）是一个重要概念。其核心目标是使机器人行为能够更好地适应人类的变化。在共享自治框架下，机器人可以根据环境和任务的变化，实时或自适应地调整其输入权重，以实现与人类的协同工作。

相关论文：Autonomy in Physical Human-Robot Interaction: A Brief Survey

与此相关但有所区别的是共享控制（Shared Control），其特点在于控制权重的设定依赖于人类。与共享自治相比，共享控制在任务执行过程中无法根据变化进行自适应调整，控制权分配较为固定。

在共享自治中，引入了一个关键参数θ，它用于描述人机交互中人与机器人协同操作时的多种变化因素，包括人类意图的改变、任务的动态变化、未预见的环境变化等。基于这些变化，机器人能够在线自适应地调整其辅助策略，以适应人机协同任务的需求。与共享控制相比，共享自治提供了更大的灵活性和适应性。

此外，相较于共享控制，共享自治的自适应调整能力具备明显优越性。共享自治不仅考虑人的意图变化，还涵盖环境和任务等所有相关因素的变化。基于共享自治的人机协同操作系统可根据人的变化、任务的变化以及环境的变化进行自主调整，能够应用于更为复杂的场景。

在人机交互的混合场景中，包括交互式环境和独立工作环境两类。在交互式环境中，人和机器人需要紧密的物理接触以共同完成任务。而在独立工作环境中，机器人则独立执行如抓取和放置物体的任务。这两种环境在工业制造领域均十分常见。

面对混合环境中的挑战，李翔教授团队引入了一种互补式新型人机协作框架。在这一框架中，机器人专注于末端任务，如物体的抓取与放置，而专家则进入机器人的冗余空间，提供避障建议以及针对独立环境的示教。这种互补方式允许专家随时介入，而不影响机器人当前的任务执行，从而在保证操作效率的同时确保人机安全。

这种互补框架充分利用了人与机器人的各自优势。机器人以其高速、高重复度和连续工作能力在任务空间中发挥关键作用，同时利用多模态反馈信息解决环境中的复杂问题。而专家则以其强大的决策能力、学习能力和适应能力应对动态和突发情况。通过这种人机优势的结合，实现更高效、更安全的人机协同操作。    

基于互补式框架的思想，李翔教授团队还构建了一个高效的人机协作平台。该平台允许机器人在与人类共存的环境中工作，同时也能独立执行任务。此外，团队引入了远端专家指导系统，通过多样化的人机交互接口，如力反馈装置和增强现实设备，自然、直观地传递操作经验和意图给机器人。通过这一平台，机器人不仅获得了更广泛的泛化能力，能够应对相似任务中的避障挑战和末端操作变化，还实现了专家通过虚拟界面实时调整机器人姿态的功能，且不影响其正在执行的任务。

在控制策略上，团队提出了一种区域反馈方法，并基于该方法实现了全局自适应控制，使机器人能够基于多模态反馈信息在任务空间和局部区域间灵活切换，确保操作的连续性和稳定性。同时，团队引入的自适应神经网络有效解决了未知模型问题，进一步提升了系统的鲁棒性。

相关论文：Adaptive Neural Network Control of Robot Based on a Unified Objective Bound

实验验证表明，该平台在真实场景中能够精准地执行抓取等任务，机器人能够迅速从初始位置平滑过渡到目标位置，且在整个过程中保持稳定。特别是在机器人抓取过程中，专家的介入能够即时调整机器人姿态，而无需中断其末端任务，实现了人机协同操作的高效与安全。

▍机器人如何从演示中学习

此外，李翔教授团队还利用动态运动基元（DMP）方法学习来实现机器人从演示中学习。

整个DMP方法主要分为两步：在学习阶段，团队将人类视觉轨迹进行参数化，在重现阶段，在保证轨迹及相似的前提下，机器人可以根据不同任务设定不同运动参数，如终点位置、移动速度和轨迹参数，从而实现任务的泛化。

在双手示教的过程中，团队借助设备能够灵活地调整机器人末端的位置。同时，通过观察AR界面，团队可以实时改变机器人的关节运动，使其能够在受限环境中自如行动，有效避免与环境发生碰撞。这种双手示教方式不仅直观高效，而且能够确保机器人末端精确地达到期望的学习操作位置。这种示教方式充分满足了环境和稳态的双重要求，提供了一种更加有效且直观的机器人操作方法。

对于以上研究的实际应用效果，李翔教授通过展示协作超声扫描机器人和穿戴式外骨骼机器人两个实际应用案例向大家进行了说明。前者通过多模态人机交互精准识别医师意图，实现高效协同扫描，保障扫描质量及患者安全；后者则凭借柔性驱动与在线学习，为穿戴者提供个性化助力，提升行走舒适度与安全性。    

On Shapes, Robots, and Sensor-Based Controls

在题为《On Shapes, Robots, and Sensor-Based Controls》（中文标题：关于形状、机器人和基于传感器的控制）的报告中，David Navarro-Alarcon教授围绕形状在机器人领域的应用、形状控制的相关研究以及形状控制的应用案例三个方面进行了深入分享。
 

▍形状在机器人领域的应用

在直播中，David Navarro-Alarcon教授首先向大家介绍了形状在机器人操作中的重要地位。

他强调，形状不仅是物体的外在表征，更是机器人执行任务时不可或缺的参考依据。通过精细地分析和巧妙地利用形状信息，机器人能够更加精准地识别和操作物体，显著提升任务执行的效率和准确性。

据David Navarro-Alarcon教授介绍，当前，该领域的研究聚焦于如何利用形状来编码丰富的信息，如几何特征、频率、配置、目标位置和形态变化等，从而驱动机器人执行一系列复杂的任务。

例如，研究人员正探索通过形状识别来引导机器人手臂的精确运动，确保机器人能够准确无误地抓取和操作各种物体。同时，形状信息也被应用于规划多个移动机器人的协同行动，实现高效的群体智能和协同作业。

▍形状控制的相关研究

关于形状控制的相关研究，David Navarro-Alarcon教授从形状控制的基本原理、形态可变移动体的设计与控制方法，以及多移动体之间的协调策略等多个层面，进行了全面而深入的阐述。

据David Navarro-Alarcon教授介绍，在形状控制的研究中，首先关注如何将目标形状转化为机器人可以理解的指令。这涉及到对形状的编码和解析，以及设计适当的控制算法来驱动机器人实现目标形状。

为了解决这一问题，David Navarro-Alarcon教授攻读博士和博士后学位期间所在的研究团队开发了一种创新的基于视觉测量技术的反馈控制策略。该策略能够实时捕捉物体的形态数据，并结合反馈控制机制，持续微调机器人的操作，以实现对目标形状的精确逼近。这一方案不仅在软体变形任务中显示出其适用性，还能够被广泛运用于多机器人协作、以及模块化机器人形态转换等多种复杂场景，展现出卓越的灵活性和广泛的应用潜力。

在香港理工大学任职期间，David Navarro-Alarcon教授与齐佳明领导的团队共同攻克了“复合刚性可变形物体的机器人操纵”这一技术难题，创新性地提出了一种全新的视觉伺服方法。为了精确量化物体的复杂形态，研究团队通过计算二维轮廓矩特征，构建了一个高效的反馈向量。此外，他们还设计了滑模控制方案，以确保在有限时间内，反馈的形状误差和模型估计误差都能有效收敛。这一方法能够简洁、准确地捕捉物体的方向、位置及其他关键几何属性。其数值表示法的巧妙之处在于，物体的几何变化能够直观地转化为计算机向量中的比例变化。由此，该方法成功实现了对从柔软到坚硬的各类物体的自适应操纵，展现了极高的灵活性与实用性。

相关论文：Contour Moments Based Manipulation of Composite Rigid-Deformable Objects With Finite Time Model Estimation and Shape/Position Control
 

除了基于轮廓的轮廓矩之外，该团队也提出了一种利用参数化回归特征来描绘线性物体配置和形状的方法。此处的“回归”特指线性回归，它涉及测量相关指标，构建一个结构，并从中得出向量参数。实验证明，这种使用参数用作反馈形状的特征的方法具有广泛适用性，不仅能描绘多项式曲线，还能描述神经网络等复杂特性的曲线，即使它们的几何代数能够实现线性参数化表达。

相关论文：Adaptive Shape Servoing of Elastic Rods Using Parameterized Regression Features and Auto-Tuning Motion Controls

此外，David Navarro-Alarcon教授还深入探讨了如何利用不同的形状和曲线来设计可变形态的移动体，并通过精准的控制技术来实现其形态的动态调整。基于前面提到的形状控制框架，该团队进一步开发出了一种创新控制方法，能够自主操控带状曲线进行移动。通过推动和扭曲物体，可以精确地使其形状逐渐逼近预设的目标轮廓。

相关论文：Adaptive Shape Servoing of Elastic Rods Using Parameterized Regression Features and Auto-Tuning Motion Controls

▍形状控制的应用案例

在演讲的最后部分，David Navarro-Alarcon教授分享了一些形状控制的应用案例。这些案例涵盖了多个领域，包括形状控制、物体变形、人机协作、模块化机器人设计等。

形状控制是现代机器人技术中的一个重要领域。David Navarro-Alarcon教授和他的同事马婉玉等人以“将长线性物体打包到紧凑盒子中”为动机进行了相关研究。通过视觉反馈和协调的双臂运动，该团队实现了机器人自主地规划形状并主动改变和打包各类物体，展现出形状控制在解决实际问题中的巨大潜力。

相关论文：Action Planning for Packing Long Linear Elastic Objectsinto Compact Boxes with Bimanual Robotic Manipulation

物体变形技术与形状控制紧密相连。基于以上研究，David Navarro-Alarcon教授和其同事周鹏所在团队深入探索了弯曲和塑形，使物体能够在一定程度上模拟电缆等线性可变形物体的功能。这种技术的一个重要应用是在人与机器人协作组装任务中，机器人可以通过弯曲来避免与障碍物碰撞，从而顺利完成任务。    

在人机协作方面，David Navarro-Alarcon教授展示了机器人如何负责弯曲，为人类引导插销动作提供一定的曲率等人机协作方案。

相关论文：Reactive Human-Robot Collaborative Manipulation of Deformable Linear Objects Using aNew Topological Latent Control Model

此外，David Navarro-Alarcon教授还向大家展示了其所在团队与其他研究团队合作取得过重要突破——通过形状和曲线来控制多智能体系统。该方案摒弃了传统的目标笛卡尔位置指令方式，而是采用提供参数化轮廓的新颖方法，使机器人能够高度自主地沿着预设曲线进行自我分布。这一突破性的技术为机器人编队控制带来了新的可能性。 

相关论文：Fourier-Based Multi-Agent Formation Control to Track Evolving Closed Boundaries

在模块化机器人设计领域，David Navarro-Alarcon教授介绍了其学生主导的两项引人注目的研究项目。

在Luiza领衔的项目中，他们创新性地开发出了一种可变形碎石机器人系统。该系统独具匠心，通过熔化特定材料实现自由变形，一旦停止电流供应，材料即会凝固，从而改变机器人的形状，赋予其既坚固又可变形的特性。相较于传统的刚性机器人，这种新型智能体拥有更多功能，例如旋转物体和产生力矩，为解决物体操作和运输难题提供了新的思路。

相关论文：Self-Reconfigurable Soft-Rigid Mobile Agent withVariable Stiffness and Adaptive Morphology    

而另一位博士生则另辟蹊径，设计出了一种无需熔化金属或凝固材料的非抓握动作机器人系统。该系统通过精心设计的非抓握动作，结合MPC（模型预测控制）技术，能够灵活执行运输任务，同时在执行任务时还能有效避开障碍物。

虽然这两个项目都还处于起步阶段，但它们已经展现出了在物体操控和运输领域的巨大潜力。

关于ICRA 2024人机协作论坛

值得注意的是，在分享的最后方斌老师对ICRA 2024人机协作论坛进行了精要介绍。    

                   
据了解，该论坛得到了IEEE旗下机器人与自动化协会（RAS）的官方资助，已于5月13日在ICRA 2024大会期间成功举办。该论坛由来自世界各地的学者共同发起，包括约克大学朱吉鸿助理教授、清华大学李翔副教授、北京邮电大学方斌教授、卡耐基梅隆大学Zackory Erickson助理教授、土伦大学Claire Dune副教授以及香港理工大学David Navarro-Alarcon副教授。同时，该论坛还获得了NOKOV度量动作捕捉的赞助，并得到了中国自动化学会智能自动化专委会的大力支持。

本次论坛的主题为“Exploring Role Allocation in Human-Robot Co-Manipulation”，旨在深入探讨人机协同操作中的角色分配问题。论坛聚焦于意图感知、机器人学习、交互控制、人机接口等多个该领域的研究热点，以期推动学术与实践的深度融合，为未来的人机协作开拓新的视野和思路。