人类的精细操作能力，主要依赖于手部拥有的数千个触觉受体。这些受体能够检测到振动、压力和摩擦等多样化的触觉信息，对于机器人的精细操作来说，这些信息同样具有关键性的作用。为了有效地识别这种多模态的触觉信息，研究者们常常尝试将各种结构设计和数据处理技术进行整合。
 

然而，多种结构设计与数据处理计算的同时运用，使得基于视觉的触觉传感器在系统集成和数据解耦方面面临着更为复杂的挑战。因此，如何有效地获取和解耦触觉图像中包含的多模态触觉信息，以便进行准确的特征提取和识别，成为了触觉传感系统面临的一大挑战。

▍提出新策略，实现更高效多模态触觉信息提取

前不久，来自华南师范大学的李昕明研究员团队针对上述挑战，提出了一种基于单一视触觉传感系统的多模态触觉感知策略，并通过使用基于反射膜的视触觉传感器将触觉信息转换为视觉信号，设计了一个能够解耦多种接触信息的深度神经网络模型，用于从基于视觉的触觉传感器获取的触觉图像中提取接触物体的分类、定位、姿势角度和法向力信息。

得益于视触觉图像的高密度特性，该方法无需为各种触觉模态进行特定的光学设计与解耦设计，从而实现了更高效的多模态触觉信息提取。此外，该系统达到了0.2 N的力误差和0.41°的位姿误差，在定位和分类任务中展现出卓越的精度和召回率，彰显了多模态触觉集成技术在各领域的广泛应用潜力。

该研究成果以论文题为“A Vision-Based Tactile Sensing System for Multimodal Contact Information Perception via Neural Network”发表在国际知名期刊IEEE Transactions on Instrumentation & Measurement上。

▍基于单一视触觉传感系统的多模态触觉感知策略

视触觉传感器通过捕捉接触引起的表面光学变化，实现了对物体接触行为的精准感知。当物体与传感器接触时，传感器表面会产生变形，这种变形直接导致传感器表面的反射函数发生变化。这种变化在触觉图像中表现为局部强度的变化，这些变化成为研究人员获取接触表面变形信息的关键线索。具体而言，通过分析触觉图像中反射场强度的分布模式，研究人员可以解读出关于不同接触物体、精确定位、接触力大小以及物体姿势的丰富信息。

为了更高效地从触觉图像中提取这些多模态信息，本研究引入了一种基于神经网络的多模态信息提取方法。该方法以端到端的方式，实现了接触物体的分类、定位、姿势角度识别和接触力测量。在这一流程中，原始的触觉图像首先通过主干网络进行处理，生成三个不同维度的特征图。这些特征图各自捕捉了图像的不同抽象层次和属性。随后，这三个特征图被巧妙地融合起来，以综合利用它们所包含的互补信息。   

融合后的特征图随后被送入一个专门设计的四通道解码器中。这个解码器每个通道都精心配置了两个3×3卷积层，用于进一步提取和转换特征，随后是一个1×1卷积层，用于调整输出维度。通过这样精细设计的结构，解码器能够从融合后的特征中解析出研究人员感兴趣的多模态信息：第一个通道专注于输出每个区域内物体的精确位置信息；第二个通道则负责识别并输出物体的类别；第三个通道分析并输出物体的姿势角度；最后一个通道则精确测量并输出物体所受的法向力大小。

这种基于神经网络的多模态信息提取方法，不仅提高了信息处理的效率和准确性，还使得整个系统更加紧凑和高效。

▍新型触觉传感系统在机器人操作中的实力测试与应用探索

为了全面评估所提出的基于视觉的触觉传感系统在识别多模态接触信息方面的性能，李昕明研究员团队精心设计并实施了一系列实验。实验中，团队不仅验证了系统的基本功能，还通过实际案例展示了其在复杂操作任务中的潜力。   

实验验证与优化

首先，研究团队开发了一套基于成像分辨率目标的触觉空间分辨率表征方法。这一创新方法能够精确衡量不同视触觉传感器设计的触觉分辨率，从而指导设计优化。通过该方法，团队成功地将传感器触觉空间分辨率提升至与人类触觉相当的微米级别，极大提升了传感器的精度和敏感度。

多模态识别精度

在实验中，视触觉传感与神经网络的紧密结合展现出了卓越的识别能力。系统达到了在0-10 N范围内力识别精度为0.2 N，而在0-3 N的小力范围内，识别精度更是提升至0.1 N。姿态角度识别方面，系统的平均误差仅为0.41°，展现了极高的姿态识别精度。同时，系统的定位精度也达到了0.15 mm，确保了准确的空间感知能力。

模拟抓取实验

为了进一步验证系统的实际应用效果，团队进行了模拟抓取实验。实验中，系统成功识别了包括螺丝头、螺丝体、顶部和底部在内的不同接触部位，展现了良好的细节分辨能力。在正常力和姿态角度识别上，系统对螺丝不同接触部分的识别误差均保持在极低水平，验证了其在实际操作中的稳定性和可靠性。

此外，系统还能准确分类和定位多种常见物体（如USB插头、乐高积木、放大器IC、电位计和螺丝刀），平均精度（AP）达到了98.8%，F1分数对于多种接触部件均接近或达到1，进一步证明了系统优异的分类和识别能力。   

机器人操作应用

在机器人操作场景中，该系统能够实时捕捉并反馈接触物体的类别、姿态、位置和受力信息。这些信息对于机器人精准调整运动状态、完成复杂操作任务至关重要。例如，在抓取和插入任务中，系统能够即时提供必要的触觉反馈，帮助机器人优化路径规划和力度控制，从而实现精确的操作。

以上实验结果表明，该系统在多模态触觉感测领域展现出了巨大的应用潜力。其高精度、高灵敏度的特性，不仅适用于复杂的机器人操作任务，还可广泛应用于生物医学、生物学研究以及精密制造等多个领域。随着数据集的不断扩展和算法的优化，该系统有望在未来实现更加智能和通用的触觉感知能力，推动相关领域的技术进步和发展。

参考文章

https://ieeexplore.ieee.org/document/10599274