1. 背景介绍

在机器人进行灵巧操作的过程中，使用传感器对外部环境进行感知是至关重要的。视触觉传感器由弹性体、灯带和摄像机组成，能够以较低的成本获取高分辨率的触觉信息，在机器人感知和控制中有着广泛的应用。然而，现有的仿真方法在模拟视触觉传感器与物体的复杂接触操作（如滑动和旋转）时存在不足，难以准确仿真弹性体的变形情况。为了解决上述问题，本文提出了一种新的仿真方法，使用改进版的物质点法（IMPM）对弹性体进行仿真，并结合路径追踪方法进行仿真图像渲染。

图1：(A) 光学触觉传感器Gelsight。(B) Gelsight 传感器内部结构示意图。(C) 传感器相机拍摄的真实图像。(D) 本研究生成的仿真图像。图像表明该仿真方法准确模拟了物体按压传感器时的边界形状、背景纹理和光照条件。

2. 创新点

图2：仿真整体流程。（A）根据物体的初始位置和角度初始化 MPM 算法中的网格和粒子。（B）逐时间步模拟按压、滑动和旋转等动作，直到达到目标状态。（C）对传感器表面的粒子深度进行插值，获得3维的弹性体模型。（D）在模型的基础上添加灯光、材质和纹理效果以渲染仿真图像。
 

2.1硅胶仿真

该研究对MPM算法进行了针对性改进，使其可以对旋转滑移中的摩擦力进行仿真。原始的MPM算法应用粒子来表示物体，它的特点是使用欧拉透视法，即网格在模拟过程 中不随物体移动。在模拟过程中，网格节点首先从附近的粒子（particle-to-grid）收 集信息，计算粒子之间的相互作用并把这些信息传递给每个粒子 (grid-to-particle)， 最后更新粒子状态。MPM 仿真视触觉传感器主要可以分为以下四步：

1. 初始化  2. Particle-to-grid  3. Grid-to-particles  4. particle movement

在实验中可以发现：用MPM仿真物体横向移动时，硅胶会在表面滑动，无法产生正确的移动轨迹。这是因为物体在每轮仿真中会基于物体和弹性体间的相互作用得到一个速度；但移动时采用的则是设置好的固定值，这个过程中产生了能量丢失。IMPM算法的改进方法是：多次进行 particle to grid, grid to particle 的操作，使接触面两边（物体和硅胶）充分交换速度信息，当交界处横向的速度接近时再进行移动。此外，IMPM还固定了硅胶与传感器连接部分的z轴速度，以仿真传感器整体对硅胶的固定作用。算法伪代码如下：

2.2 仿真图像渲染

本研究采用路径追踪来渲染仿真图像，先将硅胶仿真中的深度图数据进行插值，得到3D模型，再添加光照、材质后进行渲染得到图像。路径追踪算法追踪光线传播的路径，判断光线和物体的相交情况，可以真实模拟光线在空间中传播时产生的反射、折射、散射、叠加和衰减，可以提供更为真实的光影效果。本研究使用 blender 软件进行建模和渲染，使用其提供的 python 脚本接口进行自动化建模和控制。

图3：（A）插值得到的弹性体模型。（B）将背景图像叠加到传感器表面。（C）在传感器内加入 LED 后的照明效果。（D）最终得到的渲染图像。

3. 实验设计及结果

3.1 数据采集

为了更好地评估仿真器在不同场景下的仿真效果，我们使用了6种不同形状的探针，包括环形、甜甜圈形、球形、吃豆人形、月牙形和方块圆孔形探针。在滑动实验中，探针从传感器中心开始向左和向右滑动，滑动距离从0mm到5mm，以1mm为间隔，共采集了72张实体图像。在旋转实验中，我们采集了三种探针（不包括本身中心对称的探针，因为旋转前后几乎无差别）的顺时针和逆时针旋转数据，旋转角度从0度到45度，以5度为间隔，共获得60张旋转图像。按压实验则使用了Gelsight传感器的数据集，包括21种不同的探针，每个探针在3×3个不同位置上按压，深度从0mm到10mm，以1mm为间隔，共2079张图像。

3.2 按压仿真

在按压仿真的效果验证上，本研究采用DoG、Tacchi仿真器的结果作为基准线。DoG应用高斯差分来模拟 Gelsight，而 Tacchi应用 MLS-MPM 来模拟弹性体的变形；在渲染阶段，它们都采用 Phong 模型进行渲染。下图展示了真实图像以及使用 DoG、Tacchi 和我们的方法生成的模拟图像。我们使用三个指标来评估图像相似性：均方误差(MSE)、峰值信噪比 (PSNR) 和结构相似性(SSIM)。这三个指标广泛应用于测量图像间的相似度。下表显示了对 2079 组数据中相似度的平均值。该研究的仿真结果在这三个指标上都优于以前的方法。

图4：（A）和（B）分别为Gelsight，按压深度为3mm 和 8mm 的情况。在每张图片中，第一行显示由真实的Gelsight 传感器捕获的图像。第二行展示了使用 [15] 中提出的高斯方法获得的模拟结果。第三行展示了 Tacchi [16] 产生的模拟结果。第四行显示本研究模拟方法产生的结果。可以观察到，本研究生成的模拟图像中，背景细节更加清晰。

3.3 旋转滑移仿真

随着探针的移动，一些区域从被压区域转变为未被压区域，而一些区域则相反。在朴素MPM中，一旦某个区域不再被压，就会发生异常的深度变化，如在移动5mm后的图像中，方形圆孔探针的按压痕迹几乎看不到中心孔。而IMPM缓解了这个问题。对于旋转的情形，朴素MPM也存在类似的问题。

以下表格展示了滑移、旋转仿真图像与真实图像的相似度，可以看出IMPM相比MPM有着更高的相似度：

图5、6：左右两图分别展示了滑移和旋转的仿真结果，每张图片最左侧为采集的真实数据，中间为朴素MPM的仿真结果，右侧为IMPM的仿真结果。可以观察到，IMPM的仿真结果中，滑移轨迹更加真实，且随着探针的移动，按压区域的形状保持稳定。

4. 总结和展望

本文提出了一种光学触觉传感器的仿真方法，采用路径追踪算法生成模拟图像，并提出IMPM算法以仿真旋转滑移过程中物体与弹性体表面之间的相对静止状态。该方法可为机器人强化学习平台提供真实的触觉反馈支持，有助于训练出有效的控制策略。该方法具有很高的可扩展性，可以通过简单的修改来适配不同种类传感器：在硅胶变形仿真中，可以调整弹性体粒子云的形状来适应不同形状的传感器；在渲染过程中，可以修改建模相关代码以适应不同的反射层、光照条件和传感器外壳形状。
 

该方法也存在一些局限性，如仿真效率不理想，未来的研究可以尝试提高模拟的速度。一种可能的方法是：由于运动过程的连续性，相邻两个时间点间实际发生变化的部分并不多，根据这个特性可优化生成相邻帧图像的速度。

论文：Shen, Z., Sun, Y., Zhang, S., Chen, Z., Sun, H., Sun, F., & Fang, B, “Simulation of Optical Tactile Sensors Supporting Slip and Rotation using Path Tracing and IMPM,” IEEE Robotics and Automation Letters, doi: 10.1109/LRA.2024.3481829.

通信作者：方斌教授

原文链接：https://ieeexplore.ieee.org/document/10720429

来源：CAAI认知系统与信息处理专委会