增强现实

增强现实（AR）能够将RoboDK工作站中的元素叠加到输入视频或实时视频上。

该功能可通过启用图像处理编辑器插件在RoboDK中使用。

Note：你需要联系RoboDK获取图像处理编辑器插件的使用权限。

Video：本视频总结了集成增强现实到仿真中的操作步骤https://youtu.be/Phj3_sQNSp0

启用图像处理编辑器功能需前往：工具➔Add-in Manager，启动Image Processing Editor。

启用插件后，需按以下三个步骤配置工作站的AR渲染功能：

1.选择并创建基准标记。将标记导入 RoboDK。

2.在 RoboDK 中创建仿真相机。

3.建立检测流程。

选择并创建基准标记

AR插件需借助标记物来估算相机姿态和运动轨迹。

RoboDK支持四种OpenCV标记：Aruco（增强现实标记）、棋盘格、Charuco Diamond（混合棋盘标记）和Charucoboard（字符棋盘），如下图所示：

选择标记时需综合考虑工作站尺寸、相机分辨率、帧率、运动状态、光照和遮挡等因素。例如：

• 大型工作站搭配固定且无遮挡的相机时，使用Aruco标记最佳——相同尺寸下，单个Aruco标记的识别距离远优于需要识别4个以上ID的Charuco Diamond或Charucoboard标记
• 若存在局部遮挡，应选用Charucoboard——它无需识别全部ID即可定位相机
• 需要最高精度时，棋盘格是首选（但设置复杂且渲染耗时）

选定标记后，可自定义标记ID、尺寸、棋盘布局和方格尺寸。

通过"另存为..."功能将标记保存为PNG文件并打印。可使用 "复制到剪贴板 "选项将图像快速导入文本/图像编辑器（如 Word 或 GIMP），然后按比例调整大小并打印。

Note：要计算所生成标记的大小，必须将像素字段转换为毫米。RoboDK中像素与毫米的换算比为1px=0.265mm。

Important：必须确保打印标记与虚拟标记尺寸完全一致，建议用游标卡尺测量实物后，在RoboDK中使用测量和缩放工具校准。

导入标记

将标记导入RoboDK以建立其与机器人及其他物体的空间关系：

请按照以下步骤正确放置标记：

1.在工作站中新建参考坐标系

2.右键该坐标系选择"添加项目..."

3.导入之前生成的标记PNG文件

4.调整虚拟标记比例

举例说明：Charuco Diamond 标记的默认尺寸为 106.186 毫米 x 106.186 毫米。如果打印的标记尺寸为 280mm x 280mm，则必须应用 2.63688 → ( 280 / 106.186 ) 的比例因子。方法是双击标记物体，选择更多选项-> 应用比例。

5.将标记中心对准参考坐标系原点，Y 轴指向顶部 ID。

举例说明：要移动标记，请双击标记物体并修改物体相对于标记坐标系的位置。在我们的示例中，标记需要在 X 轴上移动 140 毫米，在 Y 轴上移动 140 毫米，并在 Z 轴上旋转 180°。正确位置示例见下图。

6.将标记坐标系放置到工作站中合适位置。

Tip：若要在最终渲染中隐藏标记，可将虚拟标记置于工作站资产下方，利用叠加效果遮盖物理标记。

配置仿真相机

为了将工作站资产精确叠加到视频画面上，必须创建一个仿真相机。该仿真相机使用利用靶标计算出的相机位姿和轨迹，从与输入视频画面相同的角度、距离和轨迹记录 RoboDK 工作站。

该模拟相机的分辨率需要与输入视频相匹配，这样标记缩放才能准确。为管理平台添加虚拟相机的步骤如下：

1.在工具栏中选择：Image Processing Editor ➔ Add a RoboDK Camera创建相机。

2.右键相机选择：相机设置。

3.调整分辨率等参数与输入视频一致（例如1280x720p）

4.对齐参考坐标系确保虚拟标记在视场内

Tip：可以根据需要调整焦距和工作距离，以确保在渲染时间内所有站内物体都在视图中。下图显示的是配置充分的虚拟相机，分辨率为 1280x720p。

拍摄输入视频时的注意事项：

1.将标记置于光照充足的平面。

2.保持相机参数一致（分辨率/帧率等）。

3.确保可辨认的 Aruco 证件（相机必须保持证件可辨认。应避免的事项镜头过快/模糊、相机分辨率低、标记与相机距离过远）。

4.使用.mp4 或 .avi 格式。

Tip：高分辨率/高帧率视频会导致渲染时间显著增加。对于超过 720p/60fps 的镜头，预期视频渲染时间会明显延长，相机 AR 中的 FPS 也会降低。

创建自定义相机校准文件

要创建自定义相机校准文件，请打印出一张棋盘，用相机拍摄约 10-20 张棋盘图像，使用的设置与拍摄视频时相同。

每幅图像应包含整个棋盘。每幅图像中棋盘的方向和位置应有所不同。

拍摄图像后，通过Image Processing Editor ➔Calibrate From Files…并填写棋盘参数。然后选择图像。RoboDK 将生成一个校准文件，可在创建检测流程时使用。

创建检测流程

为RoboDK工作站配置增强现实的最后一步，是建立基准标记的检测流程。该流程将通过虚实标记的姿态比对，将仿真相机捕捉的虚拟资产精准叠加到实拍视频流之上。

最后通过以下步骤创建标记检测流程：

1.先在工具栏选择：Image Processing Editor。

2.如果使用Video AR，请选择模拟的 RoboDK 相机；如果使用相机 AR，请选择相机源。

3.在检测器中选择对应标记类型。

4.根据物理标记尺寸设置所需的参数。

5.设备设置中选择校准文件（建议首选通用校准）。

6.将该流程另存为。

准备好工作站、录制好输入Video并保存好处理管道后，我们就可以开始制作 AR Video了。接下来的章节将详细介绍如何制作 AR Video和实时 AR 渲染，以及帮助修复不良渲染的故障排除部分。

制作AR视频

视频AR工具可将虚拟内容叠加到预录视频上，特别适合制作演示视频：

请按照以下步骤在视频上创建AR 叠加效果：

1.隐藏工作站中不需要渲染的对象

2.选择：Image Processing Editor➔AugmentedReality (Video)

3.选择对应的检测流程

4.指定包含标记的参考坐标系

5.选择输入视频文件

6.设置输出视频路径和名称

7.实时监控渲染效果并调整参数

8.渲染完成后关闭AR Camera Frame

混合现实配置

为来自VR头显的实时直通馈送。在 RoboDK VR 中这样做可以实现本地环境、SteamVR 和 RoboDK 的混合。

硬件要求：

●Meta Quest 2/3 VR头显+VR性能PC

●Virtual Desktop软件+Virtual Desktop Streamer

●SteamVR+Meta Quest Link

配置步骤：

1.启用 Quest 2/3 的开发者模式：

如何激活《Meta Quest 3》的开发者模式？（vr-expert.com）

2.在电脑上启动 Meta Quest Link，按照说明将耳麦连接到电脑：

设置并连接 Meta Quest Link 和 Air Link | Meta Store

3.使用虚拟桌面连接电脑

4.在虚拟桌面应用程序中启用 VR 穿透 API

5.修改 VR 穿透设置：将穿透遮罩颜色设为RGB(0,255,0)绿色

6.在 RoboDK 中，将顶部和底部背景选项设置为相同的绿色：

工具 ➔ 选项➔ 显示➔背景色➔RGB分别是 0, 255, 0 (绿色)

7.通过Virtual Desktop启动SteamVR

8.启动 RoboDK 并启用 VR 模式：连接➔连接 VR设备