增强现实(AR)能够将RoboDK工作站中的元素叠加到输入视频或实时视频上。
该功能可通过启用图像处理编辑器插件在RoboDK中使用。
注意:您需要联系RoboDK获取图像处理编辑器插件的使用权限。
视频:本视频教程总结了将增强现实集成到仿真中的操作步骤 https://youtu.be/Phj3_sQNSp0。
启用图像处理编辑器功能需前往:工具➔Add-in Manager,启动Image Processing Editor。

启用图像处理编辑器插件后,必须为增强现实准备工作站。成功创建AR渲染所需的步骤可概括为以下三个部分:
1.选择并创建基准标记。将标记导入 RoboDK。
2.在 RoboDK 中创建仿真相机。
3.建立检测流程。
AR插件需借助标记物来估算相机位姿和运动轨迹。
RoboDK支持四种OpenCV标记:Aruco(增强现实标记)、棋盘格、Charuco Diamond(混合棋盘标记)和Charucoboard(字符棋盘),如下图所示:




选择标记时需综合考虑工作站尺寸、相机分辨率、帧率、运动状态、光照和遮挡等因素。例如:
Aruco | Charuco Diamond | Charucoboard | Chessboard | |
优点 | - 更便捷的设置 - 最快渲染时间 | - 最均衡方案 (精度/渲染时间) | - 抗部分闭塞 - 最准确 | -精度最高/支持相机校准 |
缺点
(标记必须始终保持在相机视野内)
| - 被遮挡时失去跟踪功能 - 不准确的位姿 | - 被遮挡时失去跟踪功能 - 更难设置 | - 渲染时间长 - 不擅长使用实时 AR | - 更难检测 - 不能被遮挡 |
建议的应用 | - 高 FPS / 低分辨率实时 AR - 长Video - 无障碍Video - 固定相机 - 大型站 | - 更好地跟踪实时 AR - 高分辨率Video - 相机慢动作 | - 包含部分标记闭塞的Video - 对位姿精度要求较高的Video。 | -高精度要求的视频/相机校准 (如果通用校准不够,可使用棋盘生成自定义相机校准文件) |
选定标记后,可自定义标记ID、尺寸、棋盘布局和方格尺寸。
然后必须保存并打印标记。可使用“另存为…”功能将标记的PNG文件保存到您的计算机上,之后可轻松将其导入RoboDK。要打印标记,可使用“复制到剪贴板”选项将图像快速导入文本/图像编辑器(如Word或GIMP),然后按比例调整大小并打印。
注意:要计算所生成标记的大小,必须将像素字段转换为毫米。RoboDK中像素与毫米的换算比为1px=0.265mm。
重要:打印的标记与导入RoboDK的虚拟标记必须尺寸相同。良好的做法是测量实物标记,并使用RoboDK中的测量和缩放工具将RoboDK中的标记调整为与实物标记相同的尺寸。
将标记导入RoboDK以建立其与机器人及其他物体的空间关系:
请按照以下步骤正确放置标记:
1.在工作站中新建参考坐标系
2.右键该坐标系选择"添加项目..."
3.找到并选择使用 Fiducial Marker Generator 生成的标记PNG文件
4.调整虚拟标记的比例,使其与真实标记的尺寸一致:
举例说明:Charuco Diamond 标记的默认尺寸为 106.186 毫米 x 106.186 毫米。如果打印的标记尺寸为 280mm x 280mm,则必须应用 2.63688 → ( 280 / 106.186 ) 的比例因子。方法是双击标记物体,选择更多选项-> 应用比例。
5.将标记中心对准参考坐标系原点,Y 轴指向顶部 ID。
举例说明:要移动标记,请双击标记物体并修改物体相对于标记坐标系的位置。在我们的示例中,标记需要在 X 轴上移动 140 毫米,在 Y 轴上移动 140 毫米,并在 Z 轴上旋转 180°。正确位置示例见下图。

6.将标记坐标系放置到工作站中,以便相对于标记对齐工作站中的物体。
提示:若要在最终渲染中隐藏标记,可将虚拟标记置于工作站资产下方,确保物理标记被叠加的资产遮盖。
为了将工作站资产精确叠加到视频画面上,必须创建一个仿真相机。该仿真相机使用利用靶标计算出的相机位姿和轨迹,从与输入视频画面相同的角度、距离和轨迹记录 RoboDK 工作站。
该仿真相机的分辨率需要与输入视频相匹配,这样标记缩放才能准确。向工作站添加虚拟相机的步骤如下:
1.在工具栏中选择:Image Processing Editor ➔ Add a RoboDK Camera创建相机。
2.右键单击相机或相机画面,然后选择“相机设置”。
3.调整虚拟相机设置,使其与输入视频画面的分辨率相匹配。
4.对齐参考坐标系,使仿真相机能够看到虚拟 Aruco 标记。
提示:可以根据需要调整焦距和工作距离,以确保在渲染时所有工作站对象都在视图中。下图显示的是配置合适的虚拟相机,分辨率为 1280x720p。

为获得最佳效果,拍摄实际输入视频时应注意以下事项:
1.将标记置于光照充足环境中的平坦表面上。为获得最佳效果,请考虑虚拟工作站中物体相对于标记和拍摄环境的尺寸和距离。
2.保持相机设置一致(真实相机与仿真相机的分辨率设置必须一致)。
3.确保 Aruco ID 清晰可辨(相机必须保持 ID 清晰可辨。应避免的事项:镜头过快/模糊、相机分辨率低、标记与相机距离过远)。
4.使用.mp4 或 .avi 格式。
提示:高分辨率/高帧率的输入视频可能需要很长的渲染时间。对于超过 720p/60fps 的视频,预计视频渲染时间会明显延长,Camera AR 中的帧率也会较低。
要创建自定义相机校准文件,请打印出一张棋盘,用相机拍摄约 10-20 张棋盘图像,使用的设置与拍摄视频时相同。
每幅图像应包含整个棋盘。每幅图像中棋盘的方向和位置应有所不同。
拍摄图像后,导航至Image Processing Editor ➔Calibrate from files… 并填写棋盘参数。然后选择图像。RoboDK 将生成一个校准文件,可在创建检测流程时使用。
为RoboDK工作站配置增强现实的最后一步,是建立基准标记的检测流程。该检测流程将用于根据真实标记和虚拟标记计算位姿,并将仿真 RoboDK 相机中的资产叠加到输入视频流之上。
最后通过以下步骤创建标记检测流程:
1.在工具栏中导航至Image Processing EditorImage Processing Editor。
2.如果使用 Video AR,请选择模拟的 RoboDK 相机;如果使用 Camera AR,请选择相机源。
3.在 Detectors Charuco Diamond Markers 下选择您的标记。
4.根据物理标记尺寸设置所需的参数。
5.在 Device 下设置校准文件。建议使用 Generic Calibration。
6.通过 File Save Project As…保存流程项目。
准备好工作站、录制好输入视频并保存好处理流程后,我们就可以开始制作 AR 视频了。接下来的章节将详细介绍如何制作 AR 视频和实时 AR 渲染,并提供故障排除部分,帮助修复不理想的渲染效果。
视频AR工具可在预录视频上创建AR叠加效果,特别适合制作演示视频或宣传视频。在视频渲染过程中可以修改工作站,所做的更改将立即生效。
请按照以下步骤在视频上创建AR 叠加效果:
1.隐藏工作站中所有不希望渲染到AR视频中的对象
2.选择:Image Processing Editor➔AugmentedReality (Video)
3.如果保存了多个处理流程,请为您的标记选择正确的处理流程
4.指定包含标记的参考坐标系
5.选择输入视频文件
6.设置输出视频路径和名称
7.监控渲染过程,并进行必要的更改以达到所需的质量
8.渲染完成后关闭AR Camera Frame
RoboDK 中的混合现实(MR)是指将 RoboDK 背景替换为来自VR头显的实时直通馈送。在 RoboDK VR 中这样做可以实现本地环境、SteamVR 和 RoboDK 的混合。
硬件要求:
●Meta Quest 2/3 VR头显+VR性能PC
●Virtual Desktop软件+Virtual Desktop Streamer
●SteamVR+Meta Quest Link
按照以下步骤启用混合现实:
1.启用 Quest 2/3 的开发者模式:
如何激活《Meta Quest 3》的开发者模式?(vr-expert.com)
2.在电脑上启动 Meta Quest Link,按照说明将头显连接到电脑:
设置并连接 Meta Quest Link 和 Air Link | Meta Store
3.使用 Virtual Desktop 连接电脑
4.在 Virtual Desktop 应用程序中启用 VR 直通 API。
5.修改 VR 直通设置:将直通遮罩颜色设为RGB(0,255,0)绿色

6.在 RoboDK 中,将顶部和底部背景选项设置为相同的绿色:
工具 ➔ 选项➔ 显示➔背景色➔RGB分别是 0, 255, 0 (绿色)

7.通过Virtual Desktop启动SteamVR
8.启动 RoboDK 并启用 VR 模式:连接➔连接 VR头显