Augmented Reality

增强现实

增强现实(AR)能够将RoboDK工作站中的元素叠加到输入视频或实时视频上。

该功能可通过启用图像处理编辑器插件在RoboDK中使用。

注意:您需要联系RoboDK获取图像处理编辑器插件的使用权限。

视频:本视频教程总结了将增强现实集成到仿真中的操作步骤 https://youtu.be/Phj3_sQNSp0。

启用图像处理编辑器功能需前往:工具➔Add-in Manager,启动Image Processing Editor。

Augmented Reality - 图片 1

启用图像处理编辑器插件后,必须为增强现实准备工作站。成功创建AR渲染所需的步骤可概括为以下三个部分:

1.选择并创建基准标记。将标记导入 RoboDK。

2.在 RoboDK 中创建仿真相机。

3.建立检测流程。

选择并创建基准标记

AR插件需借助标记物来估算相机位姿和运动轨迹。

RoboDK支持四种OpenCV标记:Aruco(增强现实标记)、棋盘格、Charuco Diamond(混合棋盘标记)和Charucoboard(字符棋盘),如下图所示:

Augmented Reality - 图片 2Augmented Reality - 图片 3Augmented Reality - 图片 4Augmented Reality - 图片 5

选择标记时需综合考虑工作站尺寸、相机分辨率、帧率、运动状态、光照和遮挡等因素。例如:

  • 大型工作站搭配固定且无遮挡的相机时,使用Aruco标记将大有裨益——相同尺寸下,单个Aruco标记ID的可检测距离远大于Charuco Diamond或Charucoboard标记上的4个或更多ID,且由于不存在运动模糊和遮挡,可确保标记始终被检测到。
  • 若标记偶尔被部分遮挡,应选用Charucoboard,因为它无需检测到全部ID即可确定相机位置。下表可帮助您选择标记类型:
  • 需要最高精度时,棋盘格是首选(但设置复杂且渲染耗时)

Aruco

Charuco Diamond

Charucoboard

Chessboard

 

优点

- 更便捷的设置

- 最快渲染时间

- 最均衡方案

(精度/渲染时间)

- 抗部分闭塞

- 最准确

-精度最高/支持相机校准

 

缺点

 

(标记必须始终保持在相机视野内)

 

- 被遮挡时失去跟踪功能

- 不准确的位姿

- 被遮挡时失去跟踪功能

- 更难设置

- 渲染时间长

- 不擅长使用实时 AR

- 更难检测

- 不能被遮挡

 

 

 

建议的应用

- 高 FPS / 低分辨率实时 AR

- 长Video

- 无障碍Video

- 固定相机

- 大型站

- 更好地跟踪实时 AR

- 高分辨率Video

- 相机慢动作

- 包含部分标记闭塞的Video

- 对位姿精度要求较高的Video。

-高精度要求的视频/相机校准

(如果通用校准不够,可使用棋盘生成自定义相机校准文件)

选定标记后,可自定义标记ID、尺寸、棋盘布局和方格尺寸。

然后必须保存并打印标记。可使用“另存为…”功能将标记的PNG文件保存到您的计算机上,之后可轻松将其导入RoboDK。要打印标记,可使用“复制到剪贴板”选项将图像快速导入文本/图像编辑器(如Word或GIMP),然后按比例调整大小并打印。

注意:要计算所生成标记的大小,必须将像素字段转换为毫米。RoboDK中像素与毫米的换算比为1px=0.265mm。

重要:打印的标记与导入RoboDK的虚拟标记必须尺寸相同。良好的做法是测量实物标记,并使用RoboDK中的测量和缩放工具将RoboDK中的标记调整为与实物标记相同的尺寸。

导入标记

将标记导入RoboDK以建立其与机器人及其他物体的空间关系:

请按照以下步骤正确放置标记:

1.在工作站中新建参考坐标系

2.右键该坐标系选择"添加项目..."

3.找到并选择使用 Fiducial Marker Generator 生成的标记PNG文件

4.调整虚拟标记的比例,使其与真实标记的尺寸一致:

举例说明:Charuco Diamond 标记的默认尺寸为 106.186 毫米 x 106.186 毫米。如果打印的标记尺寸为 280mm x 280mm,则必须应用 2.63688 → ( 280 / 106.186 ) 的比例因子。方法是双击标记物体,选择更多选项-> 应用比例。

5.将标记中心对准参考坐标系原点,Y 轴指向顶部 ID。

举例说明:要移动标记,请双击标记物体并修改物体相对于标记坐标系的位置。在我们的示例中,标记需要在 X 轴上移动 140 毫米,在 Y 轴上移动 140 毫米,并在 Z 轴上旋转 180°。正确位置示例见下图。

Augmented Reality - 图片 6

6.将标记坐标系放置到工作站中,以便相对于标记对齐工作站中的物体。

提示:若要在最终渲染中隐藏标记,可将虚拟标记置于工作站资产下方,确保物理标记被叠加的资产遮盖。

配置仿真相机

为了将工作站资产精确叠加到视频画面上,必须创建一个仿真相机。该仿真相机使用利用靶标计算出的相机位姿和轨迹,从与输入视频画面相同的角度、距离和轨迹记录 RoboDK 工作站。

该仿真相机的分辨率需要与输入视频相匹配,这样标记缩放才能准确。向工作站添加虚拟相机的步骤如下:

1.在工具栏中选择:Image Processing Editor ➔ Add a RoboDK Camera创建相机。

2.右键单击相机或相机画面,然后选择“相机设置”。

3.调整虚拟相机设置,使其与输入视频画面的分辨率相匹配。

4.对齐参考坐标系,使仿真相机能够看到虚拟 Aruco 标记。

提示:可以根据需要调整焦距和工作距离,以确保在渲染时所有工作站对象都在视图中。下图显示的是配置合适的虚拟相机,分辨率为 1280x720p。

Augmented Reality - 图片 7

为获得最佳效果,拍摄实际输入视频时应注意以下事项:

1.将标记置于光照充足环境中的平坦表面上。为获得最佳效果,请考虑虚拟工作站中物体相对于标记和拍摄环境的尺寸和距离。

2.保持相机设置一致(真实相机与仿真相机的分辨率设置必须一致)。

3.确保 Aruco ID 清晰可辨(相机必须保持 ID 清晰可辨。应避免的事项:镜头过快/模糊、相机分辨率低、标记与相机距离过远)。

4.使用.mp4 或 .avi 格式。

提示:高分辨率/高帧率的输入视频可能需要很长的渲染时间。对于超过 720p/60fps 的视频,预计视频渲染时间会明显延长,Camera AR 中的帧率也会较低。

创建自定义相机校准文件

要创建自定义相机校准文件,请打印出一张棋盘,用相机拍摄约 10-20 张棋盘图像,使用的设置与拍摄视频时相同。

每幅图像应包含整个棋盘。每幅图像中棋盘的方向和位置应有所不同。

拍摄图像后,导航至Image Processing Editor ➔Calibrate from files… 并填写棋盘参数。然后选择图像。RoboDK 将生成一个校准文件,可在创建检测流程时使用。

创建检测流程

为RoboDK工作站配置增强现实的最后一步,是建立基准标记的检测流程。该检测流程将用于根据真实标记和虚拟标记计算位姿,并将仿真 RoboDK 相机中的资产叠加到输入视频流之上。

最后通过以下步骤创建标记检测流程:

1.在工具栏中导航至Image Processing EditorImage Processing Editor。

2.如果使用 Video AR,请选择模拟的 RoboDK 相机;如果使用 Camera AR,请选择相机源。

3.在 Detectors Charuco Diamond Markers 下选择您的标记。

4.根据物理标记尺寸设置所需的参数。

5.在 Device 下设置校准文件。建议使用 Generic Calibration。

6.通过 File Save Project As…保存流程项目。

准备好工作站、录制好输入视频并保存好处理流程后,我们就可以开始制作 AR 视频了。接下来的章节将详细介绍如何制作 AR 视频和实时 AR 渲染,并提供故障排除部分,帮助修复不理想的渲染效果。

基于视频源创建AR

视频AR工具可在预录视频上创建AR叠加效果,特别适合制作演示视频或宣传视频。在视频渲染过程中可以修改工作站,所做的更改将立即生效。

请按照以下步骤在视频上创建AR 叠加效果:

1.隐藏工作站中所有不希望渲染到AR视频中的对象

2.选择:Image Processing Editor➔AugmentedReality (Video)

3.如果保存了多个处理流程,请为您的标记选择正确的处理流程

4.指定包含标记的参考坐标系

5.选择输入视频文件

6.设置输出视频路径和名称

7.监控渲染过程,并进行必要的更改以达到所需的质量

8.渲染完成后关闭AR Camera Frame

混合现实配置

RoboDK 中的混合现实(MR)是指将 RoboDK 背景替换为来自VR头显的实时直通馈送。在 RoboDK VR 中这样做可以实现本地环境、SteamVR 和 RoboDK 的混合。

硬件要求:

●Meta Quest 2/3 VR头显+VR性能PC

●Virtual Desktop软件+Virtual Desktop Streamer

●SteamVR+Meta Quest Link

按照以下步骤启用混合现实:

1.启用 Quest 2/3 的开发者模式:

如何激活《Meta Quest 3》的开发者模式?(vr-expert.com)

2.在电脑上启动 Meta Quest Link,按照说明将头显连接到电脑:

设置并连接 Meta Quest Link 和 Air Link | Meta Store

3.使用 Virtual Desktop 连接电脑

4.在 Virtual Desktop 应用程序中启用 VR 直通 API。

5.修改 VR 直通设置:将直通遮罩颜色设为RGB(0,255,0)绿色

Augmented Reality - 图片 8

6.在 RoboDK 中,将顶部和底部背景选项设置为相同的绿色:

工具 ➔ 选项➔ 显示➔背景色➔RGB分别是 0, 255, 0 (绿色)

Augmented Reality - 图片 9

7.通过Virtual Desktop启动SteamVR

8.启动 RoboDK 并启用 VR 模式:连接➔连接 VR头显