增强现实
增强现实（AR）能够将RoboDK工作站中的元素叠加到输入视频或实时视频上。
该功能可通过启用图像处理编辑器插件在RoboDK中使用。
Note：你需要联系RoboDK获取图像处理编辑器插件的使用权限。
Video：本视频总结了集成增强现实到仿真中的操作步骤https://youtu.be/Phj3_sQNSp0
启用图像处理编辑器功能需前往：工具➔Add-in Manager，启动Image Processing Editor。
启用插件后，需按以下三个步骤配置工作站的AR渲染功能：
1.选择并创建基准标记。将标记导入 RoboDK。
2.在 RoboDK 中创建仿真相机。
3.建立检测流程。
选择并创建基准标记
AR插件需借助标记物来估算相机姿态和运动轨迹。
RoboDK支持四种OpenCV标记：Aruco（增强现实标记）、棋盘格、Charuco Diamond（混合棋盘标记）和Charucoboard（字符棋盘），如下图所示：
选择标记时需综合考虑工作站尺寸、相机分辨率、帧率、运动状态、光照和遮挡等因素。例如：
- 大型工作站搭配固定且无遮挡的相机时，使用Aruco标记最佳——相同尺寸下，单个Aruco标记的识别距离远优于需要识别4个以上ID的Charuco Diamond或Charucoboard标记
- 若存在局部遮挡，应选用Charucoboard——它无需识别全部ID即可定位相机
- 需要最高精度时，棋盘格是首选（但设置复杂且渲染耗时）
Aruco | Charuco Diamond | Charucoboard | Chessboard | |
优点 | - 更便捷的设置 - 最快渲染时间 | - 最均衡方案 (精度/渲染时间） | - 抗部分闭塞 - 最准确 | -精度最高/支持相机校准 |
缺点
(标记必须始终保持在相机视野内）
| - 被遮挡时失去跟踪功能 - 不准确的位姿 | - 被遮挡时失去跟踪功能 - 更难设置 | - 渲染时间长 - 不擅长使用实时 AR | - 更难检测 - 不能被遮挡 |
建议的应用 | - 高 FPS / 低分辨率实时 AR - 长Video - 无障碍Video - 固定相机 - 大型站 | - 更好地跟踪实时 AR - 高分辨率Video - 相机慢动作 | - 包含部分标记闭塞的Video - 对位姿精度要求较高的Video。 | -高精度要求的视频/相机校准 (如果通用校准不够，可使用棋盘生成自定义相机校准文件） |
选定标记后，可自定义标记ID、尺寸、棋盘布局和方格尺寸。
通过"另存为..."功能将标记保存为PNG文件并打印。可使用 "复制到剪贴板 "选项将图像快速导入文本/图像编辑器（如 Word 或 GIMP），然后按比例调整大小并打印。
Note：要计算所生成标记的大小，必须将像素字段转换为毫米。RoboDK中像素与毫米的换算比为1px=0.265mm。
Important：必须确保打印标记与虚拟标记尺寸完全一致，建议用游标卡尺测量实物后，在RoboDK中使用测量和缩放工具校准。
导入标记
将标记导入RoboDK以建立其与机器人及其他物体的空间关系：
请按照以下步骤正确放置标记：
1.在工作站中新建参考坐标系
2.右键该坐标系选择"添加项目..."
3.导入之前生成的标记PNG文件
4.调整虚拟标记比例
举例说明：Charuco Diamond 标记的默认尺寸为 106.186 毫米 x 106.186 毫米。如果打印的标记尺寸为 280mm x 280mm，则必须应用 2.63688 → ( 280 / 106.186 ) 的比例因子。方法是双击标记物体，选择更多选项-> 应用比例。
5.将标记中心对准参考坐标系原点，Y 轴指向顶部 ID。
举例说明：要移动标记，请双击标记物体并修改物体相对于标记坐标系的位置。在我们的示例中，标记需要在 X 轴上移动 140 毫米，在 Y 轴上移动 140 毫米，并在 Z 轴上旋转 180°。正确位置示例见下图。
6.将标记坐标系放置到工作站中合适位置。
Tip：若要在最终渲染中隐藏标记，可将虚拟标记置于工作站资产下方，利用叠加效果遮盖物理标记。
配置仿真相机
为了将工作站资产精确叠加到视频画面上，必须创建一个仿真相机。该仿真相机使用利用靶标计算出的相机位姿和轨迹，从与输入视频画面相同的角度、距离和轨迹记录 RoboDK 工作站。
该模拟相机的分辨率需要与输入视频相匹配，这样标记缩放才能准确。为管理平台添加虚拟相机的步骤如下：
1.在工具栏中选择：Image Processing Editor ➔ Add a RoboDK Camera创建相机。
2.右键相机选择：相机设置。
3.调整分辨率等参数与输入视频一致（例如1280x720p）
4.对齐参考坐标系确保虚拟标记在视场内
Tip：可以根据需要调整焦距和工作距离，以确保在渲染时间内所有站内物体都在视图中。下图显示的是配置充分的虚拟相机，分辨率为 1280x720p。
拍摄输入视频时的注意事项：
1.将标记置于光照充足的平面。
2.保持相机参数一致（分辨率/帧率等）。
3.确保可辨认的 Aruco 证件（相机必须保持证件可辨认。应避免的事项镜头过快/模糊、相机分辨率低、标记与相机距离过远）。
4.使用.mp4 或 .avi 格式。
Tip：高分辨率/高帧率视频会导致渲染时间显著增加。对于超过 720p/60fps 的镜头，预期视频渲染时间会明显延长，相机 AR 中的 FPS 也会降低。
创建自定义相机校准文件
要创建自定义相机校准文件，请打印出一张棋盘，用相机拍摄约 10-20 张棋盘图像，使用的设置与拍摄视频时相同。
每幅图像应包含整个棋盘。每幅图像中棋盘的方向和位置应有所不同。
拍摄图像后，通过Image Processing Editor ➔Calibrate From Files…并填写棋盘参数。然后选择图像。RoboDK 将生成一个校准文件，可在创建检测流程时使用。
创建检测流程
为RoboDK工作站配置增强现实的最后一步，是建立基准标记的检测流程。该流程将通过虚实标记的姿态比对，将仿真相机捕捉的虚拟资产精准叠加到实拍视频流之上。
最后通过以下步骤创建标记检测流程：
1.先在工具栏选择：Image Processing Editor。
2.如果使用Video AR，请选择模拟的 RoboDK 相机；如果使用相机 AR，请选择相机源。
3.在检测器中选择对应标记类型。
4.根据物理标记尺寸设置所需的参数。
5.设备设置中选择校准文件（建议首选通用校准）。
6.将该流程另存为。
准备好工作站、录制好输入Video并保存好处理管道后，我们就可以开始制作 AR Video了。接下来的章节将详细介绍如何制作 AR Video和实时 AR 渲染，以及帮助修复不良渲染的故障排除部分。
制作AR视频
视频AR工具可将虚拟内容叠加到预录视频上，特别适合制作演示视频：
请按照以下步骤在视频上创建AR 叠加效果：
1.隐藏工作站中不需要渲染的对象
2.选择：Image Processing Editor➔AugmentedReality (Video)
3.选择对应的检测流程
4.指定包含标记的参考坐标系
5.选择输入视频文件
6.设置输出视频路径和名称
7.实时监控渲染效果并调整参数
8.渲染完成后关闭AR Camera Frame
