让机械臂理解目标位置并完成抓取
项目从深度相机采集开始,把 Gemini 2 输出的深度、RGB 和点云数据接入 ROS2。视觉节点完成目标检测和三维定位后,将目标坐标转换到机械臂坐标系,再通过运动规划生成抓取轨迹。
工作流覆盖硬件连接、相机标定、模型推理、坐标变换、运动规划和执行验证。所有关键步骤都可以通过关联 Wiki 文档逐项复查。
构建一条从感知到执行的闭环,让抓取结果可以被观察、复现和改进。
项目资源清单
Hardware / Software / Tools
复现步骤
- 01安装并连接硬件
固定相机、机械臂和执行器,完成供电与通信检查。
- 02完成相机与手眼标定
验证内参、外参和机器人坐标系转换。
- 03部署目标检测模型
在边缘计算平台运行推理节点并检查输出。
- 04生成抓取轨迹
先仿真或空跑,再低速执行真机抓取。













