ROS机械臂 Movelt 学习笔记3 | kinect360相机(v1)相关配置

目标是做一个机械臂视觉抓取的demo，在基地里翻箱倒柜，没有找到学长所说的 d435，倒是找到了一个老古董 kinect 360。

前几天就已经在旧电脑上配置好了，现在记录在新电脑上的配置过程。

1. kinect 相机驱动安装

环境：Ubuntu 18.04 + ROS Melodic

需要安装3个驱动包，并且彼此版本需要适配，安装过程如下：

在原作者的 Github 上下载：

https://github.com/ZXWBOT/kinect_driver

hide codecd ~ARM/kinect_arm
git clone https://github.com/ZXWBOT/kinect_driver.git

也可以在网盘下载：

http://pan.baidu.com/s/1hqHB10w 提取密码：wrmn

下载完成后安装依赖：

hide codesudo apt-get install g++ python libusb-1.0-0-dev freeglut3-dev openjdk-8-jdk doxygen graphviz mono-complete 

可以看到我们的 kinect_arm 文件夹下有一个 kinect_driver 文件夹，其下有：

• OpenNI-Bin-Dev-Linux-x64-v1.5.7.10
• NITE-Bin-Linux-x64-v1.5.2.23
• Sensor-Bin-Linux-x64-v5.1.2.1

这三个包的版本是相互匹配的，注意ubuntu下不能使用openni2.2和NITE2.2版本的包，接下来按照目录下的 README 来做就可以，没什么问题。

2. 测试 kinect

记得连上 kinect 的数据线，看到 kinect 亮起绿灯，然后：

hide codecd ~/...../OpenNI-Bin-Dev-Linux-x64-v1.5.7.10/Samples/Bin/x64-Release

./NiViewer 

出现相机画面则配置成功。

如果报错，尝试修改权限：

hide codesudo chmod +x /usr/bin/XnSensorServer

再运行即可。

左侧为深度图，右侧为彩色图，画面如下：

https://osrf-distributions.s3.amazonaws.com/gazebo/api/dev/classgazebo_1_1phisics_1_1World.html

3. ROS 打开相机

3.1 安装依赖

hide codesudo apt-get install ros-melodic-freenect-*  
rospack profile  

安装rqt-image-view显示图像

hide codesudo apt-get install ros-melodic-rqt-image-view

3.2 安装 libfreenect 库

继续找到文件夹：

hide codecd ~ARM/kinect_arm
git clone https://github.com/ros-drivers/libfreenect.git
cd libfreenect
mkdir build
cd build
cmake -L ..
make
sudo make install

3.3 ros下的 freenect_stack 包

官方提供了运行 kinect 相机的ROS样例包 freenect_stack，下面我们把这个包跑起来：

hide codecd ~/ARM/kinect_arm
mkdir -p ws_kinect/src
cd ws_kinect/src
git clone https://github.com/ros-drivers/freenect_stack.git
# 如果还没有设置ROS空间
# catkin_init_workspace
cd ..
catkin_make 
rospack profile

编译无误则：

hide code# 在 ~/ARM/kinect_arm/ws_kinect下
source devel/setup.bash
roslaunch freenect_launch freenect.launch

新开一个终端：

hide coderosrun rqt_image_view rqt_image_view 

在rqt_image_view中左上角选择不同的话题，就可以查看不同的图像，也可以查看深度图。

4. 录制 bag 并回放

4.1 命令行录制

可以查看一下当前活跃的话题：

hide coderostopic list

对于其中一个话题进行录制：

hide code# 录制语法
# 比如：rosbag record /topic1 -o out.bag
rosbag record /camera/rgb/image_color -o  camera.bag
# 显示录制内容（bag包中的信息）
# rosbag info filename.bag
rosbag info camera_2022-07-23-21-23-45.bag

# 回放录制内容
# rosbag play 
rosbag play camera_2022-07-23-21-23-45.bag

4.2 RViz 录制

先在RViz 中显示我们向看到的图像，这也是学长们比赛时向国防临时学的技巧。

hide codecd ~/ARM/kinect_arm/ws_kinect
source devel/setup.bash
roslaunch freenect_launch freenect.launch

新开终端2：

hide coderosrun rqt_image_view rqt_image_view 

再开终端3：

hide coderostopic list

终端4 打开rviz

hide coderosrun rviz rviz

默认的rviz 应当是空无一物，下面来设置 rviz。

1. 在rviz中将Global Option中的Fixed Frame后面选择camera_link

2. 点击Add在By topic中选择想录制的话题，点击OK即可。

   这里我选择的是 /rgb/image_color,即彩色图。

3. 设置完后，就可在rviz中实时查看想要录制的话题。

下面录制：

hide code# 格式：rosrun topic_tools throttle messages   [outtopic]

# 例如，如果我想要让激光雷达的topic发布频率降低至1HZ,则在终端中输入如下命令：
rosrun topic_tools throttle messages base_scan 1.0

举实例说明，比如 /camera/rgb/image_color和/camera/rgb/image_raw两个话题修改为 4HZ，则：

hide code// 同时录制，只开一个终端
rosbag record /my_image_color  /my_image_raw -o my_image.bag 
//分开录制，开两个终端
rosbag record /my_image_color -o my_image_color.bag
rosbag record /my_image_raw   -o my_image_raw .bag

5. 常用话题解释

上面的 rostopic list 命令的一些解释：

hide coderostopic list

rostopic list 列出了当前活跃的ROS节点，相关topic：

1. RGB图像：/camera/rgb/image_color
   • ROS数据格式：sensor_msgs/Image
   • OPENCV数据格式：Mat
   • 图像尺寸：640*480
   • 像素数据类型：8UC3
2. 深度图像：/camera/depth/image
   • ROS数据格式：sensor_msgs/Image
   • OPENCV数据格式：Mat
   • 图像尺寸：640*480
   • 像素数据类型：32FC1
3. 点云数据（无整合RGB）:/camera/depth/points
   • ROS数据格式：sensor_msgs/Image
   • PCL点云库数据格式：pcl::PointCloudpcl::PointXYZ
   • 图像尺寸：有序点云，640*480
   • 像素数据类型：double

下表为 freenect_camera 功能包的话题和服务情况：

来源：ros官网：http://wiki.ros.org/freenect_camera，日后可能会有更新。

话题情况	名称	消息类型	描述
Topic发布	rgb/camera_info	sensor_msgs/CameraInfo	RGB相机校准信息
Topic发布	rgb/image_raw	sensor_msgs/Image	RGB相机图像数据
Topic发布	depth/camera_info	sensor_msgs/CameraInfo	深度相机校准信息
Topic发布	depth/image_raw	sensor_msgs/Image	深度相机图像数据
Topic发布	depth_registered/camera_info	sensor_msgs/CameraInfo	配准后的深度相机校准信息
Topic发布	depth_registered/image_raw	sensor_msgs/Image	配准后的深度相机图像数据
Topic发布	ir/camera_info	sensor_msgs/CameraInfo	红外相机校准信息
Topic发布	ir/image_raw	sensor_msgs/Image	红外相机图像数据
Topic发布	projector/camera_info	sensor_msgs/CameraInfo	红外相机的假校准
Topic发布	/diagnostics	diagnostic_msgs/DiagnosticArray	传感器诊断信息
Servicecs	rgb/set_camera_info	sensor_msgs/SetCameraInfo	设置RGB相机的校准信息
Servicecs	ir/set_camera_info	sensor_msgs/SetCameraInfo	设置红外相机的校准信息

6. 在RViz 中显示点云

打开相机节点：

hide codecd ~/ARM/kinect_arm/ws_kinect
source devel/setup.bash
roslaunch freenect_launch freenect.launch

新开终端：

hide coderosrun rqt_image_view rqt_image_view 

再开终端：

hide coderostopic list

再开：

hide coderosrun rviz rviz

打开了跟 4.2 相同的界面，在RViz 中左侧进行如下设置：

1. Global Options中，将Fixed Frame 改为 camera_rgb_optical_frame
2. 左下角点击 Add，将 PoitCloud2 加进来
3. 在 PointCloud2 的 Topic 中选择 /camera/depth_registered/points

即可看到点云图像：

查看话题的数据流：

hide code rostopic echo /camera/depth/points

7. Kinect 相机相关介绍

7.1 相机构成

可见自左向右依次为：

• 麦克风阵列
• 红外CMOS摄像机（左1）
• LED
• 彩色摄像头
• 红外摄像头（右1）
• 下方是传动马达

7.2 深度信息获得原理

以结构光为基础进行改进后的光编码（Light Coding）技术获得物体的深度信息。各相机坐标系如下：

参考资料：

1. 官方相关文档：http://wiki.ros.org/freenect_camera
2. https://blog.csdn.net/qq_63379469/article/details/123834391
3. https://blog.csdn.net/a_happy_bird/article/details/125378527
4. 一个系列博客：https://blog.csdn.net/puqian13/article/list/4
5. https://www.it610.com/article/1295398327008960512.htm