针对带有RGBD相机的服务机器人,物流机器人等。具有:语义地图构建、定位导航、三维重构、重定位、动态物体识别、移动避障、手势识别、人脸识别、语音合成与识别等功能
No Data
清华大学 深圳国际研究生院
先进制造学部 精密测控组
Have Done:
动态物体检测
视觉建图与定位
重定位
稠密点云、面元三维重建
语义地图
手势识别控制
语音唤醒与识别控制
局部避障与DWA控制
语音识别与播放
TODO:
添加基于二维码的全局定位误差矫正功能,该功能可以提高系统稳定性,确保项目落地
多个相机slam,增强系统鲁棒性
二维投影地图构建,全局路径规划,智能导航与交互
基于强化学习的自主探索系统
待定
演示1:
演示2:
系统版本要求:
Linux:ubuntu16
ros:kinect
已测试硬件:
KinectV2相机
realsense D435,D400相机
在ros包的下新建Vocabulary文件夹,添加ORBvoc.txt词典。
mkdir Vocabulary add ORBvoc.txt
cd Thirdparty/ncnn mkdir build&&cd build cmake .. make sudo make install sudo cp Thirdparty/ncnn/build/install/lib/libncnn.a /usr/lib
vtk 5
pcl 1.7
opencv 3.4
Eigen
octomap
sudo apt-get install libasound2-dev #asound库 sudo apt-get install mplayer #mplayer工具
sudo apt-get install ros-kinetic-image-view sudo apt-get install libjsoncpp-dev sudo apt-get install openssl sudo apt-get install curl
修改setting_file.yaml中的中的百度appid,AK,SK
mkdir -p catkin_ws/src git clone [email protected]:MRwangmaomao/semantic_slam_nav_ros.git cd .. catkin_make
修改所有的rospackage_path参数,设置为自己对应存储的路径。
修改colorimgtopic和depthimgtopic
roslaunch slam_semantic_nav_ros ORB_Semantic_Nav.launch
roslaunch slam_semantic_nav_ros gesture_speak.launch
Five手势: 空闲状态,可以由其他节点发送/cmd_vel速度指令进行控制
Ok手势: 前进,只受手势控制,需要手势解锁
Fist手势: 停止状态,只受手势控制,需要手势解锁
roslaunch slam_semantic_nav_ros gesture_speak.launch