# research_deep_SLAM

**Repository Path**: thomaswang0525/research_deep_SLAM

## Basic Information

- **Project Name**: research_deep_SLAM
- **Description**: 融合几何计算的深度学习SLAM的研究资料
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 6
- **Created**: 2024-01-09
- **Last Updated**: 2024-01-09

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 融合几何计算的深度学习SLAM

## 1. 研究目标

空间感知是机器人、无人机实现自主运行所需要的重要技术，通过同时定位与地图构建（SLAM）能够解算出自身的位置、姿态、以及周围的环境地图。传统的基于几何的SLAM方法虽然在自动驾驶、机器人、无人机等领域得到了应用，但是存在鲁邦性较低、无认知层面的能力。人类的空间感知并没有通过精密的几何计算，而是通过两个眼睛所获得的画面中存在的视差，以及远近的估计来实现空间的感知。由于没有精密的几何计算，因此假如在处理过程存在的误差不会导致整个系统失效；此外，人看到的场景及时进行了场景解析，并和平常看到的物体的大小进行比对，从而获得距离的感觉。本研究课题主要的目标是模拟人的空间感知，即如何通过深度学习、以及融合传统几何SLAM的方法来实现同时定位与地图构建。

主要的研究目标有：
1. 深度学习的SLAM已经有较多的研究，而融合传统几何SLAM的方法并不是很多。在掌握基本的几何SLAM、深度学习的基础上，研究如何将几何的约束关系加入到深度学习模型，从而提高整体的鲁邦性。

2. 传统的几何SLAM大部分生成的是稀疏点云，将深度学习的深度估计与插值引入到方法中，产生稠密的深度。


## 2. 主要思路

研究思路：
1. 先通读一下主要的参考文献，建立对所研究问题的基本认识，了解基本的方法等。
2. 学习SLAM的基本知识，并找代表性的代码编译运行，建立直觉的认识，并熟悉相关的数据集。
3. 学习深度学习，以及深度学习的SLAM，找代表性的代码编译运行，熟悉基本的原理和操作。
4. 尝试将几何SLAM所输出的稀疏深度，代入到深度插值网络，输出稠密的深度。
5. 尝试如何在几何SLAM失效的情况下，使用深度学习的位置、姿态等信息恢复几何SLAM。
6. 是有PointNeRF等构建新位置的合成视图。


具体的研究方法（需要尝试）：

1. 编译、运行、理解ORB SLAM2 
    - 代码地址 https://github.com/raulmur/ORB_SLAM2
    - 可以同时学习《视觉SLAM十四讲》
2. 配置环境、运行从稀疏深度到稠密深度方法的代码
    - 代码地址 https://github.com/fangchangma/self-supervised-depth-completion
    - 论文 《Self-supervised Sparse-to-Dense: Self-supervised Depth Completion from LiDAR and Monocular Camera》
3. 尝试讲ORB SLAM和Sparse-to-Dense整合起来，输出稠密的深度。
4. 研究SfMLearner, GeoNet等深度学习方法，获取更多的技巧等。


## 3. 参考代码

* ORB SLAM2 (https://github.com/raulmur/ORB_SLAM2)
* Sparse-to-Dense (https://github.com/fangchangma/self-supervised-depth-completion)
* SfMLearner (https://github.com/tinghuiz/SfMLearner)
* GeoNet (https://github.com/yzcjtr/GeoNet)
* Point-NeRF （https://github.com/Xharlie/pointnerf）

## 4. 参考文献

更多的参考文档可以参考[references](references)目录

### 4.0 综述
* 基于深度学习的视觉三维重建研究总结 (2019) https://mp.weixin.qq.com/s/WDInIzWa9_SYSaXXPhdQuw 

### 4.1 几何SLAM方法
* ORB-SLAM a Versatile and Accurate Monocular SLAM System

### 4.2 深度差值
* Sparse-to-Dense Depth Prediction from parse Depth Samples and a Single Image
* Self-Supervised Sparse-to-Dense: Self-Supervised Depth Completion from LiDAR and Monocular Camera

### 4.3 深度学习的SLAM方法
* Unsupervised Learning of Depth and Ego-Motion from Video
* GeoNet Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose

### 4.4 基于机器学习的三维重建
* MonoRec: Semi-Supervised Dense Reconstruction in Dynamic Environments from a Single Moving Camera (CVPR 2021)
    - https://arxiv.org/abs/2011.11814
    - https://www.youtube.com/watch?v=-gDSBIm0vgk

### 4.5 基于NeRF的三维重建
* Point-NeRF
    - https://github.com/Xharlie/pointnerf