# 3D物体识别 **Repository Path**: ai100/On_3d_object_recognition ## Basic Information - **Project Name**: 3D物体识别 - **Description**: 可适用于智能机器人，VR,AR以及MR等领域 - **Primary Language**: Unknown - **License**: AFL-3.0 - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2020-02-10 - **Last Updated**: 2020-12-19 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README 人工智能工程师实战项目 3D物体识别 视觉方向 指导讲师 张老师 简介 三维物体识别是计算机视觉研究的重要内容之一, 2D的图像由于物体成像时会受到观察视角、摄像机内外部参数的影响,使得同一物体在不同观察视角， 不同摄像机内外部参数等条件下所得到的图像存在差异。 但是，利用深度学习方法可以解决在传统图像方面识别存在的问题。这方面业务及技术已经涉及到各行各业，例如： 1.在自动驾驶方面，深度学习可以自动识别3D成像的点云，从而帮助自动驾驶更好识别。 2.在机器人领域中，深度学习的三维物体识别可以帮助机器人理解更加复杂的环境，帮助机器人完成更多的任务。 3.对于VR、AR以及MR领域，深度学习的三维物体识别可以让设备成像更加稳定，更精确。 4.遥感测绘。可以建立新型的图像数据，并且可以使这部分数据的参数信息更加完善和准确。 课程中，学员们已经掌握了基本的传统图像技术和深度学习基础，也掌握了图像进行分类检测和识别技术，以及了解部分模型和各种loss计算方式。 本项目中，要求学员们结合课程中学习到的内容以及互联网上开源的一些算法模型，实现一个3D物体识别系统。 项目 学员需要利用python, Tensorflow框架，Anaconda等函数库以及深度学习方面的模型（例如：PointNet++）的相关算法知识来实现一个3D物体识别系统。 评价标准 成果1，一整套可以运行的系统 包含代码和详细的文档，文档要求可操作，能够按照文档的描述搭建系统并运行，文档不全者会酌情扣分。 文档要求： 对系统的各个组成部分的构造和自己的理解以及相互之间的关系的描述。 训练过程中踩到的一些坑和自己的心得。 对系统的输出结果的简单分析。 系统要求给出合理的输出。 系统需要给出合理的评价指标，例如ROC,map等。 成果2, 提供一个演示视频 视频内容：从图片网站上，下载一些3D图像文件，送入系统进行检测。可以输出并显示图片中的信息。没有检测到的物体可以给出没有检测到的提示 成果3，类比原模型论文分析 学员在自己训练完模型之后，进行交叉验证，输出结果后与原论文模型中的参数进行对比分析，（非必选：并尝试进行模型的优化） 数据集 本项目提供的部分数据集： ModelNet 数据集共有 662 种目标分类，127915 个 CAD 模型，以及 10 类标记过方向的数据，旨在为计算机视觉、计算机图形学、机器人和认知科学的研究人员提供全面的物体 3D 模型 该数据集包含了三个子集： ModelNet10 为 10 个标记朝向的子集数据； ModelNet40 为 40 个类别的三维模型； Aligned40 为 40 类标记的三维模型。 备注：需要此数据的学员，请联系课程管理人员获取训练数据。其他数据请自行查找 部分项目要点提示： 开发过程在linux系统上进行，尽量不要尝试在windows上进行项目开发，会遇到各种不必要问题。 系统的输入输出不做要求，能够正常演示即可。 注意：选择其他模型的学员请忽视下面内容 提示： 1.先去查看PointNet的论文和相关资料，然后去看PointNet++的论文和相关资料 2.在了解了模型算法原理之后，再着手去做PointNet++模型的训练工作 3.物体文件格式（.off）文件通过描述物体表面的多边形来表示一个模型的几何结构，这里的多边形可以有任意数量的顶点 4. .off文件可用meshlab软件打开查看3D图 备注： 相关资料和开源代码学员可自行查找和借鉴，如若需要帮助，请练习课程管理员 该项目为一个比较典型的企业级3D物体识别项目，项目中提供的了3D数据。 备注：数据集是开源整理好的数据集，请联系课程管理人员获取训练数据。相关论文资料拓展学员可以自己查找。