mmdetection3d: mmdetection3d 同步官方最新 https://github.com/open-mmlab/mmdetection3d

OpenMMLab 官网 ^HOT OpenMMLab 开放平台 ^{TRY IT OUT}

English | 简体中文

简介

MMDetection3D 是一个基于 PyTorch 的目标检测开源工具箱，下一代面向 3D 检测的平台。它是 OpenMMlab 项目的一部分。

主分支代码目前支持 PyTorch 1.8 以上的版本。

demo image

主要特性

支持多模态/单模态的检测器

支持多模态/单模态检测器，包括 MVXNet，VoteNet，PointPillars 等。
支持户内/户外的数据集

支持室内/室外的 3D 检测数据集，包括 ScanNet，SUNRGB-D，Waymo，nuScenes，Lyft，KITTI。对于 nuScenes 数据集，我们也支持 nuImages 数据集。
与 2D 检测器的自然整合

MMDetection 支持的 300+ 个模型，40+ 的论文算法，和相关模块都可以在此代码库中训练或使用。
性能高

训练速度比其他代码库更快。下表可见主要的对比结果。更多的细节可见基准测评文档。我们对比了每秒训练的样本数（值越高越好）。其他代码库不支持的模型被标记为 ✗。

Methods MMDetection3D OpenPCDet votenet Det3D

VoteNet 358 ✗ 77 ✗

PointPillars-car 141 ✗ ✗ 140

PointPillars-3class 107 44 ✗ ✗

SECOND 40 30 ✗ ✗

Part-A2 17 14 ✗ ✗

和 MMDetection，MMCV 一样，MMDetection3D 也可以作为一个库去支持各式各样的项目。

安装

请参考快速入门文档进行安装。

教程

用户指南

进阶教程

基准测试和模型库

测试结果和模型可以在模型库中找到。

模块组件

主干网络	检测头	特性
PointNet (CVPR'2017) PointNet++ (NeurIPS'2017) RegNet (CVPR'2020) DGCNN (TOG'2019) DLA (CVPR'2018) MinkResNet (CVPR'2019) MinkUNet (CVPR'2019) Cylinder3D (CVPR'2021)	FreeAnchor (NeurIPS'2019)	Dynamic Voxelization (CoRL'2019)

算法模型

激光雷达 3D 目标检测

相机 3D 目标检测

多模态 3D 目标检测

3D 语义分割

室外

室内

室外

Indoor

ImVoxelNet (WACV'2022)

室外

室内

ImVoteNet (CVPR'2020)

室外

室内

	ResNet	VoVNet	Swin-T	PointNet++	SECOND	DGCNN	RegNetX	DLA	MinkResNet	Cylinder3D	MinkUNet
SECOND	✗	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗
PointPillars	✗	✗	✗	✗	✓	✗	✓	✗	✗	✗	✗
FreeAnchor	✗	✗	✗	✗	✗	✗	✓	✗	✗	✗	✗
VoteNet	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗	✗
H3DNet	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗	✗
3DSSD	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗	✗
Part-A2	✗	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗
MVXNet	✓	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗
CenterPoint	✗	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗
SSN	✗	✗	✗	✗	✗	✗	✓	✗	✗	✗	✗
ImVoteNet	✓	✗	✗	✓	✗	✗	✗	✗	✗	✗	✗
FCOS3D	✓	✗	✗	✗	✗	✗	✗	✗	✗	✗	✗
PointNet++	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗	✗
Group-Free-3D	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗	✗
ImVoxelNet	✓	✗	✗	✗	✗	✗	✗	✗	✗	✗	✗
PAConv	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗	✗
DGCNN	✗	✗	✗	✗	✗	✓	✗	✗	✗	✗	✗
SMOKE	✗	✗	✗	✗	✗	✗	✗	✓	✗	✗	✗
PGD	✓	✗	✗	✗	✗	✗	✗	✗	✗	✗	✗
MonoFlex	✗	✗	✗	✗	✗	✗	✗	✓	✗	✗	✗
SA-SSD	✗	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗
FCAF3D	✗	✗	✗	✗	✗	✗	✗	✗	✓	✗	✗
PV-RCNN	✗	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗
Cylinder3D	✗	✗	✗	✗	✗	✗	✗	✗	✗	✓	✗
MinkUNet	✗	✗	✗	✗	✗	✗	✗	✗	✗	✗	✓
SPVCNN	✗	✗	✗	✗	✗	✗	✗	✗	✗	✗	✓
BEVFusion	✗	✗	✓	✗	✓	✗	✗	✗	✗	✗	✗
CenterFormer	✗	✗	✗	✗	✓	✗	✗	✗	✗	✗	✗
TR3D	✗	✗	✗	✗	✗	✗	✗	✗	✓	✗	✗
DETR3D	✓	✓	✗	✗	✗	✗	✗	✗	✗	✗	✗
PETR	✗	✓	✗	✗	✗	✗	✗	✗	✗	✗	✗
TPVFormer	✓	✗	✗	✗	✗	✗	✗	✗	✗	✗	✗

注意：MMDetection 支持的基于 2D 检测的 300+ 个模型，40+ 的论文算法在 MMDetection3D 中都可以被训练或使用。

常见问题

请参考 FAQ 了解其他用户的常见问题。

贡献指南

我们感谢所有的贡献者为改进和提升 MMDetection3D 所作出的努力。请参考贡献指南来了解参与项目贡献的相关指引。

致谢

MMDetection3D 是一款由来自不同高校和企业的研发人员共同参与贡献的开源项目。我们感谢所有为项目提供算法复现和新功能支持的贡献者，以及提供宝贵反馈的用户。我们希望这个工具箱和基准测试可以为社区提供灵活的代码工具，供用户复现已有算法并开发自己的新的 3D 检测模型。

引用

如果你觉得本项目对你的研究工作有所帮助，请参考如下 bibtex 引用 MMdetection3D：

@misc{mmdet3d2020,
    title={{MMDetection3D: OpenMMLab} next-generation platform for general {3D} object detection},
    author={MMDetection3D Contributors},
    howpublished = {\url{https://github.com/open-mmlab/mmdetection3d}},
    year={2020}
}

开源许可证

该项目采用 Apache 2.0 开源许可证。

OpenMMLab 的其他项目

MMEngine: OpenMMLab 深度学习模型训练基础库
MMCV: OpenMMLab 计算机视觉基础库
MMEval: 统一开放的跨框架算法评测库
MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口
MMPreTrain: OpenMMLab 深度学习预训练工具箱
MMDetection: OpenMMLab 目标检测工具箱
MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台
MMRotate: OpenMMLab 旋转框检测工具箱与测试基准
MMYOLO: OpenMMLab YOLO 系列工具箱与测试基准
MMSegmentation: OpenMMLab 语义分割工具箱
MMOCR: OpenMMLab 全流程文字检测识别理解工具包
MMPose: OpenMMLab 姿态估计工具箱
MMHuman3D: OpenMMLab 人体参数化模型工具箱与测试基准
MMSelfSup: OpenMMLab 自监督学习工具箱与测试基准
MMRazor: OpenMMLab 模型压缩工具箱与测试基准
MMFewShot: OpenMMLab 少样本学习工具箱与测试基准
MMAction2: OpenMMLab 新一代视频理解工具箱
MMTracking: OpenMMLab 一体化视频目标感知平台
MMFlow: OpenMMLab 光流估计工具箱与测试基准
MMagic: OpenMMLab 新一代人工智能内容生成（AIGC）工具箱
MMGeneration: OpenMMLab 图片视频生成模型工具箱
MMDeploy: OpenMMLab 模型部署框架

欢迎加入 OpenMMLab 社区

扫描下方的二维码可关注 OpenMMLab 团队的知乎官方账号，扫描下方微信二维码添加喵喵好友，进入 MMDetection3D 微信交流社群。【加好友申请格式：研究方向+地区+学校/公司+姓名】

我们会在 OpenMMLab 社区为大家

📢 分享 AI 框架的前沿核心技术
💻 解读 PyTorch 常用模块源码
📰 发布 OpenMMLab 的相关新闻
🚀 介绍 OpenMMLab 开发的前沿算法
🏃 获取更高效的问题答疑和意见反馈
🔥 提供与各行各业开发者充分交流的平台

干货满满 📘，等你来撩 💗，OpenMMLab 社区期待您的加入 👬

monkey_cici/mmdetection3d

简介

最新进展

亮点

安装

教程

基准测试和模型库

常见问题

贡献指南

致谢

引用

开源许可证

OpenMMLab 的其他项目

欢迎加入 OpenMMLab 社区

简介

发行版

mmdetection3d 开源评估指数

贡献者 (114)

语言

近期动态

Methods	MMDetection3D	OpenPCDet	votenet	Det3D
VoteNet	358	✗	77	✗
PointPillars-car	141	✗	✗	140
PointPillars-3class	107	44	✗	✗
SECOND	40	30	✗	✗
Part-A2	17	14	✗	✗

monkey_cici/mmdetection3d .gitee-modal { width: 500px !important; }

简介

最新进展

亮点

安装

教程

基准测试和模型库

常见问题

贡献指南

致谢

引用

开源许可证

OpenMMLab 的其他项目

欢迎加入 OpenMMLab 社区

简介

发行版

mmdetection3d 开源评估指数

开源评估指数源自 OSS-Compass 评估体系，评估体系围绕以下三个维度对项目展开评估：

贡献者 (114)

语言

近期动态

搜索帮助

monkey_cici/mmdetection3d