3D-diffuser-actor复现

介绍

具身智能项目1； 复现；

软件架构

软件架构说明

diffusion policy解决的问题

基于扩散模型的机器人动作生成策略

1. 机器人multi-modal多模态分布

   对于相同的场景有多种选择，把所有解决方案合并成一个，问题就变成了多模态分布

   （传统神经网络通常使用均方误差MSE损失训练，无法有效处理multi-modal情况）

   前馈神经网络本质上是一个函数，对给定的输入只有一种输出，某些情况一个输入对应多个输出，因此想要神经网络执行的任务与它能够执行的任务冲突——引入概率分布

2. Action Space Scalabiltiy行动空间可扩展性/sequential correlation顺序关联

   预测不能只局限于一两步，要往前预测数十步

   并且一次性预测多步——连续控制中的动作一致性问题

   数据预测方法：

   1. 直接输出数值
   2. 将可能的数值分为几个区间，离散预测——转化为分类问题

3. Training Stability训练稳定性

   机器人动作执行的三种方法：

   1. 直接回归
   2. 分类预测
   3. 生成式模型

使用说明

1. 替换coppeliasim为isaac sim

环境变量修改内容：

echo "export ISAAC_SIM_ROOT=/isaac-sim" >> $HOME/.bashrc
echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:\$ISAAC_SIM_ROOT" >> $HOME/.bashrc
echo "export QT_QPA_PLATFORM_PLUGIN_PATH=\$ISAAC_SIM_ROOT" >> $HOME/.bashrc
source $HOME/.bashrc

2. xxxx
3. xxxx

参与贡献

1. Fork 本仓库
2. 新建 Feat_xxx 分支
3. 提交代码
4. 新建 Pull Request

特技

1. 使用 Readme_XXX.md 来支持不同的语言，例如 Readme_en.md, Readme_zh.md
2. Gitee 官方博客 blog.gitee.com
3. 你可以 https://gitee.com/explore 这个地址来了解 Gitee 上的优秀开源项目
4. GVP 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5. Gitee 官方提供的使用手册 https://gitee.com/help
6. Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 https://gitee.com/gitee-stars/