AI 数字人

你到这个世界上来，你应该有这样一个觉悟，就是你终究是要死的，这就是一个人他很悲剧的，他无论多厉害，无论多牛，无论多么嚣张，他都要死的，他都有终结那一天。

——当年明月

一、项目介绍

随着人工智能的迅猛发展以及数字媒体技术的蓬勃进步，我深感对数字生命的实现存在着广泛的可能性。即便无法赋予机器真正的生命，我们仍可将记忆巧妙地转化为数字形态，令其似乎化身为一个拥有我们某些特质的数字个体。正是出于这一初衷，我们展开了这个项目，致力于探索如何塑造一个具备我们独特特征的数字化存在。

二、人物建模

1、球体贴图

• 工具：一张人脸正面图片 ，UE，metahuman creator

• 流程：

  1. 创建一个球形静态网格体

  2. 把人脸贴到球体上

  3. 静态网格体生成metahuman

  4. metahuman creator中调整

• 优点：简单

• 缺点：丢失太多人脸特征，贴图人脸会产生形变

2、Blender 插件FaceBuilder

• 工具：5 张不同角度的人脸图片、Blender、FaceBuilder插件、UE、metahuman creator

• 流程：

  1. Blender 上安装FaceBuilder插件

  2. 导入人脸图片

  3. 调整关键特征点位置

  4. 生成并导出模型（静态网格体）

  5. 导入 UE，转换并生成metahuman

  6. metahuman creator中调整

• 优点：还原度较高

• 缺点：对拍摄的照片有要求、人脸的特征点调整会影响相似度

• 资料：

  1. https://www.bilibili.com/video/BV1JX4y147oD/?share_source=copy_web&vd_source=8ebb825e36f57e681bcc29a43af4a5c4

  2. Blender_v3.5.1

  3. FaceBuilder: blender · master · 软件技术研究所 / 卓越实验室 / UE / 3D_Human_Builder · GitLab (gtmap.cn)

3、AnatoFace

• 工具: AnatoFace(ios 免费)、Blender（或其他 DCC 软件）、UE、metahuman creator

• 流程

  1. AnatoFace ->Scan 按照提示动画生成模型并导出

  2. 导入 Blender 调整

  3. 导入 UE，转换并生成metahuman

  4. metahuman creator中调整

• 优点：简单，快捷、免费

• 缺点：只支持 obj 格式，导出的模型需要 DCC 软件修改后才能导入 UE 中使用，模型导出是通过邮件发送的（可能会信息泄露）

• 资料：

  1. AnatoFace on the App Store (apple.com)

4、Qlone

• 工具：Qlone（ios 付费）

• 流程：手机摄像头对着人一直拍摄

• 优点：还原度高，可以以多种格式导出模型，以用于其他 3D 工具-OBJ，STL，FBX，USDZ，GLB（二进制 glTF），其中包括动画，PLY，X3D。

• 缺点：付费应用

• 资料：

  1. App Store 上的“Qlone 3D Scanner” (apple.com)

  2. IOS 演示：https://youtu.be/t0dX7CrRU1g

  3. 安卓破解版：http://git.gtmap.cn/ist/ex-lab/ue/3d_human_builder/blob/master/qlone/Qlone.apk

5、Deep3DFaceRecon_pytorch

• 工具：conda、Deep3DFaceRecon_pytorch、Bender（其他第三方 DCC 软件）、UE、metahuman creator

• 流程：

  1. Deep3DFaceRecon_pytorch生成特征点位置

  2. 通过机器学习生成模型

  3. 导入 DCC 软件中调整模型，导出

  4. 导入 UE，转换并生成metahuman

  5. metahuman creator中调整

• 优点：

• 缺点：

• 资料：

  1. 演示视频：Single 2D image to Metahuman character Demo! - YouTube

  2. 项目地址：sicxu/Deep3DFaceRecon_pytorch: Accurate 3D Face Reconstruction with Weakly-Supervised Learning: From Single Image to Image Set (CVPRW 2019). A PyTorch implementation. (github.com)

  3. 数据集：https://drive.google.com/open?id=1u2xu7bSrWxrbUxk-dT-UvEJq8IjdmNTP

  4. 教程：Deep3DFaceReconstruction 让一张人脸照片变成三维的真人脸_epoch_20.pth_文野历笑生的博客-CSDN 博客

6、DECA

• 工具:conda、DECA

• 流程:

• 优点:

• 缺点:

• 资料：

  1. 项目仓库：https://github.com/YadiraF/DECA

  2. 上手教程 1：DECA（Detailed Expression Capture and Animation）入门之 3D 人脸重建 Demo_flame model_Yang.O 的博客-CSDN 博客

  3. 上手教程 2：DECA：基于单张静态图像，进行 3D 人脸建模 - 知乎 (zhihu.com)

三、动作捕捉

四、人物控制

1、AI Controller

NPC 场景

实现流程：

1. 蓝图类——AI Controller

2. 行为树

3. 黑板

4. 任务蓝图

5. 骨骼网格体

2、Mass AI

ECS 架构

关于 ECS:

1. ECS是什么？

   一种架构模式

   实体(Entity)——组件(Component)——系统(System)

2. 用来解决什么问题？

3. 如何解决？

五、声音

1、口型

2、语音

六、对话

1、ChatGPT