代码拉取完成，页面将自动刷新
论文原作 Robust High-Resolution Video Matting with Temporal Guidance 的官方 GitHub 库。RVM 专为稳定人物视频抠像设计。不同于现有神经网络将每一帧作为单独图片处理，RVM 使用循环神经网络，在处理视频流时有时间记忆。RVM 可在任意视频上做实时高清抠像。在 Nvidia GTX 1080Ti 上实现 4K 76FPS 和 HD 104FPS。此研究项目来自字节跳动。
观看展示视频 (YouTube, Bilibili)，了解模型能力。
ResNet50 和mobilenetv3的模型 。
| 框架 | 下载 |
|---|---|
| 飞桨rvm_resnet50.pdparams | 链接: https://pan.baidu.com/s/1wfWuqA04gnPiJ4EXF4FpWw 提取码: fs1e |
| 飞桨rvm_mobilenetv3.pdparams | 链接: https://pan.baidu.com/s/1O-Z8BnpypOz5uQn39n_GDw 提取码: q3af |
pip install -r requirements_inference.txt
import paddle
from model import MattingNetwork
model = MattingNetwork('resnet50')
model.set_state_dict(paddle.load("rvm_resnet50.pdparams"))
import paddle
from model import MattingNetwork
from inference import convert_video
model = MattingNetwork('resnet50')
model.set_state_dict(paddle.load("rvm_resnet50.pdparams"))
convert_video(
model, # 模型，可以加载到任何设备（cpu 或 cuda）
input_source='dance.mp4', # 视频文件，或图片序列文件夹
output_type='video', # 可选 "video"（视频）或 "png_sequence"（PNG 序列）
output_composition='com.mp4', # 若导出视频，提供文件路径。若导出 PNG 序列，提供文件夹路径
output_alpha="pha.mp4", # [可选项] 输出透明度预测
output_foreground="fgr.mp4", # [可选项] 输出前景预测
output_video_mbps=4, # 若导出视频，提供视频码率
downsample_ratio=None, # 下采样比，可根据具体视频调节，或 None 选择自动
seq_chunk=1 # 设置多帧并行计算 12
)
没有算力也没关系，上这里拍电影没有绿幕，AI给我们造！AIStudio项目地址
读万卷书，不如行万里路！大家动手进项目亲自实践检验一下吧！
项目还在继续中....
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。