当前位置：首页 > news >正文

Cosmos-Transfer1-DiffusionRenderer视频处理教程：从帧提取到动态重光照的完整指南

news 2026/7/4 6:43:44

Cosmos-Transfer1-DiffusionRenderer视频处理教程：从帧提取到动态重光照的完整指南

【免费下载链接】cosmos-transfer1-diffusion-rendererCosmos-Transfer1-DiffusionRenderer: High-quality video de-lighting and re-lighting based on Cosmos video diffusion framework项目地址: https://gitcode.com/gh_mirrors/co/cosmos-transfer1-diffusion-renderer

想要为你的视频添加专业级的灯光效果吗？Cosmos-Transfer1-DiffusionRenderer 正是你需要的终极视频重光照工具！这个基于 NVIDIA Cosmos 世界基础模型的开源框架，能够实现高质量的视频去光照和视频重光照效果，让普通视频瞬间拥有电影级的视觉效果。🎬

什么是Cosmos-Transfer1-DiffusionRenderer？

Cosmos-Transfer1-DiffusionRenderer 是一个专业的视频处理框架，它能够分析视频中的光照条件，提取出物体的材质属性（如反照率、金属度、粗糙度），然后重新应用全新的光照环境。简单来说，它能移除原始视频中的光照效果，然后应用你想要的任何光照效果！

这个工具特别适合：

影视后期制作人员 🎥
游戏开发者 🎮
虚拟现实内容创作者 🕶️
AI训练数据增强 🔄

环境配置：快速开始指南

系统要求

在开始之前，确保你的系统满足以下要求：

Python 3.10（必须版本）
NVIDIA GPU（至少16GB显存，推荐48GB以上）
CUDA 12.0或更高版本
70GB可用磁盘空间

一键安装步骤

首先克隆项目仓库并创建环境：

git clone https://gitcode.com/gh_mirrors/co/cosmos-transfer1-diffusion-renderer cd cosmos-transfer1-diffusion-renderer conda env create --file cosmos-predict1.yaml conda activate cosmos-predict1 pip install -r requirements.txt

模型权重下载

项目需要下载约56GB的预训练模型权重。你需要：

创建 Hugging Face 访问令牌
登录 Hugging Face：
```
huggingface-cli login
```

下载模型权重：

CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python scripts/download_diffusion_renderer_checkpoints.py --checkpoint_dir checkpoints

图像处理实战：三步完成专业级重光照

第一步：图像去光照处理

去光照是重光照的基础步骤，它会分析图像中的材质属性：

CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_inverse_renderer.py \ --checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Inverse_Cosmos_7B \ --dataset_path=asset/examples/image_examples/ --num_video_frames 1 --group_mode webdataset \ --video_save_folder=asset/example_results/image_delighting/ --save_video=False

这个命令会分析asset/examples/image_examples/目录中的所有图像，提取五种材质属性：

Basecolor（反照率）
Normal（法线贴图）
Depth（深度图）
Roughness（粗糙度）
Metallic（金属度）

第二步：应用环境光照

现在我们可以为去光照后的图像应用全新的环境光照：

CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_forward_renderer.py \ --checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Forward_Cosmos_7B \ --dataset_path=asset/example_results/image_delighting/gbuffer_frames --num_video_frames 1 \ --envlight_ind 0 1 2 3 --use_custom_envmap=True \ --video_save_folder=asset/example_results/image_relighting/

--envlight_ind参数指定使用哪些环境贴图，项目内置了多种专业级HDRI环境光：

0: 粉色日出环境
1: 罗斯达尔平原环境
2: 街灯环境
3: 阳光公园环境

第三步：随机光照生成

如果没有特定的环境贴图，还可以生成随机光照效果：

CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_forward_renderer.py \ --checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Forward_Cosmos_7B \ --dataset_path=asset/example_results/image_delighting/gbuffer_frames --num_video_frames 1 \ --envlight_ind 0 1 2 3 --use_custom_envmap=False \ --video_save_folder=asset/example_results/image_relighting_random/

视频处理全流程：从帧提取到动态重光照

第一步：视频帧提取

视频处理的第一步是将视频转换为帧序列：

python scripts/dataproc_extract_frames_from_video.py --input_folder asset/examples/video_examples/ \ --output_folder asset/examples/video_frames_examples/ --frame_rate 24 --resize 1280x704 --max_frames=57

这个脚本会：

提取所有MP4视频文件
按24帧/秒的速率提取帧
将分辨率调整为1280x704
最多提取57帧（可根据需求调整）

第二步：视频去光照处理

对提取的帧序列进行批量去光照处理：

CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_inverse_renderer.py \ --checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Inverse_Cosmos_7B \ --dataset_path=asset/examples/video_frames_examples/ --num_video_frames 57 --group_mode folder \ --video_save_folder=asset/example_results/video_delighting/

第三步：视频重光照处理

为视频应用新的光照效果：

CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_forward_renderer.py \ --checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Forward_Cosmos_7B \ --dataset_path=asset/example_results/video_delighting/gbuffer_frames --num_video_frames 57 \ --envlight_ind 0 1 2 3 --use_custom_envmap=True \ --video_save_folder=asset/example_results/video_relighting/

进阶功能：旋转光照效果

创建动态旋转的光照效果，让视频更加生动：

CUDA_HOME=$CONDA_PREFIX PYTHONPATH=$(pwd) python cosmos_predict1/diffusion/inference/inference_forward_renderer.py \ --checkpoint_dir checkpoints --diffusion_transformer_dir Diffusion_Renderer_Forward_Cosmos_7B \ --dataset_path=asset/example_results/video_delighting/gbuffer_frames --num_video_frames 57 \ --envlight_ind 0 1 2 3 --use_custom_envmap=True \ --video_save_folder=asset/example_results/video_relighting_rotation/ --rotate_light=True --use_fixed_frame_ind=True