12G 显存跑通 SV4D：Stability AI generative-models 从零到 4D 生成的完整路线

12G 显存跑通 SV4D：Stability AI generative-models 从零到 4D 生成的完整路线

【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models

想给一张照片生成环绕镜头，但单卡显存只有 12G？Stability AI 的 generative-models 仓库就是干这件事的：SDXL-Turbo、SVD、SV3D 到 SV4D 2.0 的完整生成代码都在里面，配合encoding_t=1、decoding_t=1这两个参数，低显存也能把 4D 视频跑出来。

第一次跑通：从拿到代码到出第一个结果

把环境装好、权重放对位置，一条命令就能出片。

项目要求 Python 3.10，PyTorch 版本要跟显卡的 CUDA 对得上；4D 模型建议 12G 以上显存，不够就用后文的参数降显存。

git clone https://gitcode.com/GitHub_Trending/ge/generative-models cd generative-models

然后在仓库里建虚拟环境，按 requirements/pt2.txt 装依赖再pip3 install .，把 PyTorch 装成对应你 CUDA 的版本即可。权重下载是绕不开的一步，以 SV4D 2.0 为例：

huggingface-cli download stabilityai/sv4d2.0 sv4d2.safetensors --local-dir checkpoints

文件必须落在checkpoints/目录下，脚本按固定路径找权重。之后直接跑仓库自带的示例输入：

python scripts/sampling/simple_video_sample_4d2.py --input_path assets/sv4d_videos/camel.gif --output_folder outputs

输出会写到outputs/sv4d2/，是一个多视角环绕视频，画面如下：

输入除了 gif/mp4，也可以是一个装满 jpg/png 帧的文件夹，甚至是一个帧文件名通配模式。

内部是怎么组织的

看懂三个设计决策，后面改什么、查什么都心里有数。

• 配置驱动：模型由 YAML 里的声明组合而成，代码里统一走instantiate_from_config()构建。换模型组件就像给车换发动机，改配置即可，不用改代码。
• 统一条件入口：文本、类别、空间视角等条件走同一个条件器处理，所以模型能同时吃多种条件输入，加新条件类型时不用动模型主干。
• 采样与引导分离：采样策略写在 sampling.py，CFG 等引导逻辑单独成模块，换推理策略不用改模型。

这个分离也体现在入口上：scripts/sampling/ 下每个脚本对应一个模型版本，想跑哪个模型就找同名脚本，入口和配置一目了然。

常用命令与参数速查

各脚本参数大同小异，这几个是调参时最常动的：

踩坑与优化

四个高频问题，都是显存和质量相关，按"现象—原因—办法"排查最快。

现象：报 out of memory。原因：VAE 编码时默认一次处理 8 帧（encoding_t=8），解码同样吃显存。办法：把--encoding_t=1 --decoding_t=1，仍不够再把--img_size降到 512；代价是耗时上升，属正常。

现象：采样慢得没法用。原因：num_steps默认 50，步数与耗时近似线性。办法：先 20 步出预览确认构图和相机轨迹没问题，满意后再拉回 50 步出成品。

现象：输出模糊、物体变形。原因：模型在干净白底的单物体视频上训练，实景噪声背景会让它"脑补"出错误结构。办法：先开--remove_bg=True；背景复杂的实拍素材，建议先用分割工具抠出前景再喂给模型。

现象：启动直接报错找不到模型。原因：权重没放进checkpoints/，或文件名不对。办法：确认文件名为sv4d2.safetensors，SV4D 旧版还需要额外的sv3d_u.safetensors。

怎么选、怎么改

选模型先看输入和产出：SDXL-Turbo 文生图、追求出图速度时用；SVD 适合 14 帧短片、SVD-XT 拉长到 25 帧；SV3D 从单张图出多视角环绕视频；SV4D 2.0 把视频升级成 4D 资产，对真实场景视频泛化更好，也比旧版 SV4D 更抗自遮挡；追求视角密度就换 8 视角的sv4d2_8views权重，代价是每段只生成 5 帧、靠自回归拼长。

想自己动手改，有两个入口：推理配置集中在configs/inference/，训练模板在configs/example_training/，照着 mnist 条件生成配置 的结构就能看懂字段含义；采样行为则从 sgm/modules/diffusionmodules/ 这个目录改起。

适合想自托管 Stability 系列模型或做 4D 生成实验的开发者；细节看 README 和sgm/源码。

【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models