Ascend-SACT/LTX-2：华为昇腾NPU视频生成模型适配方案全解析

Ascend-SACT/LTX-2：华为昇腾NPU视频生成模型适配方案全解析

【免费下载链接】LTX-2项目地址: https://ai.gitcode.com/Ascend-SACT/LTX-2

Ascend-SACT/LTX-2是将Lightricks的DiT架构视频音频生成模型（22B BF16）适配到华为Ascend NPU（910B2C）的专业解决方案。本项目提供完整的NPU适配补丁集与运行脚本，所有补丁均在实际NPU环境下通过推理与训练验证，帮助开发者快速部署高性能视频生成模型。

项目核心价值：让22B大模型在NPU高效运行

LTX-2作为先进的视频音频生成模型，原生设计并未针对Ascend NPU进行优化。Ascend-SACT团队通过15个核心适配补丁，解决了包括设备兼容性、内存优化、算子支持等关键问题，使模型能够充分利用昇腾NPU的计算能力。

两种便捷使用方式

项目提供两种使用途径，满足不同用户需求：

• 开箱即用工作仓：直接克隆已应用补丁的完整代码库

  git clone https://gitcode.com/Ascend-SACT/LTX-2_npu

  工作仓已包含所有NPU适配commit和运行脚本，无需手动处理补丁，适合快速启动项目。

• 灵活补丁仓：获取适配补丁集应用到上游代码

  # 克隆上游LTX-2 git clone https://github.com/Lightricks/LTX-2.git cd LTX-2 # 克隆补丁仓 git clone https://atomgit.com/Ascend-SACT/LTX-2.git ../ltx2-patches # 应用核心适配补丁 ../ltx2-patches/apply_patches.sh

  补丁仓适合需要自定义修改或跟踪上游更新的开发者。

关键技术适配解析

突破NPU硬件限制的创新方案

项目团队针对昇腾NPU的特性，实施了多项关键适配策略：

• 算子兼容性处理：绕过torch_npu当前限制，如FP8 scaled_mm不支持时自动回退到线性计算，确保模型核心功能正常运行。

• 内存优化策略：通过NPU-free-streaming-transformer-GPU-pool-before-VAE-d.patch等补丁优化内存分配，解决大模型推理时的内存瓶颈。

• 设备同步机制：添加NpuStreamSync实现块流式处理，提升视频生成的流畅度和效率。

支持的推理与训练场景

经过适配的LTX-2模型支持多种关键场景：

• 单阶段推理：优化后的推理pipeline可直接在NPU上运行，生成高质量视频内容。

• LoRA训练：通过专门的适配补丁，支持在NPU上进行高效的LoRA微调，满足定制化需求。

更详细的适配原理、pipeline全景图与已知限制，可参考工作仓LTX-2_npu的docs/目录文档。

快速开始：从环境配置到生成视频

环境准备

项目提供setup_env.sh脚本帮助快速配置运行环境，确保依赖库版本与NPU驱动的兼容性。

运行推理示例

配置完成后，可通过以下脚本启动视频生成：

• 图像到视频：run_i2v.sh
• 文本到视频：run_t2v.sh

这些脚本已针对NPU进行优化，可直接使用默认参数运行，也可根据需求调整生成参数。

验证适配效果

项目包含test/run_i2v_verify.sh和run_verify.py工具，用于验证NPU适配后的模型功能正确性和性能表现，确保生成结果符合预期。

项目结构与资源

补丁目录解析

核心适配补丁位于patches/目录，主要包括：

• 设备抽象层适配：0001-feat-npu-add-Ascend-NPU-backend-to-central-device-ab.patch
• 编译优化：0002-feat-npu-skip-torch.compile-on-Ascend-NPU.patch
• 内存格式处理：0006-feat-npu-disable-channels_last_3d-memory-format-on-N.patch

性能优化补丁

perf_patches/目录提供性能优化补丁，如rmsnorm-npu-fusion.patch，进一步提升模型在NPU上的运行效率。

总结：昇腾NPU上的视频生成新可能

Ascend-SACT/LTX-2项目通过专业的NPU适配方案，使强大的LTX-2视频生成模型能够在华为昇腾平台高效运行。无论是科研机构还是企业开发者，都能借助本项目快速构建基于NPU的视频生成应用，探索AIGC领域的更多可能性。

项目持续更新中，欢迎开发者贡献代码或反馈问题，共同完善昇腾NPU上的视频生成生态。

【免费下载链接】LTX-2项目地址: https://ai.gitcode.com/Ascend-SACT/LTX-2