JoyAI-Image-Edit-Plus模型细节大公开：京东自研技术如何引领多模态编辑新潮流

JoyAI-Image-Edit-Plus模型细节大公开：京东自研技术如何引领多模态编辑新潮流

【免费下载链接】JoyAI-Image-Edit-Plus-ComfyUI项目地址: https://ai.gitcode.com/jd-opensource/JoyAI-Image-Edit-Plus-ComfyUI

京东自研的JoyAI-Image-Edit-Plus是一款突破性的多模态图像编辑模型，通过融合先进的扩散模型、文本编码器和变分自编码器，为用户提供专业级的图像生成与编辑能力。该模型基于ComfyUI生态设计，支持复杂的视觉指令理解与高精度图像操作，重新定义了AI辅助创作的可能性。

🚀 核心模型架构解析

JoyAI-Image-Edit-Plus采用三模块协同架构，每个组件都针对图像编辑场景深度优化：

1. 扩散模型：图像生成的核心引擎

• 文件路径：diffusion_models/joy_image_edit_plus_bf16.safetensors
• 模型类型：JoyImageEditPlusTransformer3DModel（bf16精度）
• 技术特点：3DTransformer结构支持时空维度的细节生成，1024x1024分辨率下保持发丝级纹理清晰度，文件大小约31GB

2. 文本编码器：多模态理解的桥梁

• 文件路径：text_encoders/qwen3vl_joyimage_bf16.safetensors
• 模型基础：Qwen3-VL-8B架构（bf16精度）
• 功能优势：支持图文混合指令解析，可同时处理6张参考图+文本描述，文件大小约17GB

3. 变分自编码器：高效图像压缩与重建

• 文件路径：vae/joy_image_edit_vae.safetensors
• 模型类型：AutoencoderKLWan
• 性能指标：243MB轻量级设计，重建误差低于3%，支持实时 latent 空间操作

🔧 快速上手工作流

使用JoyAI-Image-Edit-Plus只需三步即可实现专业级图像编辑：

1. 加载核心模型
   通过ComfyUI节点依次加载：

   • UNETLoader→ 扩散模型（diffusion_models/joy_image_edit_plus_bf16.safetensors）
   • CLIPLoader→ 文本编码器（text_encoders/qwen3vl_joyimage_bf16.safetensors，类型选择joyimage）
   • VAELoader→ VAE模型（vae/joy_image_edit_vae.safetensors）

2. 配置多模态输入
   使用TextEncodeJoyImageEditPlus节点：

   • 连接CLIP和VAE模型
   • 输入正向/负向文本指令
   • 上传1-6张参考图像（自动桶形调整至1024基准尺寸）

3. 执行图像生成
   将编码后的条件向量接入采样器，设置生成参数（建议采样步数20-30），通过VAEDecode节点输出最终图像。

💡 技术创新点

JoyAI-Image-Edit-Plus在多模态编辑领域实现三大突破：

• 参考图融合机制：通过 latent 空间拼接技术，实现参考图像风格与内容的精准迁移
• 动态分辨率适配：1024-base桶形系统自动匹配输入图像比例，避免拉伸变形
• 混合精度计算：bf16精度平衡性能与显存占用，在24GB显存设备上可流畅运行

📦 模型部署要求

• 硬件建议：NVIDIA GPU（≥24GB显存）
• 软件环境：ComfyUI 1.7.0+，Python 3.10+
• 安装方式：

  git clone https://gitcode.com/jd-opensource/JoyAI-Image-Edit-Plus-ComfyUI cd JoyAI-Image-Edit-Plus-ComfyUI

  将模型文件分别放置于对应目录：

  • 扩散模型 →ComfyUI/models/diffusion_models/
  • 文本编码器 →ComfyUI/models/text_encoders/
  • VAE →ComfyUI/models/vae/

无论是专业设计师还是AI创作爱好者，JoyAI-Image-Edit-Plus都能通过直观的工作流和强大的模型能力，将创意灵感转化为视觉杰作。立即体验这款京东自研的多模态编辑工具，开启你的AI创作新旅程！

【免费下载链接】JoyAI-Image-Edit-Plus-ComfyUI项目地址: https://ai.gitcode.com/jd-opensource/JoyAI-Image-Edit-Plus-ComfyUI