当前位置: 首页 > news >正文

SGLang AI 金融 π 对(杭州站)火热来袭!

本次 SGLang Meetup 聚焦于提升大模型推理效率的核心工程挑战。活动将介绍 SGLang 创新的缓存系统,通过分层与混合架构管理来优化内存使用;分享能实现模型权重秒级更新与快速加载的中间件,以加速强化学习等场景的迭代。同时,社区也展示了在支持 GLM、Mamba 等多样化模型,以及SGLang在昇腾的大模型推理优秀实践。 SGLang 社区致力于通过开源协作,为复杂 AI 模型构建高效灵活推理引擎,欢迎广大开发者线下参会。

🕑 时间:12月20日(周六)14:00

📌 地点:杭州紫金港美居酒店 三楼 祥符厅

为什么一定要来?

这不是一场泛泛而谈的行业聚会,而是一场围绕 Agent、强化学习(RL)与推理系统工程的深度技术探索。

▶ 下一代推理系统的“重构现场”

面对 DeepSeek-V3 等新一代模型,传统的内存管理已捉襟见肘。本次将首度揭秘 SGLang 两大创新:HiCache 与 Hybrid Cache。从硬件到分布式存储的三级缓存体系,到支持 SparseAttention 的分层内存管理,带你从底层看透性能上限是如何被突破的。

▶ 直击 RL 训练中的“工程命门”

在强化学习与大规模推理中,权重的频繁更新是效率杀手。我们将深入探讨 Checkpoint Engine —— 专为 LLM 设计的轻量级权重更新中间件。秒级“原地”更新、Zero-Copy 技术、P2P 传输模式,这些来自一线实战的工程细节,将直接解答如何大幅缩短 RL 训练中的推理等待时间。

▶ 完整的“软硬协同+垂直落地”生态

  • 看落地:华为工程师现身说法,拆解金融领域 Agentic RL 的确定性计算与多轮对轮优化;

  • 看适配:SGLang 在昇腾异构环境下的真实优化路径,及对 Qwen/DeepSeek 的深度支持;

▶ SGLang与GLM模型的生态建设

随着模型尺寸的增加和MoE的模型,模型推理的重要性日益显现,GLM布道师将介绍 SGLang 与 GLM 模型的生态建设,重点介绍在 SGLang 上高效部署 GLM,包括基础的部署,PD分离,以及讲解在GLM模型适配中的一些合作历程,包括SGLang框架的适配 以及 联合研发的 Slime开源框架。

社区周边 × 限量好礼 × 抽奖福利

  • 定制款周边伴手礼

  • 现场抽奖:罗技 G316 X / 电竞版 8K 机械键盘、程序员定制礼盒、超级解压捏捏乐

  • 参与小红书互动即可拿限定礼品

议程一览

http://www.cnnetsun.cn/news/100985.html

相关文章:

  • 33、Ubuntu服务器故障排查指南
  • 从零开始:解决brew命令不存在的完整指南
  • 详解!30+基于YOLO开源框架视频AI算法,覆盖低空经济无人机巡检、海康/大华摄像头,城市综合治理、智慧工地、森林巡检
  • MySQL变长字段的庖丁解牛
  • EmotiVoice能否生成客服安抚语音?共情语调设计
  • xxx is not in the sudoers file. This incident will be reported问题解决
  • 电商网站Nginx部署实战:高并发场景优化方案
  • h5嵌入鸿蒙跳转支付宝支付,报错:Syntax error:JSON Parse error:Expected ‘}‘
  • 传统VS现代:Docker容器启动效率对比实验
  • Vue小白必看:5分钟搞懂Vue2和Vue3的区别
  • AI如何帮你自动配置Spring Boot的spring.config.import
  • KKT条件在AI优化算法中的核心作用
  • 30秒创建路径工具类:AI代码生成实战
  • 5分钟打造Python版本检测机器人
  • 电商秒杀系统实战:Firebase实时数据库的高并发解决方案
  • Clangd vs 传统IDE:C++开发效率对比测试
  • 1小时打造GetWordSearch.exe原型:快速验证你的创意
  • Cursor在游戏开发中的实战应用案例
  • AI如何助力100%vendos实现自动化开发
  • Supervisord零基础入门:从安装到第一个守护进程
  • AI 如何帮助 Solidity 新手快速上手智能合约开发
  • 1小时打造PDF预览修复工具原型:快马平台体验
  • 企业级案例:某电商平台node-sass升级踩坑实录
  • 智能穿戴设备中的LDO电路设计实战
  • 用Packet Tracer快速验证网络架构设计的3种方法
  • 前端新手必学:object-fit的5分钟入门指南
  • 小白也能懂的模板错误解决指南
  • 零基础入门:5分钟学会使用Maven Helper管理依赖
  • 企业级项目中模板错误的实战解决方案
  • 24小时验证:用CMHHP快速构建医疗健康应用原型