当前位置: 首页 > news >正文

运行本地大模型:集显笔记本也能流畅运行

Chrome 浏览器支持本地部署大模型,无需高端独显,普通笔记本集成显卡即可流畅完成推理,AI 内容生成响应快速。所有内置 AI API 均可通过localhost调用,核心配置与使用流程如下:

文章首发在博客园,欢迎大家前往阅读完整内容:https://www.cnblogs.com/forever8/p/19334388

1. 开启 Chrome 本地模型功能

在 Chrome 地址栏依次打开以下地址,将对应标志设置为Enabled,重启浏览器生效:

  • chrome://flags/#optimization-guide-on-device-model
  • chrome://flags/#prompt-api-for-gemini-nano-multimodal-input

2. 验证模型就绪状态

通过availability()方法确认模型是否可使用:

const availability = await LanguageModel.availability();

3. 下载并实例化本地模型

需触发用户激活,调用create()函数即可下载约 3G 的本地模型,实时显示下载进度:

const session = await LanguageModel.create({ monitor(m) { m.addEventListener('downloadprogress', (e) => { console.log(`Downloaded ${e.loaded * 100}%`); }); }, });

可通过以下代码查看模型参数:

await LanguageModel.params();

4. 创建会话并生成 AI 内容

Prompt API 就绪后,创建会话并发起提问,推理过程充分利用本地集成显卡,生成响应快速:

// 创建会话 const session = await LanguageModel.create({ initialPrompts: [ { role: 'system', content: '你是一个云计算技术专家,对桌面虚拟化有深入研究,特别对windows api、计算机图形学、现代图形渲染技术和云电脑画面传输及渲染十分精通.' }, { role: 'user', content: '你了解天翼云和天翼云电脑吗?' }, { role: 'assistant', content: '天翼云是中国电信旗下云计算服务平台,依托优质云网资源,提供弹性计算、存储、安全等核心能力,适配政企及个人数字化需求,支持自主可控与合规适配,是数字化转型的可靠底座。天翼云电脑是基于天翼云技术的虚拟桌面服务,通过自研 CLINK 协议实现低延迟访问。无需高性能本地硬件,多终端一键接入,支持资源弹性配置与集中管控,兼具数据安全防护与低成本优势,满足办公、创作、学习等多元场景。' } ], }); // 生成对话内容 await session.prompt("请介绍一下天翼云电脑的优点");

运行效果如图:

从硬件使用也可以看出,推理过程CPU使用没有明显提升,GPU则在全力工作:

http://www.cnnetsun.cn/news/5522.html

相关文章:

  • 31、互联网用户安全防护全解析
  • 技术日报|Kaiju游戏引擎逆袭夺冠,Claude记忆插件日增779星登榜第三
  • 《2025提示工程从入门到进阶指南》正式发布 | 中科算网算泥社区
  • 换了 4 家 AI 模型,代码只动了 1 行——这个架构设计让老板随便折腾
  • 【毕业设计】基于SpringBoot的网上订餐系统设计与实现(基于java网上订餐系统的设计与实现(源码+文档+远程调试,全bao定制等)
  • Python大佬正在用的,但你不知道的几个编程技巧
  • 5步掌握pywebview与React桌面应用开发:终极跨平台解决方案
  • 如何快速获取BDD100K数据集:计算机视觉训练完整指南
  • 【C语言】分支语句(简略版)
  • IP防水等级分为几个等级
  • 2025年国内网络准入系统排行榜,六款超好用的网络准入系统推荐
  • Statuspage开源状态页面终极部署指南:30分钟搭建专业服务监控平台
  • GoldenDict-ng终极配置指南:打造你的专属词典库
  • 5步轻松掌握MinerU:智能文档转换工具完全指南
  • 自动化测试的「千里眼」:当RTSM远程控制遇上自动化,测试效率直接拉满
  • Spring AI 核心架构总览(资深架构师深度解析)
  • 改进YOLOv8结合跨尺度多头自注意力机制实现野火烟雾检测
  • 致进食障碍者
  • 深度合成算法备案超全解析!从定义到落地的4步合规法则
  • 我如何设计一个不会“发疯”的多智能体系统?
  • day122—二分查找—完成旅途的最少时间(LeetCode-2187)
  • 2025实测7款AI写小说神器!从卡文到日更,新手老手都适配
  • 8、Web漏洞扫描与利用技术详解
  • 42、企业备份与恢复综合指南
  • 终极网页设计助手:RulersGuides.js - 你的Photoshop式布局神器
  • OkDownload下载框架快速入门指南:5分钟掌握高效文件下载
  • V-HACD终极指南:快速掌握三维模型分割技术
  • OpenSCA-cli开源组件安全检测实战指南
  • 如何在React Three Fiber项目中快速集成5种高级视觉效果
  • 手写体OCR项目交付倒计时:Dify集成Tesseract 5.3的9个生产环境部署要点,错过即延误