当前位置: 首页 > news >正文

【保姆级教程】从零开始:如何在本地部署DeepSeek大模型(建议收藏)

简介

本文详细介绍了在本地设备上安装和运行DeepSeek大模型的完整流程。首先需安装GPU驱动、CUDA工具包和cuDNN;然后安装轻量级AI运行框架Ollama;接着通过Ollama下载适合GPU配置的DeepSeek模型;最后可通过命令行或客户端(如Cherry Studio)与模型交互。整个过程被比喻为安装普通软件一样简单,使开发者能轻松在本地运行开源大语言模型。

如果自己设备有GPU,可以尝试本地安装开源大模型,安装开源大模型并不难,可以把大模型当成一个软件,部署大模型就像安装软件一样。本地内容我们来介绍一下如何本地部署DeepSeek大模型。

1 安装GPU驱动以及CUDA

首先检查计算机显卡型号

在windows系统下输入Win+R”,打开运行窗口,输入“dxdiag”,点击“确定”。本机型号为GeForce RTX 3080。

下载安装显卡驱动

去英伟达官网,选择显卡驱动程序,然后下载安装。

https://www.nvidia.cn/geforce/drivers/

安装完成,打开命令行,输入nvidia-smi命令,查看驱动是否正常以及版本号。

安装cuda toolkit

CUDA(Compute Unified Device Architecture)是CUDAToolkit的简称,是英伟达公司推出的一种全新的基于并行编程模型和指令集的通用计算架构,它利用了NVIDIA显卡GPU的并行计算引擎,与CPU相比能够更高效地解决许多复杂的计算任务。

下载地址:https://developer.nvidia.com/cuda-downloads

选择正确的操作系统版本以及与显卡驱动相匹配的型号进行安装。

安装完成之后在命令行输入nvcc --version检查是否安装成功。

最后安装cudnn

NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。NVIDIA cuDNN可以集成到更高级别的机器学习框架中,如加州大兰伯克利分校的流行Caffe软件。插入式设计可以让开发人员专注于设计和实现神经网络模型,而不是调整性能,同时还可以在GPU上实现高性能现代并行计算。下载cudnn稍微麻烦一下,首先需要注册开发者账号,然后选择与cuda一致版本的cuDNN。

地址:https://developer.nvidia.com/cudnn

安装cudnn并不麻烦,只需解压安装包,然后将里面的内容替换到CUDA安装目录下即可。

只需将里面的 bin,lib和include替换掉cuda安装目录下的内容即可。为什么不直接集成到cuda中呢?如果安装默认目录安装,则是下面目录。

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2

安装Ollama

Ollama 是一个轻量级的本地AI模型运行框架,可在本地运行各种开源大语言模型(如Llama、Mistral等)

1、安装Ollama

浏览器输入网址:https://ollama.com/

2、登录CMD验证是否安装成功

PS C:\Users\wangtong> ollama.exe Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama create Create a model from a Modelfile show Show information for a model run Run a model stop Stop a running model pull Pull a model from a registry push Push a model to a registry list List models ps List running models cp Copy a model rm Remove a model help Help about any command Flags: -h, --help help for ollama -v, --version Show version information

3、下载模型

https://ollama.com/library/deepseek-r1

具体模型大小根据个人GPU情况,个人电脑一般选择14b以下。

# 安装14b版本 ollama run deepseek-r1:14b # 安装32b版本 ollama run deepseek-r1:32b

本地运行DeepSeek

安装完成之后就可以直接运行大模型。

ollama run deepseek-r1:14b

如果不喜欢命令行运行,可以选择一些大模型客户端运行,例如Cherry Studio,配置完成之后就可以再本地客户端直接对话了。

如何学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

那么针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份LLM大模型资料分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以扫描下方二维码领取🆓↓↓↓

学习路线

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

http://www.cnnetsun.cn/news/94476.html

相关文章:

  • 视频硬字幕AI去除终极方案:本地化无损修复技术详解
  • BetterNCM插件完整教程:从零开始打造你的专属音乐工作站
  • 大模型注意力机制全解析:从MHA到MoBA,一文掌握七种核心算法
  • LobeChat能否实现AI调酒师?饮品配方创意与口味偏好匹配
  • 如何快速绕过iOS激活锁:AppleRa1n完整解决方案指南
  • 3分钟深入解析LLM注意力机制:轻松掌握核心原理!
  • UnrealPakViewer终极指南:Pak文件分析与虚幻引擎资源管理完整教程
  • TradingView图表库K线生成机制深度解析与实战指南
  • 智能字体协作者:AutoCAD字体自动修复的终极解决方案
  • [深度复盘] 恋爱是一场分布式系统灾难?手把手教你用状态机(FSM)重构女神的“潜台词”逻辑
  • 字符设备驱动(5)
  • Flutter 表单开发实战:表单验证、输入格式化与提交处理
  • 【光子 AI】AI Agent 架构师 / 技术专家 10 道必考面试题和必过答案完整讲解 1
  • Flutter 主题与深色模式:全局样式统一与动态切换
  • 基于 GEE 使用 Sentinel-2 遥感影像数据反演水体叶绿素 a 质量浓度
  • 小红书数据采集架构解析与工程实践
  • 长沙对非合作深化 探索新型易货贸易
  • OpenCore Legacy Patcher终极教程:让老旧Mac完美运行最新macOS
  • 1、开启GIMP图像编辑之旅:从安装到精通
  • 2、开启 GIMP 图形编辑之旅
  • 怎么建立一套高效的设备运维管理体系?
  • 小爱音箱AI升级:让你的智能音箱秒变高智商语音助手
  • UnrealPakViewer终极指南:从入门到精通的Pak文件分析完整教程
  • 俄罗斯T-Tech公司推出T-pro 2.0:让AI说俄语更流利混合智能模型
  • MCP智能体连接协议面临企业级挑战
  • 联想发布数据存储新品助力企业AI发展
  • 人工智能使用大揭秘:OpenRouter公司百万亿规模数据分析报告
  • 微信DAT文件转换神器,牛批了
  • OBS音频插件实用技巧:专业级直播音效快速配置指南
  • BetterNCM插件配置全攻略:5步打造你的专属音乐工作站