当前位置：首页 > news >正文

AI大模型应用之软件安装及环境配置

news 2026/8/28 3:14:31

一、聊天机器人简介

说明：表格涵盖聊天机器人核心定义、技术、搭建方式及各类模型分类

知识点类别	具体项目	详细内容
核心定义	聊天机器人定义	基于人工智能和自然语言处理技术开发的软件程序，可通过文本或语音与用户交互，模拟人类对话，根据用户问题/指令生成回答或执行操作
核心技术	核心支撑技术	人工智能、自然语言处理（NLP）、大语言模型（LLM）
交互方式	主要交互形式	文本、语音
主要功能	核心功能	回答问题、聊天陪伴、协助工作（写作、计划等）、智能客服、执行用户指令
常见例子	典型应用	Siri、小爱同学、电商智能客服、AI对话助手
搭建方式	零代码平台搭建	难度：低；代码要求：无需代码；成本：低；灵活性：低；适合人群：新手、企业快速使用
搭建方式	调用AI大模型接口开发	难度：中；代码要求：少量代码；成本：中等；灵活性：较高；适合人群：有一定开发基础者
搭建方式	编程自主开发	难度：高；代码要求：大量代码；成本：高；灵活性：最高；适合人群：专业研发人员
大模型按功能分类	自然语言处理（NLP）模型	处理文字信息，可实现理解、生成、翻译、问答、对话等功能
大模型按功能分类	计算机视觉（CV）模型	处理图像、视频信息，可实现物体识别、人脸识别、图像生成、识图等功能
大模型按功能分类	语音模型	处理声音信息，可实现语音识别、语音合成、语音转文字等功能
大模型按功能分类	多模态模型	同时处理文字、图片、音频、视频等多种信息，实现跨模态交互与处理
大语言模型（LLM）补充分类（按能力/部署/规模）	按能力范围	1. 通用大模型：擅长通用对话、创作、翻译等（如GPT、文心一言、通义千问）；2. 垂直领域大模型：针对金融、医疗、法律等特定行业优化
大语言模型（LLM）补充分类（按能力/部署/规模）	按部署方式	1. 开源大模型：可免费下载、本地部署、二次开发（如Llama、Qwen、Baichuan）；2. 闭源/商用大模型：由公司提供API服务（如GPT-4、Claude、文心一言）
大语言模型（LLM）补充分类（按能力/部署/规模）	按模型规模	1. 超大规模大模型：千亿级参数，能力强劲（如GPT-4、Claude 3）；2. 轻量/小模型：轻量化部署，适合手机、IoT等端侧设备

二、ollama下载及环境配置及常用命令

类别	具体项目	简单介绍	优点	缺点
私有大模型（本地部署）	整体特性	私有大模型是基于开源或定制模型，在本地设备（PC/服务器）部署的专属大模型，可通过企业内部数据训练优化，数据不联网，主打隐私安全与自主可控，适配敏感场景与个性化需求。	1. 数据隐私安全：数据不联网，避免泄露，适配敏感场景；2. 自主可控：可根据需求自定义训练、二次开发，不受第三方平台限制；3. 无网络依赖：离线可使用，不占用网络带宽，响应速度稳定；4. 个性化适配：可针对性优化，贴合自身使用场景（如企业内部、个人需求）	1. 硬件成本高：需高性能CPU、GPU（显存充足），硬件投入大；2. 技术门槛较高：部署、维护、优化需一定技术基础，新手上手难度大；3. 模型更新麻烦：需自行下载、更新模型，无法享受第三方平台的自动迭代；4. 资源消耗大：运行时占用大量内存、显存，对设备配置要求高
本地部署工具	Ollama	Ollama是一款开源、轻量级的本地大模型部署工具，核心是简化大模型本地运行流程，通过命令行即可一键安装、启动、切换各类主流开源大模型，适配多系统，新手易上手。	1. 部署简单：操作便捷，命令行一键安装、启动模型，新手易上手；2. 轻量高效：体积小，占用资源相对较少，适配普通PC/服务器；3. 支持模型丰富：兼容Llama、Qwen、Baichuan等主流开源大模型，可自由切换；4. 开源免费：无需付费，可自由使用、二次开发，无商业限制；5. 跨平台支持：适配Windows、Mac、Linux系统，通用性强	1. 功能相对基础：缺乏复杂的可视化管理界面，进阶功能（如模型微调）需额外配置；2. 性能上限有限：相比专业部署工具，在大规模模型、高并发场景下性能稍弱；3. 技术支持有限：开源项目，官方技术支持不足，遇到问题需依赖社区解决；4. 适配性局限：部分超大规模大模型部署后，稳定性不如专业部署框架

（一）下载

可以在官网上进行下载，官网链接：Ollama
下载完成后，打开命令提示符（快捷键：win+R）输入：ollama -v出现具体版本号说明下载成功。

这里如果存在更新提示的话，可以更新一下

（二）配置

Ollama默认下载路径是在C盘，所以我们需要修改一下模型的目录。

设置完成后，退出ollama，重新打开（这里ollama没有图标，可以搜索打开）

重新启动ollama，启动成功后，ollama 在本地 11434 端口启动了一个 API 服务，在浏览器搜索框里输入 http://127.0.0.1:11434 访问，出现下面提示说明访问成功

（三）常用命令

1. 命令行中常见的命令

① 下载运行命令

ollama run qwen2.5:0.5b

也可以用

ollama pull qwen2.5:0.5b

run：下载后会运行；pull：下载完成后结束

命令执行结果如下，下载完成后直接进入qwen2.5 大模型：

同理，再下载一个deepseek-r1:1.5b

② 查看都有那些模型

③ 查看模型详情（参数、架构、描述等）

ollama show qwen2.5:0.5b

④ 查看运行的模型

ollamaps

⑤ 复制备份模型，给模型重命名

ollamacpqwen2.5:0.5b2.5qwen

⑥ 删除模型

ollamarm2.5qwen

2. 交互式对话中的命令

首先，先把模型打开：

①查看都有那些命令
两个命令功能一样

/?shortcuts /help

② 查看模型信息

/show

③/动态切换模型

/load deepseek-r1:1.5b

④ 三引号多行输入

"""你好， 给我讲一个e 故事"""

⑤ 清除上下文内容（让大模型忘记自己说了什么）

/clear

⑥退出

/bye

3. 单位:b(billion)补充

对应 Ollama 里型号的参数对照表

型号写法	全称	参数数量	对应电脑配置
0.5b	0.5 Billion	5亿参数	CPU 就能跑，内存 4G 以上就行，秒回，适合低配电脑、小服务器。
1.5b	1.5 Billion	15亿参数	很小、手机可跑
7b	7 Billion	70亿参数	内存 ≥8G 可跑；有显卡（显存≥4G）更流畅。日常聊天、写代码、问答最常用
14b	14 Billion	140亿参数	建议显存 ≥6G 或内存 ≥16G。
32b	32 Billion	320亿参数	需要好显卡，显存 ≥10G、16G 以上，一般是高配电脑/工作站。
70b	70 Billion	700亿参数	需要好显卡，显存 ≥10G、16G 以上，一般是高配电脑/工作站。