TGW 完整上手指南：从克隆到调参一次讲清
TGW 完整上手指南：从克隆到调参一次讲清
【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen
想在浏览器里跑本地 LLM，又不想折腾 Docker 和依赖地狱——这就是 Text Generation Web UI（TGW）的出场场景。一句话：开源的本地 LLM 网页界面，文本、视觉、工具调用全支持，数据不出本机，还带 OpenAI/Anthropic 兼容 API。
5 分钟把 TGW 跑起来
装什么
不用自己准备环境，官方启动脚本会全包：先拉 Miniforge 建一个隔离的 Python 3.13 环境，再按你的显卡装对应版本的 torch。如果你本机已有干净的 Python 环境，这一步可以直接跳过。
怎么启动
git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui cd text-generation-webui然后按系统三选一：
Linux跑./start_linux.sh；Windows双击start_windows.bat；macOS跑./start_macos.sh
首次运行比较慢，放着等 10 分钟以上很正常。好了之后浏览器开http://127.0.0.1:7860，界面就在。
角色扮演 / 多后端 / 参数预设，一次看够 🎭
先给 AI 立个人设再开口聊
你想做什么：让 AI 扮演特定的人跟你对话。
它怎么做到：改一个 YAML 里的name、greeting、context三个字段，角色就成了。角色配置目录 里Assistant.yaml、Example.yaml是现成例子，抄一份改两行就能用。
效果如何：多角色可以在同一个会话里来回切，人设不会串。连角色形象都能画，比如参考下面这张示例：
大模型塞不进显存？换个后端就行
你想做什么：小显存也要跑大一点的模型。
它怎么做到：Model 标签页里换引擎——Transformers 兼容性最好，llama.cpp 的 GGUF 量化适合低显存部署，ExLlamaV2 走高性能推理，CTransformers 偏 C++ 效率路线。Text Generation Web UI 的对话界面完全不变，只是底下换了台发动机。
生成太放飞？换个预设就行
你想做什么：让输出"稳一点、别乱编"。
它怎么做到：Presets 标签页一键套用参数组合，预设目录 里的Creative.yaml、Deterministic.yaml、Top-P.yaml直接选。自己调好的组合存下来，下次一条命令复现。
TGW 参数怎么调不翻车 🛠️
关键参数速查
| 参数 | 作用 | 推荐起步值 |
|---|---|---|
| temperature | 生成随机性，越高越放飞 | 0.7 - 1.0 |
| top_p | 词汇多样性，管风格松紧 | 0.9 - 0.95 |
| top_k | 候选词数量截断 | 50 |
| min_p | 过滤低概率词，压复读 | 0.02 - 0.1 |
| repetition penalty | 防止车轱辘话 | 1.05 - 1.1 |
高频报错对照
- 首跑半天没反应→ 还在下环境和依赖，第一次 10 分钟起步，别以为卡死去强杀
- CUDA out of memory→ 我一开始也以为是模型坏了，其实是显存爆了；换小一点的量化或 llama.cpp 后端
- 同一句话翻来覆去说→ 加一点 min_p，或重复惩罚 +0.05
- 7860 端口被占→ 启动命令后面加
--port 7861换个门牌号
硬件四句话：
- NVIDIA：CUDA 是默认路线，最省心
- AMD：走 ROCm，docs 里有专门的 AMD Setup 文档
- CPU：能跑，但只建议试小模型
- Apple 芯片：有专门优化，M 系跑得顺
装完 TGW 还能干嘛
这四点是我用得最多的后续玩法：
- LoRA 微调：Training 标签页内置训练，数据丢进
user_data/training/datasets/目录就能开训 - OpenAI 兼容 API：启动时加
--api，把你原来调 OpenAI 的现成应用指到http://127.0.0.1:7860就能通 - 社区扩展：
extensions/目录里 TTS、画图、翻译现成一大堆，装上即启用 - 多语言对话：
google_translate扩展挂上就能跨语言聊
打开extensions/目录，挑一个silero_tts这样的 TTS 插件装上启用，生成你的第一句语音。
【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考