1922_在拥有独立显卡的电脑上尝试本地大模型
我接触 AI 的各种工具，其实相对来说是有一些晚的。我周边的人陆陆续续都已经进入了 AI 相伴的模式，而我一直在古老的工作模式之下坚守。当我尝试看了一些别人写的教程之后，简单的进行了实践，发现这东西的确确是能够在很多方面提高我们的生产力，或者是提高我们的产出质量。于是又开始开各个平台的 API 账号充值，尝试各种工具。时间久了，有时候觉得，其实我需要的只不过是一个简单的多模态，加上一个 DeepSeek V4 Flash 做做辅助就可以了。然而，试用了一些多模态的 API 之后，发现这东西还是挺贵的。看着自己充值的账户里面的余额疯狂的减少，有时候的确确有那么几分焦虑感。毕竟大部分的 token 充值不像 DeepSeek V4 Flash 那么耐用。这就让我多少有点想考虑尝试一下本地大模型了。
在买电脑之前，我其实在几个平台上试了很多不算是很大的模型。尝试这些模型其实是为了能够选择一台相对合适的电脑。后来我给我自己选定了一个目标，大模型是千问的 35B-A3B。而跑这个大模型，也可以尝试一些量化版本，哪怕达不到满血版本的那种效果，能够达到它的七八十分，我倒觉得也是可以的。这样我就可以本地处理一波，搞不定的再换云端，这样 Token 的费用应该也可以减少下来。而我自己这方面的用量的确是比较高。
各种对比之下，选了一个 RTX 5080 Laptop 的显卡，16G 的显存，可以尝试前面我说的这种模型。我也看过很多其他的设备，但是目前来看，价格好像都高的有些离谱。我自己选的一个折中方案是，先选一个这样的笔记本用一用。如果是不合适的话，至少也可以给自己升级一个可以用的笔记本，至少不会有什么大的投入损失。
尝试进行这个大模型部署的时候，我先从阿里千问网页端咨询了一下，让它给我出一个保姆级的教程，按照它的教程来进行大模型的部署。目标就是千问 3.6-35B- A3B。这个其实也比较有趣。我去让它给我出这个教程的时候，目前网页版本的千问大模型给我的答复是，其实千问并没有发布这样的模型，发布的是 3.5，并不是 3.6。这就看得出来，有很多大模型，它训练的材料以及信息搜集进化的能力，还是有一定的限制的。因为 3.6 的版本，从网络上随便一搜索，就能够看得到，也能找得到它发布的信息。我之所以去让千问给我出这样的保姆级教程，是因为我觉得它们是同一个体系的，肯定对自己来说是知根知底的。但是按照它的教程，我还是稍微栽了点坑。当天晚上 8 点多钟开始整到了 12 点之后才跑起来。前面反反复复的折腾，始终没有让 GPU 工作起来。
关于前面说的这个灾坑，也是我在尝试本地大模型部署的时候，遇到的最折腾的一点。然而这一部分让千问做检查的时候，它始终检查不出来相应的原因是什么。最后这个问题还是 DeepSeek 帮我分析出来的。我把相应的记录信息直接一股脑的扔给了 DeepSeek，让它帮我解决。结果它分析出来了，可能是我少下载了一部分动态链接库的文件，需要把那个动态链接库的压缩包下载下来，然后解压到相同的目录。处理之后，终于是搞定了。具体的内容的话，就是下面这两个压缩包。这两个压缩包应该是把里面的内容全都解压出来，放在一起，才能够配合起来一起工作。
尝试了 35B-A3B 这样的模型之后，我又尝试了 27B 的量化版本。因为很多评测说 27B 在各方面的表现上，可能比 35B-A3B 这个模型表现还要稳定一些。也有些评测说，它的能力其实比这个 MoE 的模型更好一些。关于这个模型，我首先是尝试了 Q3 的量化版本，因为这一个版本基本上是能够一股脑全都压到 GPU 里面去。另外也尝试了三值量化版本，但是不知道什么原因，这个三值量化版本始终在吃内存和 CPU 的资源。纵然显卡也加载了一部分信息，始终没有充分利用起来。三值版本在我的电脑上做各种测试的时候，慢到了不能忍受，每秒钟也就一两个 token。
然而前面的 35B-A3B 以及 27B 的模型使用的时候，流畅度基本上是还是可以接受的。前者每秒的 token 基本上是稳定在 40 左右，后者能够稳定在 30 左右。但是在使用的时候，有一个极为明显的体验，就是使用 27B DENSE 模型的时候，能够感觉出来 GPU 功耗更高，风扇呼呼的转，噪音非常大。我在使用的时候，旁边的妻子在问我：“咦？这是有下雨的声音吗？”相比之下，35B-A3B 纵然不能说是安静，但是声音要小得多。
补充一下，我昨天晚上做这些测试时写的一点小体会如下：
我看到有人说，相比于 A3B 的模型，其实千问的 27B 稠密模型才是本地部署的 AI 模型的王炸。它对于硬件的要求说不上太高，但是从推理的稳定性以及推理的能力各方面都是比较强的。然而我手中的显卡装不下它的满血版模型，只能装一个 IQ3 的量化版本。安装之后，32K 上下文感觉跑起来还是很稳的，每秒的 token 在 30 左右。我继续尝试，重复前面的问题，让他做 DeepSeek 一次就成，A3B 两次差不多，但是稍微欠点火候的问题。结果尝试了四轮才把最后的问题给解决掉，但是每一次给他信息反馈之后，他能够综合之前的信息进行迭代解决。但是它的推理，尤其是 Think 的阶段，常常会出现大片的英文，或者是中文转英文。几轮迭代之后，出来的软件实际效果，的的确确比两轮的 A3B 效果要好，但是比不上 DeepSeek。跑这个模型的时候，明显感受到电脑的风扇噪音更大。看了一下，GPU 的温度相比 A3B 也高了 10 度。但是有一点好处是，这个模型吃的内存没有那么多，当然这个有可能也是需要商榷的，可能还存在调整的空间。从各方面来看的话，我还是喜欢用 A3B。
以上是最近尝试这些东西的一些小小的体验和想法。接下来可能至少会有几个月，我会尝试跟这些智能模型进行“共生合作”。探索新的工作、生活和学习模式的同时，也为我下一步新的尝试积累一些探索的素材。