QwQ-32b本地部署教程 性能对标满血版DeepSeek R1-671b

性能齐平R1-671b和o1-mini的模型

凌晨阿里又开源了一款大模型（推理模型），这是着实给我搞激动了，前面一两个月本地部署 DeepSeek 搞得很热闹，但实际应用起来，会发现能力很扯淡（对比满血版）。

吃过肉包子，窝窝头自然是没那么好吞，所以后面大部分都用 API 去了，毕竟满血版。

而阿里这次开源的 QwQ-32b 的性能对标对标的是 DS 的671B，CloseAI 的 o1 mini，这是最牛逼的地方！官方的介绍：

也就是说：
在本地就能部署一个推理能力和 DeepSeek R1 671B 满血版本相当的大模型。

QwQ-32B 的能力侧重在数学、代码这些逻辑推理场景，如果配合本地知识库，脑子现高潮一波～
已经轮了一遍各种场景的实现，我们继续，搭建起来再说，下面开始折腾：

QwQ-32b本地部署

演示用的 Mac，Win 基本操作rag知识库格式一毛一样
还是一样，用框架部署安装，官方推荐用 vLLM，但是那个更适合企业，个人我觉得还是用 Ollma 合适，记得更新 Ollma 版本，以前的版本有漏洞
提醒：线上用了 Ollama 的兄弟务必更新最新版本，hack 能通过漏洞撸你的算力，就像这样：

用Ollama框架部署大模型有个好处就是，他会提供量化版本，默认是量化到头的版本，可以按照自己的硬件配置选择参数数量更大的版本，点击View all就能看到所有的版本了：

这也是为什么大厂接入的 DeepSeek 感觉不如官网，同样是 DeepSeek 671B，大厂测试下来，感觉都不是全量参数的 671b，估计是低成本圈用户先
如果你还不知道怎么安装 Ollama，可以看这篇文章：DeepSeek本地部署教程完全指南(ollama)，看Ollama 安装部分即可。

QwQ 官方没有给出环境配置建议，不过有折腾 DeepSeek 的经验，QwQ-32B 和 Deeprag知识库格式Seek-32B 应该是有一样rag知识库和问答对两类数据的配置要求，我先用会儿，晚点评论区给结果。

下面开始部署流程，先下载模型...
20GB 版本：ollama run qwq:32b
35GB 版本：ollamrag知识库构建a run qai知识库搭建wq:32b-q8_0
66GB全量版本：ollama run qwq:32b-fp16 我的配置得内存全清才能rag知识库是什么意思勉强吐字rag知识库部署，且吐字很清晰，一个...接着...一个....

复制命令行，然后打开终端：
mac：快捷键 Command + 空格 键打开搜索，输入终端
win：快捷键 Win + R

进入终端后粘贴刚才在 Ollama 复制的命令行，我这里选择了 33GB 的版本，以前用部署 DeepSeek 试过66G 全量版的32B，跑不动，我个人知识库搭建需要哪些软件的配置是 Maai知识库搭建cBook Pro 48G 版本，rag知识库构建可自行参考。

等待下载中....
下载完成！
开始运行....
出错！

解决办法：

md 内存不够，闪退个人知识库搭建教程了，得清空后台才带的动，不适合日常工作场景，还是安装一个量化到头 20GB 的版本吧～
继续下载中....
搞定了！

测试一个红黑树：

推理了很长，最终给出了正确答案。

我们换个姿势再来一次：

测一个内容生成场景，左边是 QwQ-32b 的，右边是接的硅基流动的 R1-671b api

除了设置的温度更低，所以左边看起来严肃点，其实是一个风格，一眼推理模型产出来的文，算是合格，毕竟只是 20GB 的量化版本，但是本地部署都得外挂知识库，完全能填补这部分参数不足，主要是验证的推理能力过关就 OK。
（也用 DeepSeek R1-32b 测试了下，要差很多，还到不了能用的标准）

QwQ-32b 使用时的配置建议

也就是在给 Ai 客户端接入模型时，设置的那些参数，如下所示：

下面是官方推荐的配置参数，无脑照搬即可。有些参数的设置项你的 Ai 客户端可能没有，可忽略。

采样参数：

1. 1. 使用温度=0.6和TopP=0.95而不是贪婪解码来避免无尽重复并增强多样性。
2. 2. 对于像数学或编程这样的复杂推理任务，设置TopK=40。
3. 3. 对于其他类型的问题，使用TopK=20。
4. 4. 处理长输入：对于超过32,768个token的输入，启用YARN可以有效提高模型捕捉长序列信息的能力。

对于支持的框架，你可以向config.json中添加以下内容以启用YARN：

{
...,
"rope_scaling":{
"factor":4.0,
"original_max_position_embeddings":32768,
"type":"yarn"
}
}