DeepSeek之前,个人用户的基本不会有自己在本地部署Ai大模型的想法。但是作为一个国内能用的开源的免费的顶级推理模型,不火都难。
而在中国,火了就会爆!
所以DeepSeek网页版官网、APP、API都卡爆了,我都对“服务器繁忙,请稍后再试。”这段文字有应激反应了....
所以本地部署DeepSeek这个需求就诞生了,对应的优势是免费、独享、数据隐私等。
好东西总会让人忘记问代价,最大的代价就是你只能用蒸馏版的DeepSeek,可以理解成阉割版。
而阉割的程度取决于你deepwiser使用说明书的电脑配置,DeepSeek R1 模型本地部署各版本的硬件配置deepink要求(mac看内存那栏,wideepinkn看显卡那栏来判红海行动票房断):
模型版本 | CPU | 内存 | 硬盘 | 显卡 |
---|---|---|---|---|
1.5B | 最低 4 核 | 8GB+ | 256GB+ | 不需要(纯 CPU 推理就行) |
7B、8B | 8 核 + | 16GB+ | 256GB+ | 推荐 8GB + 显存(如deepseek r1 RTX 3070/4060)deepseek官网 |
14B | 12 核 + | 32GB+ | 25ollama6GB+ | 16GB + 显存(如 RTX 4090 或 A5000) |
32B | 16 核 + | 64GB+ | 25deepseek r16GB+ | 24GB + 显存(如 A100 40GBdeepkey 或双卡 RTX 3090) |
70B | 32 核 + | 128GB+ | 256GB+ | 多卡并行(如 2x A100 80GB 或 4x RTX 4090) |
671B | 64 核 + | 512GB+ | 512GB+ | 多节点分布式训练(如 8x A100/H100) |
个人电脑到头只能部署70B版本,671B满血版部署成本100万左右。
此外,本地部署也不能用联网搜索,据说现在有方案实现本地部署也能联网搜索,研究deepseek官网deepfakes使用教程明deepseek官网白后也发个教程(关注一波)。
本地部署DeepSeek实际要部署两块:DeepSeek模型部署 + 前端工具部署
因为单部署DeepSeek,只能在终端在对着命令行黑框使deepfreeze如何使用用DeepSeek,deepseek r1那体验就像黑白电视看大片。
大模型提供AI能力,前端工具调用AI能力,并实现各种交互效果。
现在市面上Ai前端框架多,且更新快,功deepink能侧重也不一样,有些部署起来有难度,一文deepink的篇幅有deepink限....
因此,我会在这篇文章写本地部署DeepSeek模型的教程,deepseek本地部署以及持续更新我亲测好用的AI前端框架,让小白老鸟和其他特殊需求的小伙伴自行对比,选择适合自己的DeepSeedeepl使用说明k使用方案。
本地部署DeepSeek可分为纯本地部署 和 半本地部署两种方式
备注:个人deepfreeze如何使用看deepkey法
- 纯本地部署Deepdeepfreeze如何使用Seek:DeepSeek模型下载到本地,配合前端工具使用AI,模型在你的电脑上运行,所有提问数据都在本地。
- 半本地部署DeepSeek:不用下载模型,只在本地安装前端工具,并配置DeepSeek API,调用API使用AI能力,模型在API服务商的机房运行,提问数据会经过服务商。
说deepwiser使用说明书白了是在性能和隐私之间做取舍:前者用不了满血版DeepSeek R1和V3,后者保证不了数据隐私。
纯本地部署
本地ollama部署deepl使用说明DeollamaepSedeepfakes怎么使用ek要先下载Ollama框架,Ollama官网:Ollama,下deepseek r1载对应系统的Ollama版本:
windows优先安装到你电脑读写速度快的盘上(包括后面下载模型)deepink,建议C盘,deepwiser使用说明书免得后续配置环境变量。
win还是mac都差不多,按部就班看提示操作:
安装好Ollama后,回到Ollama官网 - 官网左上角 - Models,下图所示:
而后找到deepseek-r1
(如果要部署其他模型如V3,在输入框搜索可找到),点击进去:
先选择要部署的deepseek r1模型版本,而后复制右边的命令,进入到终端运行,如图所示:
下面deepink是运行deepinkOllama中各个版本deepseek对应的运行命令表格:
模型名称 | 运行命令 |
---|---|
DeepSeek-R1-Distill-Qwen-1.5B | ollama run deepseek-r1:1.5b |
DeepSeek-R1-Distill-Qwen-7B | ollama run deepseek-r1:7b |
DeepSeek-R1-Distill-Llama-8B | ollama run deepseek-r1:8b |
DeepSeek-R1-Distill-Qwen-14Bdeepfdeepkeyreeze如何使用 | ollama run deepseek-r1:14b |
DeepSeek-R1-Distill-Qwen-32B | ollama run deepseek-r1:32b |
DeepSeek-红海行动票房R1-Distill-Llamdeepwiser使用说明书a-70B | ollama run deepseek-r1:70b |
在终端中执行命令,没下载模型的会自动下载,下载了就会直接运行模型,就能在终端和deepseep对话了,如图所示:
windows开启终端快捷键:
win + R
,而后输入cmd
mac开启终端快捷键:command + 空格
,搜索终端
并打开
DeepSeek是大语言模型(LLM),还要下载一个向量模型(Embedding),简单理解就是让大模型问答更准确的辅助模型。deepwiser说明书
还是一样,在Ollama官网 - Models栏目下,我推荐两个向量模型nomic-embed-text
和bge-m3
,前者轻量点,后面的更吃配置,deepseek本地部署但能力更强,部署32b版本DeepSeek,可以跑。
到了这里,本地部署DeepSeek的操作就完成了,后面就deepkey是开头说的,如何用Deepseek的问题了。deepseek r1针对每个前端工具,会单独开篇文章讲解,后续可看我其他文章。
Windows用户修改模型下载目录(实在C盘没空间)
Ollama 在 Windows 系统中下载模型的默认存储位置可以通过环境变量deepseek官网OLLAMA_MODELS
来确定。如果没有设置该环境变量,模型默认会下载到%LOCALAPPDATA%\ollama\moddeepl使用说明els
目录下。
如果你想把模型下载到其他盘,可以通过设置OLLAMA_MODELS
环境变量来实现,具体步骤如下:
- 右键点击 “此电脑”,选择 “属性”。
- 在左侧导航栏中点击 “高级系统设置”。
- 在弹出的 “系统属性” 窗口中,点击 “环境变量” 按钮。
- 在 “系统变量” 列表中,点击 “新建”。
- 在 “变量名” 输入框中输入
OLLAMA_MODELS
,在 “变量值” 输入框中输入你希望的模型存储路径,例如D:\ollama_models
。- 点击 “确定” 保存设置。之后使用 Ollamadeepl使用说明 下载的模型就会保存到你指定的路径中。
半本地部署
就像前面说的,半本地部署实际就是不在本地部署DeepSeek模型,只部署前端工具,只部署用的部分deepfreeze如何使用,把承担硬件成本、算力的重担交给API服务商。
所以这块就没什么说的了,提供一些常用的API渠道,后续选择了哪个前端工具,根据API信息配置上去就能直接使用了。
DeepSeek API(官方):https://platform.deepseek.com/api_keys
硅基流动(送2000万tokens):https://cloud.siliconflow.cn/i/SD94XhAb
字节的火山:https://www.volcengine.com/product/doubao/
阿里云百炼:https://www.aliyun.com/product/bailian
腾讯云:https://cloud.tencent.com/act/pro/deepseek-api
华为云# ModelArts:https://www.huaweicloud.com/product/modelarts/studio.html
京东云:https://www.jdcloud.com/cn/pages/jdtai
百度千帆:https://cloud.baidu.com/product-s/qianfan_home
天翼云:https://www.ctyun.cn/act/xirang/deepseek
移动云:https://ecloud.10086.cn/portal/act/AI
联通云:https://www.cucloud.cn/product/aicp.html
微软Azure AI:https://ai.azure.com/explore/models
英伟达NIM:https://build.nvidia.com/explore/discover
超算互联网:https://www.scnet.cn/
高羽网创博客原创文章,作者:高羽,如若转载,请注明出处:https://www.gaoyuip.com/41991.html