DeepSeek R1 Distill 本地部署相关资料
资料来源 https://henjihenji.feishu.cn/wiki/MN3Vwl2STigk2qk1r6lcGoY5nYg
注意事项
建议使用 NVIDIA 卡，体验会好不少，AMD 显卡未做测试，但应该也是能跑的
欢迎各位在本文档评论区反馈各自运行情况，这样可以帮到更多人
LM Studio
官网下载：https://lmstudio.ai/
夸克网盘：https://pan.quark.cn/s/f7f610d2ac7a
模型列表
请选择文件体积小于自己显存大小的模型，略大一些的虽然也能跑，但是速度会慢很多。因个人能力有限，以下模型推荐不一定是最好的
更多模型下载
链接1：https://www.modelscope.cn/organization/lmstudio-community
记得用搜索功能搜索 DeepSeek 相关模型
链接2：https://www.modelscope.cn/collections/DeepSeek-R1-Distill-GGUF-eec5fee2f2ee42
相比链接1会多一点不同量化精度的模型
点击模型名称可以直接下载
| 显存大小 | 推荐模型 | 备注 |
|---|---|---|
| 32GB | DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf | |
| 24GB | DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf |
二选一即可，比较推荐第一个 Q5 质量上可能会好一点，但是因为太接近 24G 显存，所以上下文多了之后，速度可能会慢。 上面的 Q6 勉强也能跑，但速度会比较慢。 |
| 16GB | DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf | |
| 12GB | DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf | |
| 11GB | DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf | |
| 8GB | DeepSeek-R1-Distill-Qwen-7B-Q6_K.gguf DeepSeek-R1-Distill-Llama-8B-Q6_K.gguf |
二选一即可 |
| 6GB | DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf |
二选一即可 |
| 4GB | DeepSeek-R1-Distill-Qwen-7B-Q3_K_L.gguf DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf |
二选一即可，比较推荐第一个 第二个 4G 显存能跑，但可能会比较慢 |
| 3GB、2GB | DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf |
如何查看自己的显存
| 显存大小 | 对应N卡型号 |
|---|---|
| 2GB | GTX 1050、GT 1030 |
| 3GB | GTX 1060 3GB |
| 4GB | GTX 1050 Ti |
| 6GB | GTX 1060 6GB、RTX 2060 6GB、RTX 3050 (6GB) |
| 8GB | GTX 1080、GTX 1070 Ti、GTX 1070、RTX 2080 SUPER、RTX 2080、RTX 2070 SUPER、RTX 2070、RTX 2060 SUPER、RTX 3070 Ti、RTX 3070、RTX 3060 Ti、RTX 3060 (8GB)、RTX 3050 (8GB)、RTX 4080、RTX 4060 Ti 8GB、RTX 4060、RTX 5070 |
| 11GB | GTX 1080 Ti、RTX 2080 Ti |
| 12GB | RTX 2060 12GB、RTX 3060 (12GB)、RTX 4070 Ti SUPER、RTX 4070、RTX 5070 Ti |
| 16GB | RTX 4060 Ti 16GB、RTX 5080 |
| 24GB | RTX 3090 Ti、RTX 3090、RTX 4090 |
| 32GB | RTX 5090 |
本地部署测试
GPU：AMD Radeon RX580 8G
CPU：AMD Ryzen 5600X
内存：16G
运行LM Studio
加载本地模型
注意模型这里直接选根目录，LM Studio会自动搜索
点击顶部加载模型，开始新的对话
