部署deepseek-r1
最近DeepSeek-R1模型很火,我也蹭个热点,本文介绍如何在VPS上使用Ollama部署DeepSeek-R1模型,不过效果吗,最后再说。
系统要求
根据这里,不同参数量的模型占用硬盘空间也不一样(这里xb是指模型用了x billion个参数):
– deepseek-r1:1.5b
: 约1.1GB硬盘空间
– deepseek-r1:7b
: 约4.7GB硬盘空间
– deepseek-r1:8b
: 约4.9GB硬盘空间
– deepseek-r1:14b
: 约9.0GB硬盘空间
– deepseek-r1:32b
: 约20GB硬盘空间
– deepseek-r1:70b
: 约43GB硬盘空间
– deepseek-r1:671b
: 约404GB硬盘空间
这里671b的模型是满血模型,其他的都是蒸馏过的模型。
对于普通VPS,建议使用1.5b版本。如果VPS配置较高(内存>16GB,硬盘>10GB),可以考虑使用7b版本。
安装步骤
检查系统资源
# 检查内存
free -h
# 检查硬盘空间
df -h /root
安装Ollama
# 下载安装脚本
curl -fsSL https://ollama.com/install.sh | sh
# 启动Ollama服务
systemctl enable --now ollama
# 验证安装
ollama --version
运行模型
根据VPS内存大小选择合适的模型:
ollama run deepseek-r1:1.5b
ollama会在后台下载模型,下载完成后,模型会自动运行。
ollama run deepseek-r1:1.5b
>>> hello
⠏
输入hello
后,等了约20分钟,看见模型还是不停的转圈圈~~
本地部署
所以,最好在本地部署,我在Mac Mini M4上部署了14b的模型,效果还不错。
前端
在Ollama的github主页的Web & Desktop
部分介绍了一些Web前端或者桌面程序,提供更友好的方式和模型交互,而不用通过命令行聊天,可以试一试。
联网搜索
这里提供了浏览器插件,可以在Chrome、Edge、Firefox浏览器上使用,它的聊天窗口工具栏里有个联网的按钮,点击以后模型可以联网搜索,不过感觉效果一般般。
上一篇
MySQL备份与还原
下一篇