共计 3351 个字符,预计需要花费 9 分钟才能阅读完成。
前两天发了一篇怎么更好使用 DeepSeek 的文章后,很多朋友在后台留言,希望了解更多 DeepSeek 的玩法。
春节前几天事情较多,这两天终于闲下来了,打算再分享一些自己使用 AI 功能的经验,包括但不限于 DeepSeek。
这一篇先介绍呼声较高的在本地部署 DeepSeek-R1 大语言模型的方案,后续会带来 DeepSeek 平替、DeepSeek 生成图片、视频、构建知识库等一系列文章,敬请期待。
话不多说,我们正式进入今天的主题。
这几天使用 DeepSeek R1 的朋友都知道,整个服务基本不可用,而“联网功能”直到今天才可用。所以如果有一套备用的 DeepSeek R1 大模型服务,无疑会省事很多。
这个备用方案的部署也很简单,只需要使用 Ollama 来加载 DeepSeek R1 的蒸馏模型就可以了,大伙可以跟着我的流程操作。
安装 Ollama#
Ollama 是目前最流行的本地运行大语言模型的开源工具,支持 DeepSeek-R1、Llama 等主流开源大模型的本地化部署。目前 Ollama 在 Github 上有 12 万的关注量,社区非常活跃。
首先在浏览器中打开 Ollama 下载地址 来下载安装包。你也可以直接复制下面自己电脑操作系统对应的下载地址,再粘贴到电脑浏览器中下载 Ollama:
- macOS:https://ollama.com/download/Ollama-darwin.zip
- Windows: https://ollama.com/download/OllamaSetup.exe
下载完成后,点击下载包安装 Ollama,然后点击 Ollama 图标启动应用,一路点击直到最后一步的提示:
这个提示提醒我们要在终端上运行 llama run llama3.2
,我们不用管这个提示,直接点击 Finish 退出安装。
我们已经完成 50% 的部署工作了,是不是很简单?
运行 DeepSeek R1 模型#
在浏览器中打开 Ollama,可以看到非常多的模型,比如 Meta 开源的 llama3.3,阿里开源的 Qwen:
我们找到 deepseek-r1,点击进入 deepseek-r1 页面:
左边下拉框有十几个基于 DeepSeek R1 蒸馏出来的模型,每个模型都展示了大小。右边是模型的运行命令。
之前 DeepSeek R1 官方拿 DeepSeek-R1-32b 和一些模型做过对比测试。
从上图可知,DeepSeek-R1-32b 相对于 DeepSeek R1 逊色一些,但其模型大小只有 20GB,蛮适合在我们个人电脑上部署的。
虽然模型越大效果越好,但也会消耗更多的磁盘和内存资源。所以你需要根据自己电脑的配置来选择运行的版本。内存够大就选 32b,内存低于 16G 使用 7b 和 8b 的版本就行了。为简单起见,这里我以默认的 7b 参数为例继续说流程。
复制右边的 ollama run deepseek-r1
命令,在电脑的命令行终端执行,等待下载完成。
当提示 success 时,表示下载完成,此时我们就可以和它聊天啦!
如果我们想退出聊天的话,输入 /bye 即可。
至此本地化部署 DeepSeek R1 就完成了。
不过大家发现没有,在终端与 DeepSeek R1 聊天太不方便了,而 Ollama 又只提供了命令行的交互方式。
好在社区有非常多的开源客户端软件都支持使用 Ollama,我们可以访问社区集成软件 ,选择一款自己喜欢的软件来使用 Ollama。
下面我就介绍几款比较流行的客户端软件,各位可以根据自己的喜好选择一个安装即可。
Chatbox#
Chatbox 提供了桌面版、手机版、网页版等多种访问 Ollama 的方式,并且支持部分模型(暂不包括 DeepSeek)的“联网查询”功能。
这里我介绍下 Chatbox 桌面版和移动版的安装和配置方法。
Chatbox 桌面版#
在浏览器中打开 https://chatboxai.app/zh#download, 下载并安装 Chatbox,点击启动,会弹出如下对话框,点击“使用自己的 API Key 或本地模型”。
选择 Ollama API,选择模型并保存,然后就可以聊天了。
Chatbox 的聊天界面如下:
可以看到,Chatbox 支持的功能较多,但暂不支持 DeepSeek 的“联网功能”,也不支持语音功能:
虽然 Chatbox 支持上传图片,但本地 DeepSeek 模型还不支持图片识别的功能。
Chatbox 移动版#
有些朋友想在手机上也安装个 Chatbox 使用,这里我就介绍下如何让手机版的 Chatbox 使用电脑上的 Ollama 模型。首先我们需要在电脑上调整 Ollama 的配置。
如果你是苹果系统,执行如下命令后再重启 Ollama。
launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "\*"
如果你是 Windows 系统,在系统设置中增加如下环境变量后,重启 Ollama:
变量名 | 变量值 |
---|---|
OLLAMA_HOST | 0.0.0.0 |
OLLAMA_ORIGINS | “*” |
接着查看电脑的局域网 ip,这个可以在网络设置中看到,如我电脑的 ip 是 192.168.31.119。
然后在应用市场搜索 Chatbox ai 并安装。安装完成后,打开 Chatbox,在设置中配置上电脑 Ollama 的地址:http://192.168.31.119:11434 (ip 需替换成你自己电脑的 ip),然后选择模型保存即可。
然后就可以在手机上也使用 Chatbox 了。
注意,这种方式只能在电脑 Ollama 运行时,且手机与电脑处于同一局域网(连的是同一个 wifi)才可行。
Lobe Chat#
Lobe Chat 是另一款热门的 Ollama web 工具,除支持 Ollama 所有本地模型外,其支持几乎所有主流的大语言模型,如 ChatGPT、Claude、Google Gemini 等。
Lobe Chat 提供了 Vercel、Railway 等部署方式,但本地部署的话推荐使用 Docker 。
如果还没安装过 Docker 的话,需先打开 Docker 官网地址,下载 Docker 桌面版并安装。
启动 Docker 桌面版,在搜索框中输入 lobehub/lobe-chat
,点击下载。
然后点击 Image,找到 lobe-chat 镜像点击运行,在弹出的对话框中输入容器名:lobe-chat,端口输入 3210,点击运行。
接着在浏览器中打开 localhost:3210,点击右上角的“会话设置”按钮,切换到“语言模型” 设置 Ollama 模型。然后点击 “获取模型列表” 加载我们下载好的 DeepSeek R1 模型,然后点击检查按钮测试模型是否可用。
配置完成后,回到对话页面,聊天界面如下:
Lobe Chat 支持浏览器和 OpenAI 的语音。但本地模式不支持上传图片、文件功能,也不支持联网搜索功能。
Open WebUI#
Open WebUI 是一款精简的 Ollama 浏览器工具,和 Lobe Chat 一样,也是推荐使用 docker 运行。
首先在终端运行如下命令拉取镜像并运行容器:
docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
接着在浏览器中打开 localhost:8080,点击开始使用。然后设置管理员信息:
然后点击右上角的“设置”,然后点击“管理员设置” -> “模型”,可以看到已经为我们加载好了模型。
回到聊天界面开始聊天,如下:
Open WebUI 支持语音识别、文件上传等功能,不支持联网搜索功能。
大家可以根据自己的喜好选择一个桌面版安装就行了。
结束语#
对于本地大语言模型而言,我觉得一般只适合做官方的备份,大多数人没必要自己在本地弄一套大语言模型。
- 一是本地模型的参数较小,效果没官方好。
- 二是功能也没官网的功能丰富。
- 三是 DeepSeek 免费的额度也够我们用了。
我能想到的一个应用场景,是有些笔记管理软件支持 Ollama,所以对经常写作的朋友来说,部署一套本地大语言模型的话,直接在笔记软件中使用 AI 能力,能大大提高效果,算是一个不错的选项。
大家还有其他比较好的应用场景推荐吗?欢迎在评论区留言与我探讨。