使用Docker部署Ollama本地大语言模型

部署Ollama

拉取镜像

docker pull ollama/ollama

创建持久化目录

mkdir -p /data/ollama

启动容器

docker run -d -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

部署完成后就可以通过本机IP+11434端口访问Ollama了，不过通过webui访问更方便一些，所以接下部署WebUI

部署WebUI

拉取镜像

docker pull ghcr.nju.edu.cn/open-webui/open-webui:main

创建持久化目录

mkdir -p /data/open-webui

启动容器

#中间IP位置要替换成Ollama所在IP
docker run -d -p 8080:8080 -e OLLAMA_BASE_URL=http://${Ollama_ip}:11434 -v /data/open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

启动容器稍等一会，也可以通过命令查看日志，当输出下面界面时就已经启动完成

 docker logs -f open-webui --tail 100

接着访问IP+8080打开web界面，注册并登陆后默认显示英文界面，可以在设置里调整成中文

接下来要下载语言模型，可以通过web界面下载，也可以通过命令下载

#命令方式
docker exec -it ollama ollama run c "hello"

web界面下载

模型下载完成后就可以和Ai聊天了，要先选择模型再进行提问

到这里本地语言模型就部署完成了，这些模型一般都比较吃CPU运算，如果本地有GPU较强的电脑也可以通过GPU进行运算，初始化时候调整命令就可以了，在搜索引擎搜一下应该很多，我这里就不提示了。