1.4 KiB
1.4 KiB
Ollama
此服务用于部署 Ollama，本地运行大语言模型。
用法
-
拉取 DeepSeek R1 7B 模型：
docker exec -it ollama-ollama-1 ollama pull deepseek-r1:7b -
列出本地所有模型：
docker exec -it ollama-ollama-1 ollama list -
通过 API 获取本地所有模型：
curl http://localhost:11434/api/tags 2> /dev/null | jq
服务
ollama: Ollama 服务。
配置
OLLAMA_VERSION: Ollama 镜像的版本，默认为0.12.0。OLLAMA_PORT_OVERRIDE: Ollama 的主机端口，默认为11434。
卷
ollama_models: 用于存储 Ollama 模型的卷。
故障排除
长时间运行后 GPU 离线（Linux Docker）
如果 Ollama 在 Docker 容器中最初可以正常使用 GPU，但运行一段时间后切换到 CPU 运行，且服务器日志中报告 GPU 发现失败的错误，可以通过禁用 Docker 的 systemd cgroup 管理来解决此问题。
编辑主机上的 /etc/docker/daemon.json 文件，添加 "exec-opts": ["native.cgroupdriver=cgroupfs"] 到 Docker 配置中：
{
"exec-opts": ["native.cgroupdriver=cgroupfs"]
}
然后重启 Docker：
sudo systemctl restart docker
更多详情请参阅 Ollama 故障排除 - Linux Docker。