feat: add pingora-proxy-manager/

This commit is contained in:
Sun-ZhenXing
2025-12-11 14:11:37 +08:00
parent 8f30f94184
commit a9679a484f
12 changed files with 305 additions and 8 deletions

View File

@@ -9,13 +9,13 @@
- 拉取 DeepSeek R1 7B 模型:
```bash
docker exec -it ollama ollama pull deepseek-r1:7b
docker exec -it ollama-ollama-1 ollama pull deepseek-r1:7b
```
- 列出本地所有模型:
```bash
docker exec -it ollama ollama list
docker exec -it ollama-ollama-1 ollama list
```
- 通过 API 获取本地所有模型:
@@ -36,3 +36,25 @@
## 卷
- `ollama_models`: 用于存储 Ollama 模型的卷。
## 故障排除
### 长时间运行后 GPU 离线Linux Docker
如果 Ollama 在 Docker 容器中最初可以正常使用 GPU但运行一段时间后切换到 CPU 运行,且服务器日志中报告 GPU 发现失败的错误,可以通过禁用 Docker 的 systemd cgroup 管理来解决此问题。
编辑主机上的 `/etc/docker/daemon.json` 文件,添加 `"exec-opts": ["native.cgroupdriver=cgroupfs"]` 到 Docker 配置中:
```json
{
"exec-opts": ["native.cgroupdriver=cgroupfs"]
}
```
然后重启 Docker
```bash
sudo systemctl restart docker
```
更多详情请参阅 [Ollama 故障排除 - Linux Docker](https://docs.ollama.com/troubleshooting#linux-docker)。