1.3 KiB
1.3 KiB
LMDeploy Docker Compose
LMDeploy 是一个用于压缩、部署和服务大语言模型（LLM）的工具包。
快速开始
-
（可选）在
.env中配置模型和端口。 -
启动服务：
docker compose up -d -
通过
http://localhost:23333/v1访问与 OpenAI 兼容的 API。
配置项
| 环境变量 | 默认值 | 说明 |
|---|---|---|
LMDEPLOY_VERSION |
v0.11.1-cu12.8 |
LMDeploy 镜像版本 |
LMDEPLOY_PORT_OVERRIDE |
23333 |
API 服务器的主机端口 |
LMDEPLOY_MODEL |
internlm/internlm2-chat-1_8b |
HuggingFace 模型 ID 或本地路径 |
HF_TOKEN |
用于访问私有模型的 HuggingFace Token |
健康检查
该配置包含健康检查，用于验证 OpenAI /v1/models 接口是否响应。
GPU 支持
默认情况下，此配置会预留 1 个 NVIDIA GPU。请确保您的主机已安装 NVIDIA Container Toolkit。