模型

顶级 models 部分声明了您的 Compose 应用程序所使用的 AI 模型。这些模型通常作为 OCI 工件拉取，由模型运行器执行，并作为 API 暴露，您的服务容器可以消费这些 API。

服务只有在 services 顶级元素中的 models 属性 明确授权时，才能访问模型。

示例

示例 1

services:
  app:
    image: app
    models:
      - ai_model


models:
  ai_model:
    model: ai/model

在这个基本示例中：

• app 服务使用 ai_model。
• ai_model 被定义为 OCI 工件（ai/model），由模型运行器拉取并提供服务。
• Docker Compose 将连接信息（例如 AI_MODEL_URL）注入到容器中。

示例 2

services:
  app:
    image: app
    models:
      my_model:
        endpoint_var: MODEL_URL

models:
  my_model:
    model: ai/model
    context_size: 1024
    runtime_flags: 
      - "--a-flag"
      - "--another-flag=42"

在这个高级设置中：

• 服务 app 使用长格式语法引用 my_model。
• Compose 将模型运行器的 URL 作为环境变量 MODEL_URL 注入。

属性

• model（必需）：模型的 OCI 工件标识符。Compose 通过模型运行器拉取并运行此标识符。
• context_size：定义模型的最大令牌上下文大小。
• runtime_flags：模型启动时传递给推理引擎的原始命令行标志列表。

额外资源

有关使用 model 的更多示例和信息，请参阅 在 Compose 中使用 AI 模型