模型管理
先决条件
- 功能菜单：需具备 AI 工作台 / 安全运营 / 模型管理 功能菜单权限。
- 操作权限：添加、编辑、删除模型需 AI 工作台读写权限；只读权限仅支持查看列表。
- 网络连通：添加模型时平台会对调用地址进行连通性校验；请确保平台可访问模型服务地址。
概述
模型管理支持接入各类大模型服务，为 Sage AI 对话与智能体推理提供基础能力。平台通过模型网关对外统一暴露 OpenAI 兼容接口，上游异构协议由网关完成转换。支持三种模型类型：
| 类型 | 用途 |
|---|---|
| LLM | 大语言模型，用于对话、推理、自主决策智能体 |
| 向量模型 | 知识库向量化与语义检索 |
| 重排序模型 | 检索结果重排序，提升知识问答质量 |
您可将私有化部署或云端兼容 OpenAI 接口的模型接入平台，在故障诊断、智能问答、智能体编排等场景灵活选用。
价值
- 统一模型入口：集中管理全部接入模型，Sage AI、创作空间、工作流等场景共享同一套模型资源。
- 灵活选型：按场景分别配置 LLM、向量、重排序模型，组合提升诊断与问答质量。
- 私有化友好：兼容 OpenAI API，便于接入本地或专网模型，数据不出域。
- 连通性校验：保存时自动检测地址与密钥可用性，降低运行时故障风险。
- 自定义请求头：在高级配置中添加多组 HTTP Header，转发至上游时自动携带（鉴权、租户标识、渠道标记等）。悬停提示：用于填写调用模型接口所需自定义请求头，部分厂商模型接口需要额外携带鉴权、渠道标识等自定义 Header 参数，支持多组键值对添加。
- Auto：Sage AI、自动化问题描述、智能体 / Skill 调试等输入区的模型下拉置顶提供 Auto（默认）。新会话默认 Auto；各会话独立记住上次手动选择的模型。
使用场景
接入私有化大语言模型
- 适用对象：平台管理员、AI 基础设施负责人。
- 典型任务：接入企业内 Qwen、DeepSeek 等 OpenAI 兼容 LLM，供 Sage AI 与智能体使用。
- 推荐做法：
- 进入 安全运营 > 模型管理，点击「添加」；
- 选择模型类型 LLM，填写名称、模型 ID、调用地址、密钥等；
- 设置上下文长度与输入长度限制，保存并完成连通性校验。
- 预期结果：Sage AI 模型下拉与创作空间智能体编排中可选该模型。
配置向量与重排序模型提升知识问答
- 适用对象：知识库管理员、智能体创作者。
- 典型任务：为运维知识库配置专用向量模型与重排序模型，提高检索准确率。
- 推荐做法：分别添加向量模型、重排序模型，在知识库或智能体相关配置中 选用（以界面能力为准）。
- 预期结果：知识增强问答与 RAG 链路质量提升。
操作概览
-
查看模型列表
- AI 工作台 > 安全运营 > 模型管理。
- 按模型类型、名称、模型 ID 筛选。
-
添加模型
- 点击「添加」，填写表单：
- 模型类型（必填）：LLM / 向量模型 / 重排序模型；
- 模型名称（必填）：选用时的显示名；
- 模型 ID（必填）：后端调用唯一标识，保存后不可修改；
- 调用地址（必填）：模型服务 base URL，保存后不可修改；
- 密钥（选填）：API Key，保存后加密显示；
- 模型上下文长度（LLM 必填）、输入长度限制（必填）。
- 点击「保存」，系统自动校验连通性。
- 点击「添加」，填写表单：
-
编辑模型
- 仅可修改密钥、输入长度限制、模型上下文长度；其他字段保存后不可变更。
-
删除模型
- 选中记录删除并二次确认；已被智能体或 Sage AI 引用的模型删除后可能导致相关功能不可用。
注意事项
- 模型 ID 与调用地址保存后不可修改；如需变更请删除后重新添加。
- 删除被引用的模型会影响相关工作流、智能体及 Sage AI 对话，操作前请评估影响。
- 若环境未部署 AI 相关组件，模型页面可能无法正常使用，请联系平台管理员。
- 请确保接入模型符合以下最低规格要求：遵循OpenAI协议，上下文长度推荐配置256K以上，最低不得低于128K，输入长度支持64K，采用MOE架构，且参数量大于200B。若低于此配置，模型响应质量和运行稳定性可能难以满足预期效果。
- 模型是创作空间发布与 Sage AI 对话的前置依赖，建议管理者优先完成接入，详见 安全运营 · 使用指南。
延伸阅读
- 安全运营 · 使用指南
- 创作空间：智能体编排中的推理模型选择
- Sage AI：对话中的模型选择
- 资源市场 · 知识库