让任务用上合适的模型,并看清调用和费用
配置执行引擎与模型服务,测试模型,查看调用、费用和预算,并设置任务并行度与时限。
员工说“让AI帮我做这件事”时,平台需要同时解决两件事:用什么程序执行任务,以及向哪一个AI模型提问。本章说明这两类设置怎样配合,也说明如何判断模型故障、核对消耗和控制预算。
入口集中在左侧“模型与用量”:执行引擎、模型服务、模型调用、用量与费用。首次接入时,按“登记模型服务→添加模型→连接测试→在执行引擎中添加模型→查看实际调用”的顺序操作。
先分清执行引擎、模型服务和模型
| 名称 | 它负责什么 | 为什么要单独管理 |
|---|---|---|
| 执行引擎 | 组织一次任务中的思考、工具使用、文件操作和输出。当前界面列出Hive Pi和OpenCode。 | 同一个模型可以交给不同的执行引擎使用;引擎是否安装、启用,取决于部署。 |
| 模型服务 | 提供模型接口的上游服务,包含名称、API地址和API Key。API Key是访问该服务的凭据。 | 同一套地址和凭据通常能访问多个模型,集中维护可以避免每个模型重复填写。 |
| 模型 | 服务中的一个具体选择,包含上游模型标识、容量、超时、图片能力和思考等级等参数。 | 同一服务下的模型能力、价格和响应速度可能不同。 |
| 可用模型 | 管理员已在某个执行引擎中开放给员工选择的模型。 | 登记到目录不等于已经开放;平台在开放时测试当前配置。 |
| 默认模型 | 员工新建会话时使用的默认选择。 | 可以改变新会话的起点,而不替已有会话改变选择。 |
| 路由版本 | 平台为一套生效的模型连接配置保存的版本记录。 | 任务固定使用提交时的版本,便于核对当时究竟用了哪个服务和模型。 |
例如,企业购买了一家模型服务商的接口,登记为“企业模型服务”,再在其中添加“通用模型”和“复杂推理模型”。管理员可以把两个模型都开放给Hive Pi,并把通用模型设为默认。员工仍可在允许的范围内选择另一个模型。
1.先看执行引擎能不能用
打开“执行引擎”。每个卡片显示引擎名称、可用或未启用状态、支持的能力,以及已开放模型。
图6-1:先确认引擎状态,再看该引擎有没有默认模型。
“取消任务”“会话恢复”“流式输出”“用量上报”表示引擎声明支持相应能力。流式输出是指结果逐步出现,不必等到整次回答完成。
“未启用”表示当前部署没有启用该引擎。这里不能安装或启用执行引擎,需要由负责部署的人处理。在未启用的引擎上继续添加模型不能使引擎恢复可用。
如果显示“未配置默认模型,新模型请求会返回路由不可用”,说明还没有为此引擎建立可用的默认选择。不要把“模型服务已有模型”当作已经完成接入。
2.登记模型服务
操作前准备服务商提供的接口地址、API Key,以及有权限调用的模型标识。当前连接测试使用兼容的/v1/chat/completions接口;“API Base URL”填写其前面的基础地址。例如接口为https://api.example.com/v1/chat/completions时,基础地址为https://api.example.com,不要重复添加/v1。具体地址以服务商实际提供的入口为准。
- 打开“模型服务”。已有服务时点击“新增模型服务”;空页面点击“开始接入模型服务”。
- 填写“Model Provider显示名称”。这是管理员和调用记录中用来识别服务的名称,建议能说明服务来源。
- 填写“API Base URL”和“API Key”,点击“创建”。
- 检查新服务卡片是否出现,地址是否正确,以及访问凭据修订是否显示。
图6-2:服务卡片管理地址和凭据,模型行管理具体模型。展开箭头可查看单次请求超时、连接测试预算字段和价格。
保存后页面不回显API Key。看到“API Key已安全保存”不等于已经通过连接测试,还需要添加具体模型并测试。当前页面没有删除模型服务或删除模型目录条目的按钮;停用某个模型的员工选择入口,应在执行引擎中“移除”。
模型接口会收到任务提供给它的内容。接入前应确认该服务和凭据是本环境允许使用的对象;不要为了测试把真实凭据填到临时或未知地址。
3.添加模型,并正确填写能力参数
在服务卡片点击“添加模型”,填写参数后点击“添加”。添加成功只代表进入模型目录,还需要到执行引擎中开放。
图6-3:添加和编辑模型使用相同的主要参数。参数应来自服务商能力说明及实际验证,不应靠模型名称猜测。
| 字段 | 怎样理解和填写 | 填错会怎样 |
|---|---|---|
| 显示名称 | 员工和管理员看到的名称,可以使用易懂的中文。 | 名称含糊会使员工难以选择,但它不能替代真正的上游模型标识。 |
| 上游模型标识 | 服务商要求在请求中传入的模型名称,保持准确。 | 服务商可能拒绝请求,或者调用到错误的模型。 |
| 请求超时(毫秒) | 等待单次模型请求的最长时间,页面允许1000至900000毫秒。1000毫秒为1秒。 | 太短容易中断正常回答;太长会让故障请求等待更久。 |
| 支持图片输入 | 只有确认上游模型支持图片时才开启。 | 错误开启会让含图片的请求失败;普通连接测试不能证明看图能力。 |
| 连接测试预算字段 | 按上游要求选择max_tokens或max_completion_tokens,仅用于连接测试。 |
即使模型标识和Key正确,测试也可能因参数不兼容失败。 |
| 上下文窗口(Token) | 模型一次能处理的总容量。Token是模型处理文字等内容的计量单位,并不等同于汉字数量。 | 填得比实际能力大,长会话容易被上游拒绝;过小会过早触发压缩。 |
| 最大输出(Token) | 一次输出允许使用的最大容量。 | 过大可能超过上游限制;过小可能截断长回答。 |
| 高级压缩设置 | 会话内容接近容量上限时,平台要整理较早内容,为后续任务留空间。“压缩预留”用于留出输出和整理余量,“近期保留”用于保留较新的原始内容。 | 不合理的组合会被拒绝,或影响长会话的可用输入。一般保持留空,由平台自动计算。 |
高级压缩设置留空时自动计算;手工设置时,压缩预留至少覆盖最大输出并留1024Token余量,近期保留最多为可用输入的一半。
思考等级为什么还要填写“上游参数值”
“低”“高”等等级是员工看到的选择,上游服务实际接受的值可能不同。管理员需要把界面等级映射到该服务接受的参数值。
- 在“开放等级”中点击要允许员工使用的档位。
- 在对应的“上游参数值”填写服务商接受的实际值。
- 在“默认等级”选择一个已开放的档位,或保留“不指定(由上游决定)”。
- 如果模型不接受思考等级参数,保持所有等级关闭;聊天界面将隐藏选择入口,也不会发送该参数。
“关闭”也需要填写明确的关闭值,例如上游实际支持的none。不要把“关闭”等同于“不指定”;前者要求上游关闭相应能力,后者把决定留给上游。发现配置错误提示时先修正,添加或保存按钮才会恢复可用。
两个时间限制不要混淆
模型的“请求超时”限制一次模型请求;执行引擎页的“默认任务时限”限制整项任务,包含排队、模型调用和工具执行。一项任务可能调用模型多次,所以调高模型请求超时并不会自动调高整项任务时限。
4.连接测试能证明什么
在模型行点击“连接测试”,等待提示,再核对“当前配置测试”及测试时间。
平台会向当前服务发送一个简短的真实模型请求,检查能否取得有效响应。上游可能对此产生用量或费用。测试成功说明这一套地址、Key、模型及测试参数在当时能够响应;它不能证明图片、所有思考等级、长上下文或复杂任务都可用,也不能保证之后持续健康。
| 测试结果 | 先检查什么 |
|---|---|
| 测试成功 | 核对测试时间,再按下一节开放模型。 |
| 模型服务拒绝了请求 | 检查Key权限、模型标识、服务地址及测试预算字段。 |
| 模型服务请求过于频繁 | 检查服务商限流或账户额度,等待后再测;连续点击不能解除限流。 |
| 模型服务响应超时 | 检查上游耗时及网络,确认请求超时是否合理。 |
| 未能取得模型服务的有效响应 | 检查地址、网络和上游是否可达。 |
| 模型服务返回的内容无效 | 检查该入口是否兼容当前接口和响应格式。 |
页面“近期运行情况”可能显示“其他配置测试”。这表示记录对应的是另一套配置,不能拿它证明当前配置已经通过。当前配置修改后,应以新的当前配置测试和实际调用为准。
5.把模型开放给员工,并调整默认选择
添加可用模型
- 打开“执行引擎”,找到需要开放的引擎。
- 在“选择要添加的模型”中选择模型,标签同时显示服务名称,避免选错同名模型。
- 点击“添加模型”。平台会测试当前配置,通过后才添加。
- 确认模型出现在该引擎“可用模型”列表。第一个添加的模型会成为默认模型。
没有候选时,可从下拉框中的“前往模型服务”补齐目录。候选目录读取失败时先“重新加载”;不要按旧列表反复提交。
改默认模型
在已开放的模型旁点击“设为默认”,阅读影响后点击“确认设为默认模型”。确认后核对“默认”标签。
这个操作只改变之后新建会话的默认选择。已有会话继续保留自己的模型选择,已提交任务不会执行到一半换模型。
移除可用模型
在模型旁点击“移除”,阅读影响后确认。模型将从该引擎的可选列表消失,目录条目仍保留。
已提交任务继续使用原模型;原来选用此模型的会话,下次提交前需要重新选择。如果还有其他可用模型,必须先把另一个模型设为默认,才能移除原默认模型。移除唯一模型会使该引擎没有默认模型,新的模型请求会失败。
6.修改地址、Key或模型配置
| 要改什么 | 入口和步骤 | 影响与成功判断 |
|---|---|---|
| 服务显示名称、API地址 | 服务卡片“编辑服务”→修改→“保存”。正在使用的地址变更会要求填写原因。 | 修改正在使用的地址时,平台先测试已开放模型;全部成功才保存并生成新路由版本。 |
| API Key | 服务卡片“替换Key”→填写新Key→“测试并保存”;有已开放模型时填写原因并确认。 | 先用已开放模型测试新Key。测试失败不保存,当前Key和路由保持不变;成功后Key修订更新,仍不回显明文。 |
| 模型标识、超时、能力、容量、思考等级等 | 模型行“编辑”→修改→“保存”。 | 对已开放模型的重要参数变更先测试,通过后更新配置及路由版本;从下一次任务生效,已提交任务保持原版本。 |
如果保存提示“配置已被修改”“版本冲突”或“结果未确认”,先核对刷新后的配置。编辑模型窗口在不确定结果时会保留修改,并提供“核对当前配置”;只有确认当前版本后再决定是否重新编辑和保存。不要因为网络错误就断言“肯定没保存”。
服务商Key本身已失效时,平台保留旧配置并不能让旧Key恢复有效,需要先解决凭据或上游问题。替换真实凭据、切换真实服务地址会影响后续模型请求,应按所在环境的授权范围执行。
7.设置价格,让费用有依据
平台不会自动读取服务商账单。管理员填写的人民币单价与模型上报用量共同决定“已知费用”。
- 在“模型服务”找到模型,点击“设置价格”。
- 填写输入价、输出价,单位都是“人民币元/百万Token”。
- 填写输入缓存价。缓存输入是上游复用的输入部分,可能使用不同单价;留空表示未知,填
0表示已确认免费。 - 点击“建立新价格版本”,再展开模型行核对价格和版本。
每次保存会建立新的价格版本,只用于之后开始的调用。历史调用不会按新价格重算;此前缺少价格的历史费用也不会因为现在补价而自动补算。
8.用模型调用记录判断哪里出了问题
打开“模型调用”。顶部展示近一小时的全平台统计,下方是可筛选的调用记录。这两部分的时间范围和用途不同。
图6-4:顶部全平台统计不随下方筛选变化。明细默认最近24小时,最多查询31天。
先查一项具体任务
- 如果已知员工和发生时间,选择时间范围、模型、员工或调用结果,点击“查询”。
- 如果已从任务管理拿到任务标识,点击“更多筛选”,粘贴到“任务标识”后查询。也可按响应或日志中的“请求标识”查询。
- 找到记录后点击“详情”。一项任务可能有多次模型调用,需结合时间查看。
- 需要回到默认条件时点击“重置”;想保留筛选只更新结果时点击“刷新明细”。
图6-5:用请求、调用和任务标识关联问题,核对结果、HTTP状态、耗时、上报用量和费用。
“调用耗时”是这次请求花的时间。“首次输出”是流式响应中首次收到有效文本、思考或工具调用的时间,非流式或未收到有效输出时显示“—”。P95表示95%的样本不超过该数值,少量样本时不宜据此判断长期性能。
上游错误率只按成功和上游失败计算;员工取消、网关重启和本地超时不计入。顶部“按模型、路由版本与结果查看分类统计”可进一步核对是不是某个模型版本集中失败。
怎样读失败结果
| 结果 | 它说明什么 | 下一步 |
|---|---|---|
| 模型服务拒绝了请求、返回内容无效 | 上游拒绝请求,或虽然收到成功HTTP状态但内容格式不能使用。 | 检查模型配置、权限和接口兼容性。 |
| 请求过于频繁 | 通常对应上游HTTP 429。 | 核对上游额度和请求频率。 |
| 未能连接、响应超时、响应中断 | 连接或响应过程没有正常完成。 | 核对服务地址、网络、上游状态和超时;不要只看是否配置了Key。 |
| 请求方已取消 | 请求方主动取消。 | 到任务管理核对取消和时间。 |
| 模型网关重启、模型调用超过时限 | 平台请求过程被重启或平台时限结束。 | 结合平台运行和请求标识排查。 |
这里仅记录实际发起的模型调用。鉴权、路由不可用或预算等前置拒绝可能没有调用记录,要结合任务终止原因,并由运维人员按请求标识查看模型网关日志。界面不展示提示词、回答正文或API Key。
9.看懂用量与费用,不把“未知”当作零
打开“用量与费用”,选择月份。统计按北京时间的自然月计算,只含已结束的调用;正在进行的调用尚未进入月度汇总。
图6-6:先看费用未知的调用数,再看已知费用总额;未知次数可能让当前金额低于实际消耗。
- 在“费用与用量明细”选择“按模型”“按员工”“按部门”“按执行引擎”或“全平台”。
- 查看已知费用、调用次数、已报告Token和费用未知次数。
- 展开明细行,查看输入、输出、缓存和未知原因。
- 切换到“计费依据”,核对该月份实际使用的价格版本。
输入Token已包含缓存输入,不能再把缓存数量加一次。已知缓存费用只按已报告缓存用量和对应价格计算。
费用未知的常见原因包括缺少模型价格、用量不完整、没有报告用量、用量无效、缺少缓存用量或缓存价格。同一次调用可能有多个原因,原因次数不能直接相加。如果所有调用费用都未知,页面显示“暂无法计算”,含义是没有足够数据计算,不是免费。
此页适合平台内部核对和预算管理,实际服务商账单仍需按服务商记录核对。调整统计月份或汇总维度不会修改预算。
10.设置月度预算,选择提醒还是阻止新调用
预算用于表达“这套平台或这位员工每个自然月预计能消耗多少钱”。当前支持全平台预算和单个员工预算,不支持直接给部门建立预算;按部门查看费用只是统计方式。
图6-7:预算范围独立于费用统计维度。打开硬限额前先理解并发和未知费用的限制。
- 切换到“预算管理”,点击“新增月度预算”,或点击已有行的“编辑预算”。
- 新增时选择“全平台”或“单个员工”;选择员工时补选对应人员。每个范围只能有一份当前预算。
- 填写大于0的“每月预算(人民币元)”。
- 按需要决定是否开启“达到100%后阻止新模型调用”。关闭时仅提醒,开启时达到预算后拒绝后续新模型调用。
- 点击“保存预算”,核对预算使用和“超额处理”列。
保存立即影响本月后续新调用,并沿用到后续月份;即使上方正在查看历史月份,修改的也是当前预算设置。已有预算不能通过编辑改变范围或员工,当前页面也没有删除预算按钮。
全平台硬限额和员工硬限额同时适用,任一个达到上限都可能拒绝新调用。它依据已知费用判断,不预留本次请求可能产生的费用,也不会倒退取消已经发出的请求;并发在途请求和费用未知的调用仍可能使实际费用超过预算。因此,它不能保证账单严格停在预算金额以内。
页面保留每份预算在所选月份首次达到80%和100%时的提醒事实。后来调高预算不会删除这些历史记录。看到提醒时先核对未知费用,再决定调整额度、关闭硬限额或减少使用;不要只为消除提示随意改变预算。
11.设置每位员工的任务并行度和默认时限
这组配置位于“执行引擎”页面底部的“任务设置”,不是“任务管理”或用户详情。
- 填写“每员工并行度”,范围为1至16的整数。
- 填写“默认任务时限”,范围为1至120的整数分钟。
- 点击“保存设置”,确认保存成功。
并行度是同一员工同时运行任务的数量,Hive Pi和OpenCode共用这项上限。提高后平台会检查等待任务;降低时保留已经运行的任务。这个数字不是宿主机或模型服务容量的保证,过高可能增加资源争用及上游限流。
默认时限从排队开始计时,只影响新提交任务。开放API Key可以另设时限,详见开放API章节。如果提示“设置已保存,但排队任务唤醒失败”,先重新读取设置并到任务管理核对队列;不要把该提示当作数值一定没有保存。