在一个客服流程里,最耗时的未必是写出一大段回答。系统先要判断用户是在查账单、改地址,还是投诉订单;然后决定调用哪一个工具,是否转给人工。这样的判断很短,却可能在每次交互里重复数十次。10月22日,OpenAI宣布Decisions API结束公开测试、正式可用,瞄准的正是这类答案范围事先确定的微型决策。它不是另一个自由写作聊天模型,而是让开发者给定问题、候选答案和上下文,再返回概率、选项或评分。

官方称,以GPT-6 Luna为基础的该接口,在适用任务上可比同模型经Responses API处理快至多十倍。这里的关键词是“适用任务”和“至多”:二者并不是同一道开放式问题的通用性能排名。Decisions API牺牲了长篇自由生成,换来结构化输出和较短的决策路径。产品更新还加入GPT-Live原生集成、重复上下文缓存、美国与欧盟的推理驻留选项,并把单次请求的问题上限提高至400个。对于想让代理实时响应的团队,这些变化比一条笼统的模型跑分更具体。

从生成长答案转向受约束的判断

OpenAI给出三类结果:predicate估计某条件成立的概率,choice从开发者预设选项中选择,score按分级标准返回加权评分。举个订单处理例子,choice可以在“自动退款”“要求补充资料”“人工复核”之间选;predicate可以估计上传的商品图片是否存在破损;score可以评估投诉紧急程度。三者都要求业务方事先写清问题和答案边界。若候选项本身遗漏了真实世界的复杂情况,接口输出再快也无法补上这个业务设计错误。

这种分工也解释了为什么它对实时代理有吸引力。一个语音助手在用户说话时不断收到转写片段,可能需要及时决定是否追问、是否打断,或把任务交给另一个模块。如果每一次都等待长文本生成,端到端体验会被大量小延迟拖慢。官方示例把Decisions接到GPT-Live的转写事件,依据用户新说的话选取虚拟形象的反应。那是接口的应用示例,不意味着所有语音产品都已经自动获得同样的速度或质量。

OpenAI列举了Box、Datadog、Ramp、Sierra和Speak等客户案例。它们的测试场景差异很大:有的是文档路由,有的是命令风险评分,有的是实时对话中的下一步动作。某个客户报告的五倍速度、另一个客户报告的四十倍尾延迟改善,都应理解为各自的有限测试口径,不能横向拼成一个普遍承诺。尤其在带有人工复核和安全兜底的业务里,真正要算的是从输入到正确动作完成的全链路耗时,而不是单次接口返回的毫秒数。

该接口也允许传入原生JSON、文本和图片。对开发者而言,JSON不是好看的输出格式而已:它减少了让模型先写自然语言、再由程序解析的步骤。图片能力则让质检或分拣场景有了更直接的输入。不过,视觉判断依然会受拍摄角度、光照和样本分布影响。若照片模糊却被系统当成确定证据,提速反而可能让错误更快地进入后续流程。合理的接入方式是先划定低风险、答案封闭的任务,再设置置信度阈值和人工复核条件。

更低单价不等于更低业务成本

公告列出的价格是每百万输入token 0.10美元,缓存输入每百万token 0.01美元;该接口没有输出token费用。乍看之下,报价适合高频分类和路由。但预算仍取决于一次决策要携带多少上下文、是否缓存得住、错误决策造成多少人工返工,以及系统为了取得足够信息需要追加几轮调用。若每次都把一整段客户历史塞进输入,名义单价再低也可能抵不过上下文膨胀。价格和地区可用性也应以实际账户的最新控制台为准。

开发者还需要把“正确”拆开衡量。一个分类器在总体准确率上看似稳定,可能总在少数高价值或高风险类别上出错;平均延迟漂亮,峰值时的p95延迟仍可能让直播语音卡顿。评估时应同时记录错选、漏选、拒绝或转人工比例,并对不同语言、图像质量和异常输入分组观察。即便是概率输出,也不能直接当成经业务校准的真实风险概率使用,除非经过目标样本集上的校准与复测。

对企业来说,数据控制也是采购问题。OpenAI称可提供美国和欧盟的区域处理,符合条件的客户还可申请零数据保留,但两项都不是默认覆盖全球、覆盖所有账户。谁能访问日志、是否要把个人信息送进分类问题、保留多久,仍须按部署和合同逐项确认。若把风险命令、财务交易或客户投诉交给自动决策模块,业务团队还要留下可追溯的规则版本和人工撤销通道。

Decisions API的真正变化,是把原来被埋在大模型长回答里的“下一步该做什么”拆成独立、可计量的组件。它已经正式可用,但一项接口正式可用不等于任何业务流程已经被验证。先找一个高频、低风险、边界清楚的判断点,用自有样本对照现有规则或模型,才能知道这次提速会不会变成真实的用户体验改进。

来源:OpenAI 2026年10月22日公告 https://openai.com/index/decisions-api/ ;OpenAI开发文档 https://developers.openai.com/api/docs/guides/decisions