黄奕彬

外部精选

Advancing computer use with Ironclad

本文来自外部来源,不是黄奕彬的原创文章。本站提供原文入口,并在采集端生成 AI 结构化摘要、解读与中文翻译(如有),一切以原文为准。

阅读原文(openai.com)
来源
OpenAI News ↗
作者 / 署名
未标注
发布日期
本站收录时间
原文域名
openai.com

以上时间均为北京时间;来源更新时间由来源提供,不代表首次发布时间。

结构化摘要 AI 生成

背景与问题

OpenAI 在发布 GPT-6 Astra(曾展示模型用计算机完成文档准备、网站测试等专业工作)后,下一步目标是让 agent 更高效地使用专业软件解决复杂商业问题:理解企业业务规则、执行多步骤工作流,并验证工作成果符合原始需求。

为此 OpenAI 与最理解这些工作流的少数软件公司直接合作,将具有挑战性、高价值的任务转化为训练与评估模型的研究问题。首个合作伙伴是 AI 合同管理领域的 Ironclad。

方法或内容

OpenAI 与 Ironclad 团队共同开发了要求 agent 配置协议、审批流程和可复用法律条款的任务。Ironclad 员工及 OpenAI 内部使用 Ironclad 的人员帮助识别了横跨法务、商务、采购的 11 项任务,如设置保密协议、创建采购审批流程、按请求方所选司法辖区更新可复用法律条款。

每项任务按复杂度对照 8 至 50 条标准评估。Ironclad 提供其产品的托管软件环境供模型练习;研究人员围绕代表性工作流开发合成训练任务,并用强化学习让模型通过练习与反馈改进。GPT-6 Astra 是首个在 Ironclad 任务上训练的前沿模型。

关键发现 / 结果

研究评估中,GPT-6 Astra 平均分比 GPT-5.6 Sol 高 32%:55.0% 对 41.6%(Astra 用 Max reasoning、Sol 用 High reasoning,均为各自得分最高的设置);每次尝试估算时间从 Sol 的 37.0 分钟降至 Astra 的 19.2 分钟,低 48%。

开发 Astra 过程中的一个内部模型在这些任务上达到 63.7%,OpenAI 计划把进一步提升带入未来模型。示例对比:Astra 约 20 分钟满足约 94% 的任务标准,Sol 约 32 分钟满足约 85%。原文估计有经验用户每项任务平均需 30-40 分钟。生产部署情况、价格等原文未说明。

结论与意义

作者认为,由熟知工作的人选任务、细化评估标准、提供练习环境,三者结合能确保模型在客户最重要的真实任务上改进。合同流程须在处理例外的同时保住业务规则;agent 中途丢失某条规则会限制软件公司可放心委托的范围,因此人类监督仍然重要,完整合同平台也不可少。

OpenAI 邀请少数软件公司合作,对方需提供:具体任务示例(要求 agent 做什么、失败证据、成功判定标准)、深知业务的人员、安全测试环境、可安全用于研究的数据。适用边界限于研究评估场景。

AI 解读 AI 生成

方法:按「时空变量」分析(时间 / 空间 / 变量,严格区分包含、相关与因果),对象包括原文作者、署名人员与关键技术及其实际原理;结论用「元反空」(元思考、反思考、空思考、综合)整理。

时间:何时发生,现在是否仍成立

来源日期为 2026-10-06,训练、评估与模型对比均发生在该日期之前。所有数据为发布时点的基准测试快照;内部模型的 63.7% 被明确表述为未来模型的目标而非已交付能力。生产环境表现、后续版本数据、上线时间原文未说明,这些主张现在是否仍成立无法仅凭原文判断。

空间:谁的环境 / 场景

适用于 OpenAI 前沿模型(GPT-6 Astra 与 GPT-5.6 Sol)在研究评估设置下、于 Ironclad 提供的托管产品环境中执行法务、商务、采购类合同工作流的场景;推理设置分别为 Astra 的 Max 和 Sol 的 High。是否适用于其他软件产品、其他行业或终端客户的生产环境,原文未说明。

变量:实际改变了什么

相对 GPT-5.6 Sol 的基准变化:平均分 41.6% 升至 55.0%(相对高 32%);每次尝试估算时间 37.0 分钟降至 19.2 分钟(低 48%)。训练侧新增:以 Ironclad 任务为基础的合成训练任务与强化学习。评估侧新增:11 项研究任务、每项 8-50 条评判标准。价格、产品结构、API 或发布节奏的变更原文未说明。

区分:包含 ≠ 相关 ≠ 因果

有明确对比数据的部分是基准评测结果:同一 11 项任务、各自最佳推理设置下 Astra 优于 Sol。但'在 Ironclad 任务上训练'与'分数提升'之间的因果链由 OpenAI 叙述给出,原文未附消融实验证据,严格说因果性不确定。

以下仅为包含或相关关系:11 项任务包含法务、商务、采购三类;每项评估包含 8-50 条标准;'Ironclad 的专长起到关键作用'为定性表述无量化支撑。'人类监督仍然重要'是从失败模式(agent 中途丢失规则)推出的立场性论证,非实验数据结论。

对象:作者/署名与关键技术原理

作者/署名:结构化作者字段为空(未标注),正文以'我们'(OpenAI 团队)自述,具体作者不可考,不做猜测。

关键技术按原文:GPT-6 Astra,首个在 Ironclad 任务上训练的前沿模型;computer-use agent,须在软件操作全程保持业务规则在视野内,例如配置超过支出阈值的财务审批并验证阈值上下的请求走对路径,且完成后的流程须在设计覆盖的各类情形下都能运转。

训练方法:围绕代表性工作流构建合成训练任务,在 Ironclad 托管环境中用强化学习通过练习与反馈改进。评估方法:按任务复杂度逐条对照 8-50 条标准,判定模型哪些部分做对、哪里不足。

元反空综合结论

元——这条内容本质在回答'如何让 agent 可靠地代替人操作专业软件、完成受业务规则约束的多步骤工作',其路径是把真实企业任务转化为可训练、可评估的研究问题。反——最可能有边界或失效的主张:

  1. 55.0% 与 19.2 分钟是 11 项研究任务上的基准数字,非生产环境数据;
  2. '高 32%/低 48%'为相对值,绝对提升为 13.4 个百分点与 17.8 分钟,且依赖各自最佳推理设置的对比方式;
  3. 63.7% 的内部模型未发布;
  4. 向合同以外领域的泛化未验证;
  5. 训练与提升间的因果未附消融证据。

空——去掉宣传叙事后剩下的必要事实:与 Ironclad 的合作、11 项任务及 8-50 条标准、合成任务加强化学习的训练方式、Astra 对 Sol 的具体基准数字、以及向更多软件公司发出的带明确准入条件的合作邀请。

综合结论:这是一份有具体基准数字与可描述评估设计的阶段性研究进展报告,可信度来自数字的明确性,但结论应严格限定在'研究评估、Ironclad 场景、特定推理设置'之内;原文自身也承认人类监督与完整合同平台仍是必要前提,这构成其适用边界的自我声明。

中文译文 AI 生成

当我们推出 GPT‑6 Astra 时,我们展示了我们的模型在使用计算机完成专业工作方面已经达到了怎样的水平——从准备文档到测试网站。我们的下一个目标是让 agent 更有能力、更高效地使用专业软件来解决复杂的业务问题。我们正在探索如何训练模型去理解公司的业务规则、执行多步骤工作流,并验证其工作是否满足最初的要求。

为了加速这项研究,我们正在与少数最了解这些工作流的软件公司直接合作。我们共同识别具有挑战性、高价值的任务,并将它们转化为用于训练和评估我们模型的研究问题,最终使我们的模型在现实业务应用中更有能力、更有用。

我们的第一个合作伙伴是 Ironclad,一家 AI 合同领域的领导者。通过与 Ironclad 团队紧密合作,我们开发了要求 agent 配置协议、审批和可复用法律条款的任务,并在这些复杂工作流上展示了进展。Ironclad 的专业知识对于定义“成功”的标准,以及将真实客户需求直接引入前沿模型开发,发挥了重要作用。我们感谢他们的合作,并很高兴分享我们共同取得的成果。

GPT‑6 Astra 是我们第一个基于 Ironclad 任务训练的前沿模型。在我们的研究评估中,其平均得分比 GPT‑5.6 Sol 高 32%,而每次尝试的估计耗时降低了 48%。1

将合同工作流转化为训练任务

设想一个法务运营团队在为软件采购建立流程。超过一定金额的采购可能需要财务部门审批,某些请求可能需要安全部门审查,非标准条款可能需要法务部门审查。建立流程的人必须把这份简短的清单转化为一张申请表单、文档模板、审批规则,以及最终协议的记录。

执行同样工作的 AI agent 必须在操作软件的整个过程中始终关注这些要求。例如,它必须配置超过支出阈值的财务审批,并检查高于和低于阈值的请求是否走上了正确的路径。仅把各个步骤做对是不够的:完成的流程必须在其被设计要处理的各类情形中都能正常运作。

Ironclad 的员工以及在 OpenAI 使用 Ironclad 的人帮助我们的研究人员识别了横跨法务、商务和采购工作的 11 项任务。这些任务包括搭建保密协议、创建采购审批流程,以及更新一条可复用的法律条款使其反映请求者所选的司法辖区。我们估计,一名有经验的用户平均每项任务大约需要 30 到 40 分钟。

我们根据每项任务的复杂程度,用 8 到 50 条标准对其进行了评估。这让我们能看到模型哪些部分做对了、哪些地方存在不足。Ironclad 还提供了其产品的托管软件环境,供模型练习这些任务。我们的研究人员围绕具有代表性的工作流开发了合成训练任务2,并使用强化学习帮助模型通过练习和反馈来改进。

这种组合——与熟悉这项工作的人共同挑选的任务、详细的标准,以及供模型练习的环境——确保我们正在对客户最重要的现实任务进行改进。

Astra 的表现如何

我们对比了 Astra 和 GPT‑5.6 Sol:Astra 使用 Max reasoning,Sol 使用 High reasoning,即各自得分最高的设置。

在 11 项研究任务上,Astra 的平均得分为 55.0%,而 GPT‑5.6 Sol 为 41.6%;每次尝试的估计平均耗时从 Sol 的 37.0 分钟降至 Astra 的 19.2 分钟。

3 一个在 Astra 开发中使用的内部模型在这些任务上取得了更高的 63.7%,我们的目标是将这些进一步的提升带到未来的模型中。

Astra 在每次尝试使用更少模拟时间的情况下满足了更多任务要求。下面两段视频展示了两个模型如何处理同一项研究任务。Astra(第一段)在估计 20 分钟内满足了约 94% 的任务标准;GPT‑5.6 Sol(第二段)在估计 32 分钟内满足了约 85%。

GPT‑6 Astra 在估计 20 分钟内满足了约 94% 的任务标准。

GPT‑5.6 Sol 在估计 32 分钟内满足了约 85% 的任务标准。

这次合作对 Ironclad 意味着什么

Ironclad 在这项工作中的角色反映了一个其客户非常熟悉的挑战:合同流程必须既能处理例外情况,又能保留企业所依赖的规则。如果一个 agent 在任务进行到一半时丢失了对其中某条规则的追踪,就会限制软件公司能放心地让它去做的事情。

这凸显了为什么在 agent 越来越擅长复杂合同任务的同时,人工监督仍然重要,以及为什么一个完整的合同平台仍然不可或缺。与我们的研究人员合作为 Ironclad 提供了一种途径,可以把这些问题带入底层模型的开发中,让我们能够共同研究它们。

随着模型能力的提升,Ironclad 有机会在更多自身产品中使用它们。对于法务和业务团队而言,这可能意味着 AI 承担更多复杂合同工作中的投入,同时保留这些团队所依赖的管控措施。

与我们携手推进面向复杂专业工作的 AI

我们正在邀请少数软件公司与我们的研究和工程团队直接合作,攻克当今 agent 仍无法可靠完成的重要专业任务。如果你的团队有这样的任务,我们希望看到一个具体例子:你要求 agent 做什么、它在哪里失败的证据,以及你如何判断一个成功的结果。

合作伙伴还应能够提供深入了解这项工作的人员、用于测试的安全环境,以及可安全用于研究的数据。这为我们调查失败原因、衡量模型是否改进提供了起点。

展开原文提取正文(采集端自动提取,可能有缺失)

When we introduced GPT‑6 Astra, we demonstrated how far our models have come in using computers for professional work, from preparing documents to testing websites. Our next goal is to make agents more capable and efficient at using specialized software to solve complex business problems. We’re exploring how to train models to understand a company’s business rules, execute multi-step workflows, and verify that their work meets the original requirements.To accelerate this research, we’re partnering directly with a small number of software companies that understand these workflows best. Together, we’re identifying challenging, high-value tasks and turning them into research problems for training and evaluating our models, ultimately making our models more capable and useful in real-world business applications.Our first partner is Ironclad, a leader in AI contracting. Working closely with Ironclad’s team, we’ve developed tasks that require agents to configure agreements, approvals, and reusable legal terms, and demonstrated progress on these complex workflows. Ironclad’s expertise has been instrumental in defining what success looks like and bringing real customer needs directly into frontier model development. We’re grateful for their partnership and excited to share what we’ve accomplished together.GPT‑6 Astra is our first frontier model trained on Ironclad tasks. On our research evaluation, its average score was 32% higher than GPT‑5.6 Sol’s, while estimated time per attempt was 48% lower.1Turning contracting workflows into training tasksConsider a legal operations team setting up a process for buying software. Finance may need to approve purchases above a certain amount, Security may need to review certain requests, and Legal may need to review nonstandard terms. The person setting up the process has to turn that short list into an intake form, document templates, approval rules, and a record of the final agreement.An AI agent doing the same work has to keep those requirements in view as it moves through the software. For example, it must configure Finance approval above the spending threshold and check that requests above and below it follow the right paths. Getting individual steps right is not enough: the finished process must work across the situations it was designed to handle.Ironclad employees and people who use Ironclad at OpenAI helped our researchers identify 11 tasks across legal, commercial, and procurement work. These included tasks like setting up nondisclosure agreements, creating procurement approval processes, and updating a reusable legal clause so that it reflects the jurisdiction a requester selects. We estimate that this work would take an experienced user about 30 to 40 minutes per task, on average.We evaluated each task against 8 to 50 criteria, depending on its complexity. This let us see which parts a model got right and where it fell short. Ironclad also provided hosted software environments of their product where the models could practice these tasks. Our researchers developed synthetic training tasks2 around representative workflows and used reinforcement learning to help the models improve through practice and feedback. This combination—tasks selected with people who know the work, detailed criteria, and a place for models to practice—ensures we are improving on real-world tasks that are most important to our customers.How Astra performedWe compared Astra and GPT‑5.6 Sol using Max reasoning for Astra and High reasoning for Sol, the settings where each model scored highest. Across the 11 research tasks, Astra’s average score was 55.0%, compared with 41.6% for GPT‑5.6 Sol, while estimated average time per attempt fell from 37.0 minutes for Sol to 19.2 minutes for Astra.3 An internal model used in the development of Astra achieved an even stronger 63.7% on these tasks, and we aim to bring these further gains to future models.Astra met more of the task requirements with less simulated time per attempt. The two clips below show how the models handled the same research task. Astra (first) met about 94% of the task criteria in an estimated 20 minutes; GPT‑5.6 Sol (second) met about 85% in an estimated 32 minutes.GPT‑6 Astra met about 94% of the task criteria in an estimated 20 minutes.GPT‑5.6 Sol met about 85% of the task criteria in an estimated 32 minutes.What this collaboration means for IroncladIronclad’s role in this work reflects a challenge its customers know well: a contracting process must handle exceptions while preserving the rules a business depends on. If an agent loses track of one of those rules halfway through a task, that limits what a software company can confidently ask it to do. This underscores why human oversight still matters as agents get better at complex contracting tasks, and why a full contracting platform remains essential. Working with our researchers gives Ironclad a way to bring these problems into the development of the underlying model, where we can study them together.As models become more capable, Ironclad has an opportunity to use them in more of its own products. For legal and business teams, that could mean AI taking on more of the effort involved in complex contracting while preserving the controls those teams rely on.Work with us to advance AI for complex professional workWe’re inviting a small number of software companies to work directly with our research and engineering teams on important professional tasks that today’s agents still can’t reliably complete. If your team has one, we’d like to see a concrete example: what you’re asking the agent to do, evidence of where it fails, and how you would judge a successful result. Partners should also be able to bring people who know the work deeply, a secure environment for testing, and data that can be safely used for research. This gives us a starting point for investigating the failure and measuring whether the model improves.

原文入口

阅读原文(openai.com)

原文将在新窗口打开。收录时间不是内容更新时间;正文、译文与解读的版权归原作者/来源所有,本站仅作个人阅读辅助并保留原文入口;页面时间均为北京时间。

作者/署名来自原文结构化字段(Atom/RSS/HTML meta/JSON-LD;GitHub release 显示的是发布者账号),未经模型补充。

了解来源批准与收录规则