外部精选
Build more natural voice experiences with GPT‑Live‑1 in the API
本文来自外部来源,不是黄奕彬的原创文章。本站提供原文入口,并在采集端生成 AI 结构化摘要、解读与中文翻译(如有),一切以原文为准。
阅读原文(openai.com)结构化摘要 AI 生成
背景与问题
背景与问题:OpenAI 面向开发者推出语音模型 GPT-Live-1 的 API 版本,解决传统语音代理的痛点:将 STT、推理模型、TTS 串联,每次交接都增加延迟,且容易丢失节奏、上下文与自然对话韵律,开发者需自行协调打断、停顿、改向等阶段。目标是让开发者围绕用户、工作流与目标构建更自然的语音应用与业务流程。
方法或内容
方法或内容:
- 宣布
GPT-Live-1在 API 上线:单一模型同时监听与说话(全双工),可将深度推理与工具调用委托给后端模型(如GPT-6 Astra、Luna、Terra或第三方模型)。 - 提供能力:打断处理;通过 system prompt 定制语气、语速与对话风格;静默与背景噪声处理;长会话可靠性;电话(telephony)场景的全双工语音代理部署。
- 原生提供 ASR 转写与响应文本,支持字母数字理解、关键词偏置(keyword biasing),并原生支持轮次检测(turn detection)。
- 扩充语音选项(覆盖口音、方言、语言),并介绍企业级方案 OpenAI Presence。
关键发现 / 结果
关键发现或结果:
- Speak 早期评估:学习者获得更多思考时间,打断较此前轮替(turn-based)系统减少近 80%。
- Full Duplex Bench 较
GPT-Realtime-2.1提升 30 个百分点,轮替延迟与交互行为大幅改善。 - 搭配
GPT-6 Astra(medium 推理)在 Tau3 排名第一;评估覆盖航空、零售、电信客服以及含知识检索与账户工具的银行场景。 - 定价:前端语音层 $0.05/分钟。
- 各基准的具体 Pass@1 分值与评测样本细节原文未说明。
结论与意义
结论与意义:GPT-Live-1 用单一模型简化语音层、降低语音延迟,让开发者按任务匹配推理深度、速度与成本。适用边界:它是前端语音层,深度推理需后端模型配合;虽非轮替模型但原生支持轮次检测以便继续按显式轮次构建;自定义语音需联系销售,Presence 需联系 OpenAI 客户总监。
AI 解读 AI 生成
方法:按「时空变量」分析(时间 / 空间 / 变量,严格区分包含、相关与因果),对象包括原文作者、署名人员与关键技术及其实际原理;结论用「元反空」(元思考、反思考、空思考、综合)整理。
时间:何时发生,现在是否仍成立
时间:来源日期为 2026年9月10日(北京时间),文章宣布该模型当日即在 API 可用。内容为发布时点信息:基准数据、定价($0.05/分钟)以及“未来数月继续扩充语音与语言”的计划均可能随时间变化,此后是否仍成立原文未说明。
空间:谁的环境 / 场景
空间:适用于通过 OpenAI API 构建语音应用与业务流程的开发者。场景包括:语音代理、电话场景(如餐厅预订、客服)、企业级部署(OpenAI Presence,可回答问题、使用公司系统、执行已批准动作并升级人工)。
使用约束:需 OpenAI 账户;自定义语音需联系销售了解资格与申请流程;在线演示有时间限制,需同意 OpenAI 条款并知悉隐私政策。
变量:实际改变了什么
变量:
- 架构:由 STT–LLM–TTS 串联改为单一全双ex模型 + 后端推理委托。
- 相对
GPT-Realtime-2.1:Full Duplex Bench 提升 30 个百分点。 - 相对此前轮替系统:Speak 场景打断减少近 80%。
- 新增:system prompt 控制语气/风格、电话支持、原生 ASR 转写与响应文本、字母数字理解、关键词偏置、原生轮次检测、更广的语音选择(口音、方言、语言)。
- 价格:前端语音层 $0.05/分钟。
区分:包含 ≠ 相关 ≠ 因果
区分:
- 包含/相关:
GPT-Live-1先在 ChatGPT 中引入;Codex 与 ChatGPT Work 是委托能力的例证(相关);搭配Luna/Astra/Terra是开发者可选组合,非必然绑定。 - 因果(原文主张):单模型同时处理输入与输出音频,避免了串联架构的延迟与脆弱交接;委托后端使对话在后台执行任务时得以继续。
- 不确定:Speak 的 80% 与基准提升为厂商或客户的早期评估,缺少第三方验证,因果关系未经独立检验。
对象:作者/署名与关键技术原理
对象:署名方面,结构化作者字段为空,原文未标注作者。关键技术:GPT-Live-1 全双工语音模型——按原文描述:能同时听与说;在单一模型内对输入与输出音频统一推理以改善打断处理;将深度推理与工具调用委托给后端文本模型;原生输出 ASR 转写与响应文本。涉及的后端模型:GPT-6 Astra、Luna、Terra。
相关产品:Codex、ChatGPT Work、OpenAI Presence;对比对象:GPT-Realtime-2.1。
元反空综合结论
元反空综合:
- 元:本质在解决“语音交互的自然度与架构复杂度”问题——用单一全双工模型替代 STT–LLM–TTS 链并把深度推理外包,核心卖点是打断处理、噪声/静默应对、长会话可靠性与搭配灵活性。
- 反:最可能失效或有边界的部分——基准分数(Full Duplex Bench、Tau3)为 OpenAI 自评;Speak 的 80% 是单一客户的“早期评估”;定价与语音/语言覆盖会随时间调整;实际表现依赖后端模型搭配,非该模型单独决定。
- 空:去掉宣传叙事后的必要事实——
GPT-Live-1已在 API 上线,前端语音层定价 $0.05/分钟;具备全双ex、打断处理、system prompt 风格控制、电话支持、原生转写与轮次检测等能力;企业可经 Presence 使用。 - 综合:这是一篇产品发布公告,能力描述具体,但性能与客户效果均为厂商或客户提供的数据,宜视为方向性证据而非独立验证结论。
中文译文 AI 生成
我们正在 API 中推出 GPT‑Live‑1,为开发者提供一个强大、自然的语音模型,用于构建支持语音的应用和业务流程。GPT‑Live‑1 最初在 ChatGPT 中引入,能够同时聆听和说话,并且如 Codex 和 ChatGPT Work(在新窗口中打开)中所见,可以将更深层的推理和行动委托给它所搭配的模型和工具。
在 GPT‑Live‑1 的 API 版本中,我们专注于让开发者能够围绕其用户、工作流和目标来引导和定制语音体验的新能力。
GPT‑Live‑1 的一项核心优势——流畅的打断处理——已经带来业务影响:在早期评估中,Speak 发现 GPT‑Live‑1 让学习者在语言导师回应之前有更多思考时间,与之前的轮次制系统相比,打断减少了近 80%。
GPT‑Live‑1 在 API 中的主要优势:
- 打断处理:通过一个同时推理传入和传出音频的单一模型来改进打断处理,避免链式 STT–LLM–TTS 架构的延迟和脆弱交接。
- 推理与工具调用委托:GPT‑Live‑1 可以将推理和工具调用委托给后端文本模型(如 GPT‑6 Astra)或第三方模型。
- 语气、节奏与风格:让开发者通过 system prompt 塑造智能体的语气、节奏和对话风格。
- 静默上下文管理与背景噪声:更好地处理背景噪声和静默,而不会打断对话或将每一步都大声说出来。
- 长会话可靠性:在长时间交互中改进上下文保持和对话质量。
- 电话支持:支持为电话通话部署全双工语音智能体,从餐厅预订到客户支持。
试用 GPT-Live-1
开启一个会话并自然地说话。打断、大笑、改变主意——在家中试用,或在咖啡馆、城市街道等嘈杂场所试用。
看看它能做什么
- 自然地插话。请求帮助,然后在回应中途打断,以改变问题或添加细节。
- 随身携带。在户外行走或存在日常背景噪声时尝试对话,看看它如何始终跟上你。
- 增添趣味。大笑、迟疑、使用简短的应和,或简短地与身边的人交谈——然后继续对话。
此演示有时间限制。使用它即表示你同意 OpenAI 的使用条款并确认我们的隐私政策。
简化你的语音智能体架构并降低语音延迟
传统语音智能体将语音转文本、推理模型和文本转语音拼接在一起。每次交接都会增加延迟,并带来更多丢失时机、上下文或对话自然节奏的机会。开发者往往要负责协调这些阶段,包括当有人打断、停顿或改变方向时会发生什么。
GPT‑Live‑1 在单一模型中处理聆听和说话,从而简化语音层。它可以在打断和应和发生时即时响应,同时将更深入的推理委托给后端。这使得对话得以继续,而工作在后台进行。
开发者选择对话背后的模型、工具和智能体框架。例如,他们可以将 GPT‑Live‑1 与 Luna 之类的模型搭配,用于日程安排或订单更新等大批量任务,并使用 Astra 之类的模型处理需要推理的复杂客户问题。这种灵活性让开发者能够为每个任务匹配相应的推理深度、速度和成本。
GPT‑Live‑1 原生提供 ASR 转写文本和响应文本。它还具备强大的字母数字理解能力,并支持关键词偏置。尽管 GPT‑Live‑1 不是轮次制模型,但它原生支持轮次检测,因此开发者仍可以围绕显式的轮次边界进行构建。
衡量全双工优势
在我们的各项评估中,GPT‑Live‑1 相比 GPT‑Realtime‑2.1 将 Full Duplex Bench 性能提升了 30 个百分点,在轮替延迟和交互行为方面有大幅提升。搭配中等推理力度的 GPT‑6 Astra 时,它还在 Tau3 上排名第一,该基准衡量前沿语音智能体在端到端任务上的智能水平。
评估航空、零售和电信领域的口语客服任务。Pass@1 衡量任务成功率;
标题给予每个领域同等权重。
- GPT Live 后端:Astra(中等)。评估带知识检索与账户工具的语音银行支持。Pass@1 指在 97 项
banking_knowledge任务中成功完成的比例。 - GPT Live 后端:Astra(中等)。评估停顿处理、对话轮替、打断与应答语。测试对背景语音、对他人的说话、听众应答语以及打断的反应。测量用户结束一轮发言后智能体多快开始回复。测试从包含自然停顿、犹豫与自我修正的语音请求中进行的工具使用,Pass@1 对工具调用序列评分。
- GPT Live 后端:Terra(低)。评估针对包含停顿、犹豫与自我修正的工具使用类请求的语音回答,并对回答与参考意图的吻合程度评分。
- GPT Live 后端:Terra(低)。
客户怎么说
第 1 条(共 4 条)
全新语音选项
开发者需要既契合产品、又让使用者听起来自然的语音。借助 GPT‑Live‑1,我们将从一小组实时语音扩展为覆盖多种口音、方言和语言的更广泛选择,让开发者在助手的声音上有更多可选余地。
试听新语音
我们将在未来几个月继续扩充语音选项和可用语言。
定价与可用性
GPT‑Live‑1 现已在 API 中可用(在新窗口中打开),前端语音层的价格为每分钟 $0.05。将它与适合你产品的后端模型和 agent harness 搭配,进而构建能随所需工作量扩展的语音体验。
将 GPT-Live-1 连接到 Codex。本节选展示了应用如何将对话上下文传给 Codex,并将其回答返回给 GPT-Live-1。连接设置与委派处理已省略。
如需定制语音访问权限,请联系销售了解资格要求与申请流程。
在 GPT‑Live‑1 之上构建语音工作流的另一种方式是使用 OpenAI Presence,它用该模型驱动实时语音交互。Presence 帮助企业部署可信的 AI 智能体,它们能回答问题、解决问题、使用公司系统、执行已批准的操作,并在需要时转接人工。请联系你的 OpenAI 客户总监以了解更多。
展开原文提取正文(采集端自动提取,可能有缺失)
We’re launching GPT‑Live‑1 in the API, giving developers a powerful, natural voice model for building voice-enabled apps and business workflows. First introduced in ChatGPT, GPT‑Live‑1 is capable of listening and speaking at the same time, and, as seen with Codex and ChatGPT Work(opens in a new window), can delegate deeper reasoning and actions to the models and tools it is paired with.For the API release of GPT‑Live‑1, we’ve focused on new capabilities that let developers steer and customize voice experiences around their users, workflows, and goals. A core GPT‑Live‑1 strength, smooth interruption handling, is already delivering business impact: in early evaluations, Speak found that GPT‑Live‑1 gave learners more time to think before the language tutor responded, cutting interruptions by almost 80% versus previous turn-based systems.Key strengths of GPT‑Live‑1 in the API:Interruption handling: Improves interruption handling via a single model that reasons over incoming and outgoing audio together, avoiding the latency and brittle handoffs of chained STT–LLM–TTS architectures.Reasoning & tool calling delegation: GPT‑Live‑1 can delegate reasoning and tool calls to a backend text model like GPT‑6 Astra or a third-party model.Tone, pace, and style: Lets developers shape an agent’s tone, pace, and conversational style through the system prompt.Silent context management & background noise: Better handles background noise and silence without interrupting the conversation or narrating every step out loud.Long-session reliability: Improves context retention and conversational quality across extended interactions.Telephony support: Enables deployment of full-duplex voice agents for phone calls, from restaurant reservations to customer support.Try GPT-Live-1Start a session and speak naturally. Interrupt, laugh, change your mind - try it at home or in a loud space like a coffee shop or city street.See what it can doTalk over it—naturally. Ask for help, then interrupt mid-response to change the question or add detail.Take it with you. Try a conversation while walking outside or with everyday background noise, and see how it stays with you.Make it playful. Laugh, hesitate, use short acknowledgments, or briefly talk to someone nearby—then continue the conversation.This demo is time-limited. By using it, you agree to OpenAI's Terms and acknowledge our Privacy Policy.Simplify your voice-agent architecture and reduce voice latencyTraditional voice agents stitch together speech-to-text, a reasoning model, and text-to-speech. Each handoff adds latency and creates more opportunities to lose timing, context, or the natural rhythm of a conversation. Developers are often the ones left coordinating those stages, including what happens when someone interrupts, pauses, or changes direction.GPT‑Live‑1 handles listening and speaking in a single model, simplifying the voice layer. It can respond to interruptions and acknowledgements as they happen, while delegating deeper reasoning to the back end. This lets the conversation continue while work happens in the background.Developers choose the models, tools, and agent harness behind the conversation. For example, they might pair GPT‑Live‑1 with a model like Luna for high-volume tasks like scheduling or order updates, and use a model like Astra for complex customer issues that require reasoning. That flexibility lets developers match reasoning depth, speed, and cost to each task.GPT‑Live‑1 natively provides ASR transcripts and response text. It also offers strong alphanumeric understanding and supports keyword biasing. Although GPT‑Live‑1 is not a turn-based model, it natively supports turn detection, so developers can continue to build around explicit turn boundaries.Measuring the full-duplex advantageAcross our evaluations, GPT‑Live‑1 improves Full Duplex Bench performance by 30 percentage points over GPT‑Realtime‑2.1, with large gains in turn-taking latency and interactive behavior. Paired with GPT‑6 Astra at medium reasoning effort, it also ranks #1 on Tau3, which measures frontier voice-agent intelligence on end-to-end tasks.Evaluates spoken customer-service tasks in airline, retail, and telecom domains. Pass@1 measures task success; the headline gives each domain equal weight.* GPT Live backend: Astra (medium).Evaluates spoken banking support with knowledge retrieval and account tools. Pass@1 is the fraction of 97 banking_knowledge tasks completed successfully.* GPT Live backend: Astra (medium).Evaluates pause handling, conversational turn taking, interruptions, and backchannels.Tests reactions to background speech, speech to another person, listener backchannels, and interruptions.Measures how quickly the agent starts its reply after the user finishes a turn.Tests tool use from spoken requests containing natural pauses, hesitations, and self-corrections. Pass@1 scores the tool-call sequence.* GPT Live backend: Terra (low).Evaluates the spoken answer to tool-using requests containing pauses, hesitations, and self-corrections. Scores how well the answer matches the reference intent.* GPT Live backend: Terra (low).What customers are saying1 of 4New voice optionsDevelopers need voices that fit their product and sound natural to the people using it. With GPT‑Live‑1, we’re expanding from a small set of real-time voices to a broader selection across accents, dialects, and languages giving developers more choice in how their assistants sound.Listen to the new voicesWe’ll continue to expand voice options and language availability over the coming months.Pricing & AvailabilityGPT‑Live‑1 is available in the API today(opens in a new window) at $0.05 per minute for the front-end voice layer. Pair it with the backend model and agent harness that fit your product, then build a voice experience that can scale with the work it needs to do.Connecting GPT-Live-1 to Codex. This excerpt shows how an application passes conversation context to Codex and returns its answer to GPT-Live-1. Connection setup and delegation handling are omitted.For custom voice access, contact sales to learn more about eligibility and the request process.Another way to build voice workflows on top of GPT‑Live‑1 is with OpenAI Presence, which uses the model to power real-time voice interactions. Presence helps enterprises deploy trusted AI agents that can answer questions, resolve issues, use company systems, take approved actions, and escalate to people when needed. Reach out to your OpenAI account director to learn more.
原文入口
阅读原文(openai.com)原文将在新窗口打开。收录时间不是内容更新时间;正文、译文与解读的版权归原作者/来源所有,本站仅作个人阅读辅助并保留原文入口;页面时间均为北京时间。
了解来源批准与收录规则