ConvoAI & RTE 2025 · 2025.10.31

重塑实时体验的
第三纪元

对话式 AI:Agent 交互核心引擎
场合ConvoAI & RTE 2025
日期2025.10.31
讲者姚光华 Colin
形式主会场主旨演讲
全场主线 · THE ARC02
这场在讲什么

一个断代判断,和支撑它的四件事。

01断代实时互动走过两个纪元:QoS 管跑得稳,QoE 管用着爽。2025 起是第三个——它换的不是速度,是「为谁设计」
02主角第三纪元的主角叫对话式 AI;它由 Agent AI、音视频算法、实时互动三块拼成
03引擎从 2025.3.6 的 GA,到 v1.0–v2.0 的 9 次迭代,走到「生产级可用」
04全栈Agent 的一生要经过选型、原型、迭代、发布——今天把中间缺的那一块补上
05实践今年大会前的那通电话,是我们自己派 Agent 打的
纪元这个词不是修辞。
它的判据只有一条:衡量体验的那把尺子,换没换。
ACT 01
THIRD ERA
为什么是第三纪元
先把前两个纪元讲清楚,第三个才立得住。这一幕只回答一个问题:凭什么说它是新的一代,而不是上一代的延长线。
01 断代 02 主角 03 引擎 04 全栈 05 应用 06 实践
产业变迁 · TEN YEARS04
实时互动产业变迁的十年

十年换了九个场景,尺子只换过一次。

2015 狼人杀 2016 直播 2017 连麦 2018 在线教育 2020 直播电商 2021 互动播客 在线 K 歌 2022 元宇宙 AIGC 2023 生成式 AI 2025 对话式 AI 第一纪元 QoS 第二纪元 QoE 第三纪元 QoI
场景层出不穷,但十年里衡量体验的标准只换过一次。
2025 是第二次换。
第一纪元 · QOS05
2014—2019 · 第一纪元

跑得够稳。

产品形态
RTC
Real-Time Communication
承诺方式
SLA
服务水平协议 —— 用技术指标向客户承诺服务质量
关键词
无损传输
高保真
丢包、延迟、抖动是这一代的全部敌人
这一代解决的是:能不能听到。
衡量对象是链路,不是人。
第二纪元 · QOE06
2020—2024 · 第二纪元

用着很爽。

产品形态
RTE
Real-Time Engagement
承诺方式
XLA
体验等级协议 —— 承诺的对象第一次从链路换成了终端用户
关键词
用户体验
前后处理算法
端到端延迟、流畅度、卡顿率
这一代解决的是:听得清不清。
尺子第一次从机器身上,挪到了人身上。
三代并置 · THREE ERAS07
断代的判据

三行字,就能看出这是不是新的一代。

2014 — 2019 QoS 时代 产品形态 RTC 承诺方式 SLA 关键词 无损传输、高保真 跑得够稳 2020 — 2024 QoE 时代 产品形态 RTE 承诺方式 XLA 关键词 用户体验、前后处理算法 用着很爽 2025 — QoI 时代 产品形态 Convo AI 承诺方式 ILA 关键词 跨模态交互 为人类和 Agent 设计
第三纪元 · QOI08
2025— · 第三纪元

前两代的服务对象都是人。这一代不是。

前两个纪元
为人类设计
进来的是音频,出去的还是音频。链路负责保真,算法负责好听。整条链路上没有一个环节需要「理解」内容。
第三个纪元
为人类和 Agent 设计
进来的是音频,出去的可能是文本、视频或一个动作。跨模态交互成立的前提,是链路中间有人听懂了。
同一条判据下,声网的身份也换过三次:RTC 服务商 → RTE 服务商 → AI RTE 引擎服务商。
这一代解决的是:听不听得懂,听不听得心。
MONEY QUOTE · 01
跑得够稳, 用着很爽, 然后呢?
前两代把信号做到了极致。第三代要做的是理解。
MONEY QUOTE · 02
纪元的分界线, 不在速度,在为谁设计。
这也是声网从 RTC 服务商,走到 AI RTE 引擎服务商的那条线。
ACT 02
DEFINITION
第三纪元的主角
这个词从哪来、它由几块拼成、为什么它是基础设施而不是应用。
01 断代 02 主角 03 引擎 04 全栈 05 应用 06 实践
词源 · FIRST MENTION12
对话式 AI 首次被提及 @ 2024 年 1 月 25 日

这个纪元有一个明确的起点。

AGENT AI: SURVEYING THE HORIZONS OF MULTIMODAL INTERACTION
Conversation Agents
In creating conversational robots, LLMs can contribute to natural, context-sensitive interactions with humans. These models process and generate responses that mimic human conversation, allowing robots to participate in meaningful dialogues.
LLMs play a significant role in the estimation of conceptual and emotional attributes of utterances — contributing to the naturalness and efficacy of human-robot communication.
2024 年 1 月 25 日,「Conversation Agents」第一次作为一个独立章节出现在论文里。
出处:Agent AI: Surveying the Horizons of Multimodal Interaction
从感知到智能 · FOUR LAYERS13
Agent AI:从感知到智能

四层,从处理信号一路长到处理意图。

04顶层智能层高级认知与学习能力TOP-TIER
03任务处理层面向目标的行动与处理能力TASK
02模态融合层针对感知后的内容进行统一的多模态理解和透传FUSION
01模态感知层基础的视觉与音频处理和转换PERCEPTION
前两个纪元的全部工作,只到第 01 层。
第三纪元,是把上面三层也变成基础设施的事。
三块拼图 · WHAT IT IS14
对话式 AI 与实时互动

一个应用中心,三块支撑。

应用中心 对话式 AI AGENT AI · 关键技术与智能核心 大脑:认知与决策 理解上下文、推理意图、规划流程、调用工具 音视频算法 · 核心能力驱动 眼睛、耳朵、嘴巴 语音识别、合成,声纹、情感识别,数字人 实时互动 · 新基建 超低延时的路 超低延时、高可靠性、实时数据传输
对话式 AI 引擎不是链条上的一环,
它是这条链条能实时运转的原因。
MONEY QUOTE · 03
对话式 AI 引擎, 是第三纪元的基础设施。
所有 Agent 都在它之上构建。
ACT 03
THE ENGINE
从 GA 到生产级可用
2025 年 3 月 6 日到今天,七个月,九次迭代。这一幕讲的是它怎么从「能说会道」走到「敢上生产」。
01 断代 02 主角 03 引擎 04 全栈 05 应用 06 实践
里程碑 · MILESTONES17
对话式 AI 里程碑

从一篇论文到一个 GA 产品,十四个月。

2024.01.25 Agent AI 论文 对话式 AI 首次被提及 2024.05.13 GPT-4o 「听、说、看」多模态交互 2024.10 Realtime API 全球首个 · 国内首个 2025.03.06 引擎 1.0 GA 多、快、好、省
论文提出概念是 2024 年 1 月,产品 GA 是 2025 年 3 月。
这一代的节奏,和上一代完全不是一个量级。
GA · MORE FAST GOOD CHEAP18
2025.3.6 · 对话式 AI 引擎 GA

多、快、好、省。

模型都能选
语种多、音色多
响应快 650ms
打断快 340ms
情商高、真拟人
无惧噪声弱网
开发省心
一分钟不到一毛钱
这四个字是 GA 那天的承诺。
接下来七个月做的,是把承诺变成可上线的东西。
九次迭代 · PRODUCTION READY19
2025.3 — 2025.10 · 对话式 AI 引擎 v1.0 – v2.0

九次迭代,换来一个词。

V1.0 · 2025.03 能说会道 V1.7 · 2025.07 有形象、能专注、会观察 V2.0 · 2025.10 生产级可用 Production-Ready 9 次产品迭代 · 7 个月 从「能演示」到「敢上线」,中间隔的是这九次。
引擎内核 · THE KERNEL20
引擎内核:对话式 AI 的核心能力解析

感知、融合、任务处理,全都压在 RTE 上。

CONVO AI AGENTS 服务类智能体 · 陪伴类智能体 CONVO AI ENGINE 对话式 AI 引擎 模态感知 ASR · VAD · TTS · 声纹 模态融合 跨模态统一理解与透传 任务处理 工具 / 知识库 / API 调用 RTE 实时互动底座 · SD-RTN™
MONEY QUOTE · 04
从能说会道, 到生产级可用。
Production-Ready 不是一个形容词,是一条可以被验收的线。
ACT 04
FULL STACK
补上中间那一块
一个 Agent 的一生要走完四步:选型、原型、迭代、发布。我们先有了头和尾,今天补中间。
01 断代 02 主角 03 引擎 04 全栈 05 应用 06 实践
生命周期 · THE GAP23
对话式 AI Agent 产品生命周期

头尾都有产品,中间那段一直是空的。

选型 原型 迭代 发布 怎么选 对话式 AI 模型评测平台 随时 GO 对话式 AI 引擎 如何解决 测试、搭建、发布 —— 这一段一直靠客户自己拼
怎么选 · BENCHMARK24
对话式 AI 模型评测平台 v1.0 → v3.0

从只看快,到又看好、又看省。

V1.0 · 2025.07.01 最快 TTLW、TTFT、TTFB V2.0 最好 WER for ASR & TTS AP for TTS 快不是全部,质量决定用户体验 V3.0 · 2025.10.31 最省 Agent 成本计算器 消费一目了然 物美还要价廉 开销全透明 贯穿三代 · 最多:品牌最多、模型最多
平台升级 · THE NUMBERS25
2025.7.1 – 2025.10.31 · 全新升级

四个月,把榜单做成了行业基础设施。

模型
89
个模型
厂商
28
个主流厂商
地区
11
个地区
语言
10
种语言
更新
小时级
数据更新
给了选择权,就必须给判断依据。
这两件事只能一起交付。
MONEY QUOTE · 05
快不是全部, 质量决定用户体验。
榜单如果只排延迟,会把整个行业带到沟里去。
如何解决 · STUDIO27
2025.10.31 · 对话式 AI Studio

中间那一块,今天补上。

上手
2 行代码,15 分钟
从 Console 到任意模型对你开口
搭建
可视化编排
把 ASR / LLM / TTS 的编排从代码里搬到画布上
发布
生产级 Agent 模板
提供多个场景的生产级 Agent 模板,一键发布
评测平台解决「怎么选」,Studio 解决「如何解决」,引擎负责「随时 GO」。
三块拼齐,Agent 的一生才有人管到底。
全栈发布 · THE RELEASE28
2025.10.31 · 对话式 AI 产品全栈发布

三个版本号,同一天落地。

ENGINE
对话式 AI Engine 2.0
生产级可用
BENCHMARK
模型评测平台 3.0
最多、最快、最好、最省
STUDIO
对话式 AI Studio 1.0
可视化编排 + 生产级模板
配套
引擎 Demo
配套
云市场专区
配套
开发套件
配套
发展白皮书
ACT 05
AGENTS
对话式智能体的应用
引擎讲完了,看看它上面正在长出什么。
01 断代 02 主角 03 引擎 04 全栈 05 应用 06 实践
为什么是对话 · WHY VOICE30
实时性 · 创造性 · 严谨性

四条理由,四类需求。

01更像人交互方式自然简单,人机交互更像人 - 人交流 —— 降低互动门槛
02不占手不依赖屏幕,可以解放双手,多线程作业 —— 提升办公、娱乐体验
03更快语音信息传递速度更快,语音输入比文字输入更便捷 —— 提升沟通、记录效率
04带情绪包含音色、语气、韵律和情感等声学信息,交流更加自然生动 —— 满足社交、情感需求
正在集中爆发的场景:AI 同声传译、AI 视频面试、AI 电话客服、AI 口语陪练、AI 情感陪聊、AI 玩具 / 宠物、AI 个人助理、AI 数字分身 / 虚拟主播、AI 心理疗愈。
两类智能体 · TWO KINDS31
应用场景抽象分类

场景再多,最后只分成两类。

SERVICE AGENTS
服务类智能体
电话客服、同声传译、视频面试、个人助理。它被衡量的是任务完成率和单次成本——严谨性优先。
COMPANION AGENTS
陪伴类智能体
情感陪聊、口语陪练、AI 玩具 / 宠物、数字分身。它被衡量的是像不像人和愿不愿意回来——创造性优先。
两类对引擎的要求几乎相反,
但它们同时要求一件事:实时性。
ACT 06
THE PROOF
今年这通电话
讲了一整场第三纪元,最后用一件我们自己干的事来收:今年大会前给你打的那通电话,不是人打的。
01 断代 02 主角 03 引擎 04 全栈 05 应用 06 实践
老规矩 · THE CALL33
每年 RTE 大会前的一通电话

大家接到了吗?

RTC 2015 — RTE 2024
300通 / 人 / 天
十年来,这通电话都是市场同学一个一个打出来的。这是一个人一天的极限。
RTE 2025
市场同学给产品经理布置的一个作业
今年他们说:你们不是做对话式 AI 的吗,这活你们自己来。
于是这场演讲的最后一部分,
变成了一次我们自己给自己出的验收。
拆题 · THE BRIEF34
先把作业拆成四个问题

四个问题,四种输入。

问题 / QUESTION 输入信息 / INPUT 给谁打电话? 联系人信息 打电话干嘛? 任务描述 · Prompt 什么时候打完? 执行计划 · 脚本 结果是什么? 汇总报告 · 数据分析 把一句「你们自己打」翻译成四个可执行的输入——这一步是产品经理的活。
搭起来 · THE PIPELINE35
准备

一条从号码到看板的链路。

准备 电话号码 联系人信息 执行 对话式智能体 外呼执行脚本 30 个同时呼叫 回收 数据分析 通话记录与结果标注 交付 可视化看板 全程没有人工拨号,产品经理做的只是把这四段接起来。
结果 · HUMAN VS AGENT36
人类 vs 对话式智能体

同一件事,两个量级。

人类 · 一个人一天 300 通 对话式智能体 · 一个 Agent 一天 960 通 3.2 倍提效 30 个智能体同时呼叫 96 倍提效
3.2 倍是单体效率,96 倍是并发带来的。
后者才是 Agent 这个形态真正的变量。
MONEY QUOTE · 06
一个人一天 300 通, 一个 Agent 一天 960 通。
第三纪元最直白的证明,不在 PPT 里,在你今年接到的那通电话里。
带走 · TAKEAWAYS38
今天能带走的三条

如果只记住三句话。

01
先判断你在第几纪元
QoS 承诺 SLA,QoE 承诺 XLA,QoI 承诺 ILA。承诺的对象换了,产品的目标函数就换了。
02
对话式 AI 是基础设施
Agent AI 是大脑、音视频算法是感官、实时互动是路。Agent 长在它上面,不是它的替代。
03
全栈才叫产品
怎么选(评测平台)、如何解决(Studio)、随时 GO(引擎)——缺一段,Agent 就上不了线。
今天开始能做的一件事:
把你手上那个 Agent 的四步走一遍,看卡在哪一段。
谢谢

重塑实时体验的
第三纪元

对话式 AI:Agent 交互核心引擎
场合ConvoAI & RTE 2025
日期2025.10.31
相关档案演讲档案 06
说明依原稿 43 页重构,已剔除空页与演示页