全球产品经理大会 · 2025.08.15

对话式 AI:
Agent 交互核心引擎

重构人机协同体验革命
场合全球产品经理大会
日期2025.08.15
讲者姚光华 Colin
形式声网 AI RTE 产品线负责人
全场主线 · THE ARC02
这场在讲什么

一条线:体验的坐标系,换了第三次。

ACT 01 十年三代 QoS · QoE · MM QoE ACT 02 坐标系换了 为人类和 Agent 设计 ACT 03 时代浪潮 对话式 AI 是什么 ACT 04 交互核心引擎 多 · 快 · 好 · 省 ACT 05 给产品经理 这份工作会消失吗
对话式 AI 不是一个新品类。
它是 Agent 时代的交互核心引擎——就像浏览器之于 Web。
ACT 01
DECADE
实时互动体验的十年
先把坐标系摆出来。这十年,产业换过两次衡量体验的尺子——一次叫 QoS,一次叫 QoE。
01 十年三代 02 坐标系换了 03 时代浪潮 04 交互核心引擎 05 给产品经理
产业变迁 · TEN YEARS04
产业变迁的十年

每两年换一个场景,底下是同一条实时链路。

2015 狼人杀 2016 直播 2017 连麦 2018 在线教育 2020 直播电商 2021 互动播客 在线 K 歌 2022 元宇宙 AIGC 2023 生成式 AI 2025 对话式 AI
场景一直在换,衡量体验的那把尺子只换过两次。
2025 是第三次。
第一代 · QUALITY OF SERVICE05
2014—2019 · QoS 时代

跑得够稳。

产品形态
RTC
Real-Time Communication
产品关键词
高保真还原
无损传输
丢包、延迟、抖动是主要敌人
衡量方式
SLA 时代
服务水平协议:用技术层面的标准衡量服务质量
这一时期,产业聚焦于保障音频、视频、文本数据传输的可靠性,确保数据包的完整性与传输质量。
QoS 回答的是一个工程问题:数据有没有完整地送到。
第二代 · QUALITY OF EXPERIENCE06
2020—2024 · QoE 时代

用得很爽。

产品形态
RTE
Real-Time Engagement
产品关键词
终端用户体验
前后处理算法
端到端延迟、流畅度
标志性事件
2020 年声网推出 XLA
体验等级协议:在技术指标之上,进一步衡量互动感受
XLA 指标包含:登录成功率、SDK Crash 率、音视频卡顿率、端到端延时达标率以及其他场景化体验指标。
QoE 回答的是一个人的问题:他到底爽不爽。
对比一下 · QOS VS QOE07
对比一下

99.99 分和 120 分,追的不是同一件事。

QoS · 同模态无损
99.99接收端逼近 100% 还原发送端内容的追求——符合用户预期的体验
QoE · 超越预期
120超越用户预期的体验,也就是 Ah Ha ——重点转向终端设备上的流畅度、延迟、卡顿率
还原度可以逼近满分,体验却可以超出满分。
这是两把不同的尺子。
MONEY QUOTE · 01
99.99 分是还原, 120 分才是体验。
尺子换了,产品的目标函数就换了。
ACT 02
THE SHIFT
坐标系换了第三次
前两代都在同一个模态里打转:音频进、音频出。第三代第一次允许模态之间互相翻译——这一代叫 MM QoE。
01 十年三代 02 坐标系换了 03 时代浪潮 04 交互核心引擎 05 给产品经理
为谁设计 · RTC RTE AI RTE10
产品为谁的体验设计

RTC → RTE → AI RTE

2014 — 2019 RTC Real-Time Communication 同模态 QoS 2020 — 2024 RTE Real-Time Engagement 同模态 QoE 2025 — 未来 AI RTE AI Real-Time Engagement 关键词:跨模态交互、Conversational AI 多模态 QoE(MM QoE) 体验质量为人设计 为人和 AGENT 设计
MM QoE = 跨模态 / 多模态体验质量。
它要保证的不再是一路信号的保真,而是不同模态之间的实时互操作。
核心矩阵 · IN / FOCUS / OUT11
Multi Modal Quality of Experience 时代

三代的差别,只看进出两端就够了。

时代 / ERA 聚焦 / FOCUS IN OUT 同模态 QoS 高保真还原、无损传输 音频 视频 文本 音频 视频 文本 同模态 QoE 终端用户体验、前后处理算法 音频 视频 文本 音频 视频 文本 多模态 QoE 跨模态交互、对话式 AI 音频 视频 文本 音频 视频 文本 为人类设计 为人类和 Agent 设计
前两代是三种组合,第三代是九种。
承接这九种组合的那一层,就是对话式 AI。
MONEY QUOTE · 02
从为人类设计, 到为人类和 Agent 设计。
这是这十年里,产品定义变化最大的一句话。
ACT 03
THE WAVE
对话式 AI 的时代浪潮
这个词是从哪来的、它到底由几块拼成、它为谁创造了什么价值。
01 十年三代 02 坐标系换了 03 时代浪潮 04 交互核心引擎 05 给产品经理
词源 · FIRST MENTION14
对话式 AI 首次被提及

它不是市场部造的词,是论文里的一个章节名。

AGENT AI: SURVEYING THE HORIZONS OF MULTIMODAL INTERACTION
Conversation Agents
In creating conversational robots, LLMs can contribute to natural, context-sensitive interactions with humans. These models process and generate responses that mimic human conversation, allowing robots to participate in meaningful dialogues.
Additionally, LLMs play a significant role in the estimation of conceptual and emotional attributes of utterances — those attributes facilitate the understanding of human intent and meaningful gesture generation.
在对话机器人的研发中,大语言模型可实现自然且情境感知的人机交互;它对话语的概念特征与情感特征的识别,直接决定人机交互的自然度与有效性。
出处:Agent AI: Surveying the Horizons of Multimodal Interaction
从这一天起,「对话」被正式当成一种可工程化的交互范式。
四层架构 · AGENT AI15
Agent AI:从感知到智能

四层,从看见和听见,一路长到情商。

04顶层智能层高级认知与学习能力,并具备超高情商TOP-TIER
03任务处理层面向目标的行动与处理能力,具备超高智商TASK
02模态融合层针对感知后的内容进行统一的多模态理解和透传FUSION
01模态感知层基础的视觉与音频处理和转换PERCEPTION
这四层不需要每家都自己造。
把它们工程化封装起来的那个东西,就是对话式 AI 引擎。
三块拼图 · WHAT IT IS16
对话式 AI 是什么

一辆车、一套自动驾驶、一条高速公路。

Agent AI · 关键技术与智能核心
大脑:认知与决策
理解上下文、推理用户意图、规划对话流程;维护对话状态、调用工具 / 知识库 / API
音视频算法 · 核心能力驱动
眼睛、耳朵、嘴巴
抽象的感知与表达能力:语音识别、合成,声纹、情感识别,数字人
实时互动 · 新基建
超低延时的路
超低延时、高可靠性、实时数据传输
对话式 AI 是一辆目标明确的豪华智能汽车;Agent AI 是它的 FSD 与中央控制大脑;音视频算法是传感器阵列与交互系统;实时互动 RTE 是高速公路和蜂窝网络。高速公路让前两者的高性能得以充分发挥。
缺哪一块都不成立——这就是为什么它是「引擎」,不是「功能」。
MONEY QUOTE · 03
对话式 AI 不是一个功能, 是 Agent 时代的 交互核心引擎。
就像浏览器之于 Web,操作系统之于设备。
为什么是语音 · WHY VOICE18
对话式 AI:应用场景

四条理由,四类需求。

01更像人交互方式自然简单,人机交互更像人 - 人交流 —— 降低互动门槛
02不占手不依赖屏幕,可以解放双手,多线程作业 —— 提升办公、娱乐体验
03更快语音信息传递速度更快,语音输入比文字输入更便捷 —— 提升沟通、记录效率
04带情绪包含音色、语气、韵律和情感等声学信息,交流更加自然生动 —— 满足社交、情感需求
已经跑出来的场景:AI 同声传译、AI 视频面试、AI 电话客服、AI 口语陪练、AI 情感陪聊、AI 玩具 / 宠物、AI 个人助理、AI 数字分身 / 虚拟主播。
两类智能体 · TWO KINDS19
应用场景的抽象分类

所有对话式智能体,最后只分成两类。

SERVICE AGENTS
服务类智能体
用问题解决换效率跃升。衡量它的是任务完成率、单次成本、能不能接进已有的业务系统。
COMPANION AGENTS
陪伴类智能体
用情感共鸣换停留时长。衡量它的是像不像人、记不记得你、愿不愿意每天回来。
两类对引擎的要求完全不同,
但它们要的是同一件事:一次不用忍受的对话。
关键里程碑 · MILESTONES20
关键里程碑

从 GPT-4o 到今天,只用了十五个月。

2024.05.13 GPT-4o 「听、说、看」多模态交互 2024.10.01 全球首个 Realtime API 2024.10.24 国内首个 Realtime API 2025.03.06 对话式 AI 引擎 1.0 能说会道 2025.07.26 引擎 1.7 有形象、会观察、能专注
从「能说会道」到「有形象、会观察、能专注」,中间只隔了四个月。
ACT 04
THE ENGINE
从 RTE 到对话式 AI
如果对话式 AI 是引擎,那这台引擎的规格书长什么样。四个字:多、快、好、省。
01 十年三代 02 坐标系换了 03 时代浪潮 04 交互核心引擎 05 给产品经理
全栈 · AI RTE STACK22
AI RTE 的分层

对话式 AI 引擎,坐在 Core 和 Platform 中间。

SOLUTIONS 社交娱乐 · 在线教育 · 智能硬件 · 数字化转型 · 直播电商 · 出海 PLATFORM RTE Platform · Conversational AI DeviceKit · Meeting Mins Agent Translation Agent · Graph Designer · Extension Store · Package Manager CONVERSATIONAL AI ENGINE 对话式 AI 引擎 VAD · SAL · ASR · LLM · TTS · Avatar · Vision · Debugger · Benchmark CORE / INFRASTRUCTURE RTE Core · SD-RTN™ · Storage(Dataset)· Serverless GPU Infra for AI API 层:RTE API · Conversational AI API · AI Gateway SDK
引擎内核 · THE KERNEL23
引擎内核:对话式 AI 的核心能力解析

模态感知 → 模态融合 → 落在 RTE 上。

RTE · 实时互动底座 MODAL PERCEPTION 模态感知 听见:ASR · VAD · 声纹 说出:TTS · 音色 · 韵律 MODAL FUSION 模态融合 看见:Vision · Avatar 对齐:跨模态统一理解 CONVERSATIONAL AI 对话编排 打断 · 注意力 · 状态维护 工具 / 知识库 / API 调用
多 · MORE CHOICE24
多:智能多,听 / 说 / 形象都能选

选择权交给开发者。

模型都能选
支持全球几乎所有大模型厂商
只要和 OpenAI 接口协议兼容的模型厂商,今天起,全部原生支持。
语音识别、合成、数字人自由选择和定制
主流供应商任意切换
客户在供应商处定制、克隆等自定义合成和数字人,也能上线。
引擎不替开发者做选择,
它只保证不管选了谁,那场对话都成立。
快 · LATENCY25
快:响应快、打断快

两个中位数,决定了对话像不像话。

超低响应延时
650ms超低延时方案,中、美、欧、东南亚主要城市实测的响应延迟中位数
超低打断延时
340ms任意方案,均可以获得的打断延时中位数
最重的那一档
1s超高智能 + 超强表现力方案,全球主要城市实测响应延迟低至 1s
延时根据不同供应商选择会有浮动。
MONEY QUOTE · 04
由奢入俭难。
用户体验过 650ms 的对话,就再也回不去 2 秒。延迟这件事没有退路。
好 · THE HARD PART27
好:把话筒交出去之前

难的从来不是说话,是知道什么时候闭嘴。

01优雅打断任意模型接入即可做到:全球独家的「嘘」「等等」「闭嘴」对话体验 —— 「更懂你」
02注意力锁定对话人声锁定。模型在和用户对话时注意力应该有选择,需要准确识别谁在和自己讲话 —— 「听谁的」
03抗丢包人模对话场景,除了抗丢包 80% 外,断网 3-5s 依旧流畅对话
这三件事都不提升「智能」,
但少一件,用户就会觉得对面不是活人。
MONEY QUOTE · 05
把话筒交给 Agent。
前提是:它得先学会什么时候不说话。
省 · COST & EFFORT29
省:开发省心,也省钱

2 行代码 + 15 分钟,5 分钟只要 1 毛钱。

开发省心
2 行代码 + 15 分钟
从对话式 AI 引擎 Console 到任意模型对你开口 Say Hi:填 LLM 的 Key & URL、填 TTS 的 Key & URL、点击立即开启体验、复制 View Code、调用 Server API、Debug。
省心更省钱
0.021元 / 分钟 · 对话式 AI 引擎服务费用
0.042元 / 分钟 · 优雅打断处理费用(增值服务)
不是简单的文字游戏——把上手成本和单价同时压到这个量级,
品类才会真的爆发。
怎么选 · BENCHMARK30
AI 模型测评平台(对话式)

模型都能选,那就得有人来测。

SHENGWANG.CN / DUIHUA / BENCHMARK
专为对话式场景定制的实时排行榜
综合最优、速度最快,一目了然。
给了选择权,就得给判断依据。
这两件事必须一起交付。
回到价值 · BACK TO VALUE31
回归用户价值

引擎的所有参数,最后只落到三种价值上。

情感共鸣 情绪价值 问题解决 智能价值 效率跃升 时间价值 对话式 AI CONVERSATIONAL AI
陪伴类主攻情绪价值,服务类主攻智能价值与时间价值。Open AI、Minimax、智谱等领先的大模型公司都在用声网。
ACT 05
PM NOTES
给产品经理说的话
这一幕不讲产品。讲这份工作在这一轮变化里,到底会发生什么。
01 十年三代 02 坐标系换了 03 时代浪潮 04 交互核心引擎 05 给产品经理
一些挑战 · THE HARD TRUTH33
一些挑战

两件让这份工作变难的事。

01
产品技术不确定性
推理结果并非 100% 可控,不再是确定性的 In & Out。
产品迭代早已不符合摩尔定律,从「月更」到「周更」。
02
用户需求进阶
符合预期还是超出预期,如何寻找 Ah Ha Moment。
多模态交互下,需求描述和拆解难度增加。
确定性没有了,摩尔定律也不管用了。
这两条同时成立的时候,旧的产品方法确实会失灵。
一个问题
?
产品经理即将不复存在
IS PRODUCT MANAGEMENT DEAD需求可以被模型拆,原型可以被模型写,文档可以被模型生成。
那还剩什么剩下的是:判断哪一件值得做,以及为什么是现在。
先别急着回答我讲一个 2022 年的小故事。
现场问一句:这里有多少人今年被问过这个问题?
一个小故事 · THE VAD STORY35
一个小故事

2022 年全年的客户需求,抽象出来只有一件事。

2022 · 全年 上百条客户需求 一条条看,全是「这个场景要单独处理」 抽象 产品规划最重要的一件事 人声检测 + 音乐检测 VAD 把上百条需求收敛成一个能力——这一步,模型替不了。
写需求的活会被拿走,
做抽象的活拿不走。
一些祝福 · THE BLESSING36
一些祝福

Product / Design / R&D 的边界,正在被同一件东西溶掉。

Product Design R&D AI 产品经理只是变强了,会一直存在 三种职能同时被 AI 加强,交集变大—— 重叠的部分越多,能一个人推动的事就越多。
MONEY QUOTE · 06
产品经理不会消失, 只是变强了。
被拿走的是执行,留下来的是判断。
带走 · TAKEAWAYS38
今天能带走的三条

如果只记住三句话。

01
先确认你在哪个坐标系
QoS 管稳定,QoE 管爽,MM QoE 管的是跨模态。你的产品被哪把尺子量,决定了你该优化什么。
02
对话式 AI 是引擎,不是功能
Agent AI 是大脑、音视频算法是感官、RTE 是路。缺一块,对话就不成立。
03
把抽象留给自己
写需求的活会被拿走,把上百条需求收敛成一个能力的活拿不走。
今天开始能做的一件事:
拿你手上的产品,问一句「它是为人设计的,还是也为 Agent 设计的」。
谢谢

对话式 AI:
Agent 交互核心引擎

重构人机协同体验革命
场合全球产品经理大会
日期2025.08.15
相关档案演讲档案 05
说明依原稿 43 页重构,已剔除空页与视频页