主讲人:姚光华 Colin
从玩具 到伙伴
消费级机器人的「活人感」交互设计
——为什么用户 3 天 就把机器人扔进抽屉, 以及如何用实时对话体验破解伙伴感困局。
A 3-DAY SCRIPT
一个 3 天 的故事。
DAY 1
开箱
「哇它会说话!」
新鲜感拉满、朋友圈发了三条。
DAY 2
聊半小时
还行
问它能干嘛,它讲了 30 件事。
DAY 3
偶尔逗一句
没了下文
对话越来越像背词卡。
The DAY After DAY 3
抽屉吃灰。
下次拿出来是搬家。
这不是个别用户。
这是当前 9 成消费级机器人 的留存形状。
RETENTION SHAPE OF CONSUMER ROBOTS, 2026
A COUNTER-CONSENSUS
不是所有机器人都该做成 伙伴。
✕
CASE 01
工具属性 极强的场景
扫地机 · 智能门锁 · 安防摄像头
用户要的是「可靠的工具」——伙伴感是 负担 。
✕
CASE 02
一次性 服务场景
展会接待 · 临时导游 · 酒店前台
用户根本 不打算 建立关系。
✕
CASE 03
隐私敏感 场景
医疗设备 · 银行 KIOSK · 政务服务
伙伴感反而 触发不信任。
真正的产品判断不是「我能不能做伙伴」—— 是 「我的机器人,值不值得被记住?」
THE REAL DIVIDE
玩具与伙伴的真正分水岭 不是智能,是 角色。
玩具
伙伴
是什么
一组 功能
一个 角色
用户预期
即用即走
持续相处
价值曲线
越玩越无聊
越熟越有意思
留存状态
陡降归零
缓升稳住
当前 9 成消费机器人卡在哪? 它们是「装了 LLM 的功能盒子」
不是「被赋予角色的存在」。
FUNCTIONS BOX VS. CHARACTER BEING
FOUR FAILURE MODES
4 个非伙伴症状。
4 SYMPTOMS → 4 COMPONENTS
① IDENTITY
身份 IDENTITY
身份漂移
上午像客服 / 下午像哥们 / 晚上像心理医生
② + ③ RELATIONSHIP · HISTORY
关系藏在记忆里
记忆失忆
你昨天说妈妈生病了—— 它今天问你「今天天气真好对吧」。
④ PRESENCE · SPATIAL
临场 · 空间维度
临场缺席
你叹气时它在念叨。 你在客厅,它的注意力在卧室。
④ PRESENCE · TEMPORAL
临场 · 时间维度
节奏失控
你说一半它抢话;你问完它愣 2 秒; 语调永远 happy。
4 症状 → 4 个组件的失败模式 :①身份 ②关系 ③历史 ④临场(空间 + 时间)——一会儿这 4 个组件,就是今天演讲的主线。

① IDENTITY · PHILOSOPHY
「身份不是机器人记得自己叫什么, 是它记得 你是谁。」
① IDENTITY —— 它是谁?
不是一句 system prompt , 不是给它 起个名字。
是一套 可以被它一致表达出来 的存在:
· TONE
独特的语调(不止音色)
· PATTERN
一致的反应模式
· TASTE
鲜明的喜恶
· BOUNDARY
稳定的自我边界
IDENTITY CARD
语调
温和、慢半拍
反应模式
先共情,再问,再答
喜恶
怕吵 · 喜静
边界
不假装它是人
⚙️ 工程、算法上
persona embedding + 微调 + 一致性兜底
🧭 产品上
先想清楚——你要造的是 哪个「它」?



② RELATIONSHIP · ③ HISTORY · DUAL PHILOSOPHY
② RELATIONSHIP
「关系的容量, 等于共同记忆的容量。」
③ HISTORY
「历史不是录音, 是从录音里长出来的对你的理解。」
DAY 1 · 浅
你告诉它 你养的猫叫「豆豆」。
第一次对话的事实。
DAY 30 · 中
它主动问 「豆豆最近怎么样?」
主动召回,开始有「关系」。
DAY 365 · 深
它知道豆豆爱吃的牌子、生病过的次数。
长期共同历史 = 不可替代。
没有共同历史的机器人——永远是陌生人。
音频是 耗材,语义是资产。
SHORT TERM
短期 · 本次对话上下文
context window
MID TERM
中期 · 本周/本月主题汇聚
RAG / summary
LONG TERM
长期 · 画像/关键事件/偏好
结构化存储 + 检索
RELATIONSHIP CAPACITY · THREE LEAPS
关系容量的 三级跳。
工 具
智能音箱
「你叫醒我」
→
熟 人
记得几个偏好的 AI 玩具
→
伙 伴
填满生命上下文配额的 伙伴形态
· CURRENT STATE
当前 9 成消费机器人卡在 工具和熟人 之间。
· TARGET
真正的伙伴感—— 如何用数字量化?
“As human beings, we get to hear about one billion words in our entire life.”
一生听到的语言输入
ILYA · GTC 2023
只保留值得记住的部分
思想实验筛选率
换算为约 167 万分钟
词 / 分钟
≈ 0.29 TB
长期语音存储
④ THE ENGINE
临场感 Real-time Presence。
①身份
②关系
③历史
④ REAL-TIME PRESENCE
临场感
· THE FORMULA
临场感 = 实时听见 × 立刻想起 × 当下回应。
REAL-TIME
实时听见 RTE 管线
RECALL
立刻想起 即时调用记忆
RESPOND
当下回应 650ms 内完成
临场感的落点:交互




A 30-YEAR COORDINATE
我们正在跨过 交互的坐标点。
1990s →
人 ↔ 人
电话 / 视频 固网 → 蜂窝 → IP
2010s →
人 ↔ 机
客服 IVR · Alexa 指令式交互
2022 →
人 ↔ 模
ChatGPT → GPT-4o
NOW →
人 + 模 + 人 共在
消费机器人 / AI 眼镜 / AI 玩具
消费级机器人是 第 4 段 的最前线—— 它需要承载的不只是对话能力,还是 关系本身。
对话即交互
MEHRABIAN'S RULE · 1971
对话,从来都不止 「语言」。
7%
语言内容
VERBAL · WORDS
38%
声音语调
VOCAL · TONE
55%
身体语言
VISUAL · BODY
在语音对话时,AI 的「活人感」缺失比文字对话时更明显
—— 而消费机器人 本来就有身体,本来就有机会承担那 55%。
Mehrabian, A. 《Silent Messages》 1971

正确,但没有关系温度。
用户不想再开口。
自然、可持续相处。
下次还想跟它说话。
伪装成朋友的销售感。
三句之后想拔电源。
SAME WORDS, TWO RESPONSES
同一句话,两种反应。
USER SAYS
「最近压力好大。」
✕
非伙伴反应
0 ms DELAY
「您可以尝试以下减压方法: 1. 深呼吸 2. 散步 3. 听音乐 4. 找朋友聊聊……」
信息正确 · 节奏机械 · 情绪缺席
✓
伙伴反应
+ 0.5 s PAUSE
「听起来挺累的, 今天发生什么了吗?」
节奏对了 · 语气对了 · 对话策略对了
内容相同,节奏、语气、对话策略完全不同——这不是模型大小决定的,是引擎层 + 产品设计层 联合决定的体验。
THE ENGINEERING OF COMPANIONSHIP
伙伴感的工程结构:角色三件套 + 一个引擎。
3 ROLES + 1 ENGINE
角色三件套 · CHARACTER TRIO
产品方的责任 — 厂商自己来
① IDENTITY
身份
它是谁?为什么存在?
② RELATIONSHIP
关系
它和用户是什么关系?
③ HISTORY
历史
它和这个用户共同记得什么?
承 载 在 · CARRIED BY
对话式 AI引擎 · CONVOAI ENGINE
技术方的责任 — 让上面三件事实时发生
④
实时互动 Real-time Engagement
让 ① 身份 + ② 关系 + ③ 历史,在每一次对话里被感知 · 被表达 · 被记住。
引擎层 声网负责
这是一道 二选一都不行 的题。
接下来 8 分钟——我用声网对话式 AI 引擎 16 次迭代 踩过的坑,讲清楚临场引擎要解决的 4 个工程问题。
FROM PHILOSOPHY TO ENGINEERING
真实世界的问题, 往往不是 模型问题。
这些问题来自我最近一次 AMA DEV / OEM / RESEARCHERS
"
有办法让延迟感降到真的 像是与人对话吗?
— OEM 产品负责人
"
如何提高在嘈杂环境中的 识别准确率?
— 端侧算法工程师
"
怎么拒识?周围人说话, 或使用者和别人说话。
— 智能玩具开发者
"
主流 voice agent 是用 S2S 还是 STT-LLM-TTS?
— 模型公司架构师
它们 不是「实验室里的问题」
—— 是 一旦进入生产环境就一定会遇到的问题。
ENGINEERING PROBLEM #1
对话感,死于 等待。
人类对「对话」的延迟感知,存在明确区间——
GREEN · 活人感
0 – 200 ms
面对面 / 人人对话
「活人感」理想区间。 大脑听不见任何延迟。
YELLOW · 可接受
≈ 400 ms
远程在线 / 电话区间
人在做延迟补偿, 开始消耗注意力。
RED · 关系破裂
≥ 1.5 s
不再是对话,是等系统反应
一次失控,关系就裂一道。
任何一个工程环节多 200ms, 都是在杀死伙伴感。
SOTA BENCHMARK
OpenAI · Tolan 团队 North Star = P90 < 1.5s
ENGINEERING PROBLEM #2
真正毁掉对话的,不是噪声。
嘈杂环境 ≠ 单一噪声——三类挑战,难度截然不同。
✓
STATIONARY
稳态噪声
空调 · 风噪 · 机械持续运行
已解决 · Solved
!
TRANSIENT
瞬态噪声
敲击 · 关门 · 犬吠
部分解决 · Partial
●
NON-TARGET HUMAN
非对话人声
电视 · 家人 · 路人 · 同事
致命 · Critical
真正成熟的 Agent,不是把听到的都当输入——而是具备:
选择性注意力锁定 Selective Attention Locking
声网 ConvoAI v1.7 多模态升级
ENGINEERING PROBLEM #3
多模态 ≠ 多功能并列。
✕
PARALLEL FUNCTIONS
多功能并列
🎤 语音模块——独立跑
👁 视觉模块——独立跑
📡 传感器模块——独立跑
✓
WOVEN ON ONE TIMELINE
多模态编织
🎤 声
👁 视
📡 触
在 统一时间轴 上同步、共同决定一次反应。
EXAMPLE · 你叹了一口气
不是听到一个 audio event——是 同时 看你的表情、判断你在哪儿,然后 转头看你,问「怎么了?」
SD-RTN 10 YEARS OF TIMING
ENGINEERING PROBLEM #4
敢商用, 才是架构的 底线。
为什么我们坚持 级联架构,不选端到端?
· 01
可观测
OBSERVABLE
每一段延迟 / 每一个失败点, 都能被定位。
· 02
可调优
TUNABLE
ASR / LLM / TTS 可以 独立替换、独立升级。
· 03
可兜底
RESILIENT
出问题时,系统不会 整体失控。
在消费机器人里,稳定性本身,就是用户体验。
一次失控的对话 比 10 次平庸的对话
更伤关系。
★ MONEY QUOTE · 02 OF 03
消费级机器人交互设计的生死线只有三条
别 听错。
别 失控。
别 让人等。
Don't mishear. · Don't break. · Don't make people wait.
钉子 · PIN 02
★ MONEY QUOTE · 03 OF 03
在对话即交互时代——
模型决定 能力上限。
引擎决定 体验下限。
MODELS SET THE CEILING.
ENGINES SET THE FLOOR.
钉子 · PIN 03
Realtime API · RTC partner
国内 Realtime
引擎正式发布
Studio + Engine 2.0 + Eval 3.0
电话客服智能体 · Global
FOUR PRODUCT THREADS
产品哲学四部曲。
①
轮次检测与 打断 解耦
v1.4 → v2.0 → v2.4 → v2.6
把「听」和「打断」 拆成两件事—— 引擎级架构重构。
②
从单引擎走向 编排平台
v1.1 RTM → v1.4 LLM → v2.4 MCP → v2.6 指令注入
引擎本身成为 Agent 框架 —— 不只是管道。
③
重要信息 不可打断 语义
v2.3 metadata .interruptable → v2.5 暂停意图识别
法规播报、用户暂停的 语义边界。
④
供应商 解耦 + 计费透明
v1.6 ASR 多供应商 v2.0 TTS 多供应商 + 凤鸣 ASR 拆出
客户能换、能比、 能 算账——商用底线。
这 4 条主线一起回答的,是同一个问题—— 如何让对话式 AI 引擎从「能跑起来」走向「敢商用」
CONVOAI ENGINE 2.0
9 项核心能力
INFO DENSITY HIGH
给一线产品经理看的版本
· 01
低延迟
E2E < 1s 的实时对话
· 02
懂打断
优雅打断 2.0 · 智能识别
· 03
多语种 & 音色
全球语音生态接入
· 04
形象
AI 数字人物形象
· 05
眼睛
视觉理解 · 看图/看人/看场景
· 06
专注
声纹锁定 · 选择性注意力
· 07
能分辨
声纹识别 · 不同对话人
· 08
懂时机
何时说 / 何时停 / 何时跟话
· 09
电话接入
SIP / PSTN 全打通
9 项能力 · 直接对应你做消费机器人的真实需求。
WHERE WE SIT
声网在消费机器人这一层 做的事。
× 不做角色定义
这是 你的 核心产品资产,我们不碰。
× 不做模型
阶跃 / 通义 / 豆包 / GPT 都是 搭档。
× 不做芯片
瑞芯微在端侧把活儿干得 比谁都好。
· WHAT WE DO
让「角色」在每一次对话里 实时立得住 的引擎。
ConvoAI Engine 2.6
16 次迭代 · 14 个月 · Production-Ready
Robotics 1
消费机器人开发套件
SD-RTN + Last-Mile + 30000+ 适配
RTE 全域通信底座
CONSUMER ROBOT DEV KIT
声网 Robotics 1 : 赋予硬件「数字灵魂」。
[ R1 WI-FI ]
带「灵动眼睛」PCB
R1 · Wi-Fi
2025.03.20 发布
主控 BK7258 · Wi-Fi 联网 面向家庭与桌面玩具
[ R1 4G ]
带 4G 天线 · 一体化
R1 · 4G
2025.09.26 发布
UNISOC 8910 · Cat.1 一体化 面向户外 / 出行陪伴
SPEC COMPARE
能力
Wi-Fi
4G
对话式 AI
●
●
视觉理解
●
●
本地唤醒
●
●
灵动眼睛
●
●
陀螺仪/NFC/振动
●
●
联网
Wi-Fi
4G·一体化
★ R1 4G 单芯片一体化 是关键卖点
临场引擎 + 硬件参考设计 = 拿来即用 的伙伴感地基。
PLUG · CONNECT · SHIP


2024.10.01
A QUIET ENDORSEMENT
全球最强的 Voice Agent 团队 , 在为他们的 Realtime API 寻找 实时通信底座 时给出的选择。
同样的工程能力,我们用来支撑你的消费机器人。

THREE ASKS
给消费机器人厂商的 3 条建议。
1
先回答: 「值不值得被记住」
不是每个机器人都要做伙伴。 Day 0 把定位想清楚,把「伙伴感四维」做成留存 KPI。
2
把临场引擎 外包出去 。 把角色三件套 握在手里。
RTE / 模型 / 芯片各有专长—— 把研发预算和团队精力,留给 只有你能做的事。
3
持续打磨 体验基准
体验不是一次成型,是 周周打磨 。 建立你自己的真实使用数据反馈闭环。

A NEW FORM OF COMPANIONSHIP
消费级机器人—— 不是 更聪明的玩具 , 是 新的伙伴形态。
一个会持续陪伴你、记得你、感知你、理解你的存在。
· NEXT 5 YEARS
伙伴形态的消费机器人, 会成为家庭的 第六个成员。
· LIVING ROOM · 2030
在座的每一位,都有机会成为 塑造这个新成员 的人。
灵魂的重量
21 g
一个人 存在过的痕迹
记忆的容量
0.29 TB
一段值得被记住的 生命上下文
从玩具到伙伴的距离,
就是从 被使用 到 被记住 的距离。
From toy to partner = From being used to being remembered.

