1/37

主讲人:姚光华 Colin

从玩具 到伙伴

消费级机器人的「活人感」交互设计

——为什么用户 3 天 就把机器人扔进抽屉, 以及如何用实时对话体验破解伙伴感困局。

2/37

A 3-DAY SCRIPT

一个 3 天 的故事。

DAY 1

开箱

「哇它会说话!」

新鲜感拉满、朋友圈发了三条。

DAY 2

聊半小时

还行

问它能干嘛,它讲了 30 件事。

DAY 3

偶尔逗一句

没了下文

对话越来越像背词卡。

The DAY After DAY 3

抽屉吃灰

下次拿出来是搬家。

这不是个别用户

这是当前 9 成消费级机器人 的留存形状。

RETENTION SHAPE OF CONSUMER ROBOTS, 2026

3/37
THE NUMBERS DON'T LIE
AI 已经普及,糟糕体验仍在直接伤害留存。
87%
经常接触 AI 智能体采用已经发生,体验标准没有降低
67%
差体验后不想继续使用问题不是 AI 身份,而是关系被破坏
用户不是拒绝 AI;用户拒绝的是无法建立信任的 AI
SOURCE · CLUTCH CONSUMER AI SUPPORT STUDY · 2026.06 · N=422
4/37
MONEY QUOTE · 01 OF 03
3 天扔抽屉,不是技术故障,
关系破裂
WHEN NOVELTY ENDS, RELATIONSHIP HAS TO BEGIN.
用户买的不是更聪明的玩具,
更处得来的伙伴
INTELLIGENCE EARNS ATTENTION. COMPANIONSHIP EARNS RETURN.
钉子 · PIN 01
5/37

A COUNTER-CONSENSUS

不是所有机器人都该做成 伙伴

CASE 01

工具属性 极强的场景

扫地机 · 智能门锁 · 安防摄像头

用户要的是「可靠的工具」——伙伴感是 负担

CASE 02

一次性 服务场景

展会接待 · 临时导游 · 酒店前台

用户根本 不打算 建立关系。

CASE 03

隐私敏感 场景

医疗设备 · 银行 KIOSK · 政务服务

伙伴感反而 触发不信任

真正的产品判断不是「我能不能做伙伴」—— 是 「我的机器人,值不值得被记住?」

6/37

THE REAL DIVIDE

玩具与伙伴的真正分水岭 不是智能,是 角色

玩具

伙伴

是什么

一组 功能

一个 角色

用户预期

即用即走

持续相处

价值曲线

越玩越无聊

越熟越有意思

留存状态

陡降归零

缓升稳住

当前 9 成消费机器人卡在哪? 它们是「装了 LLM 的功能盒子

不是「被赋予角色的存在

FUNCTIONS BOX VS. CHARACTER BEING

7/37

FOUR FAILURE MODES

4 个非伙伴症状

4 SYMPTOMS → 4 COMPONENTS

① IDENTITY

身份 IDENTITY

身份漂移

上午像客服 / 下午像哥们 / 晚上像心理医生

② + ③ RELATIONSHIP · HISTORY

关系藏在记忆里

记忆失忆

你昨天说妈妈生病了—— 它今天问你「今天天气真好对吧」。

④ PRESENCE · SPATIAL

临场 · 空间维度

临场缺席

你叹气时它在念叨。 你在客厅,它的注意力在卧室。

④ PRESENCE · TEMPORAL

临场 · 时间维度

节奏失控

你说一半它抢话;你问完它愣 2 秒; 语调永远 happy。

4 症状 → 4 个组件的失败模式 :①身份 ②关系 ③历史 ④临场(空间 + 时间)——一会儿这 4 个组件,就是今天演讲的主线。

8/37

① IDENTITY · PHILOSOPHY

「身份不是机器人记得自己叫什么, 是它记得 你是谁。」

① IDENTITY —— 它是谁?

不是一句 system prompt , 不是给它 起个名字

是一套 可以被它一致表达出来 的存在:

· TONE

独特的语调(不止音色)

· PATTERN

一致的反应模式

· TASTE

鲜明的喜恶

· BOUNDARY

稳定的自我边界

IDENTITY CARD

语调

温和、慢半拍

反应模式

先共情,再问,再答

喜恶

怕吵 · 喜静

边界

不假装它是人

⚙️ 工程、算法

persona embedding + 微调 + 一致性兜底

🧭 产品上

先想清楚——你要造的是 哪个「它」

9/37

② RELATIONSHIP · ③ HISTORY · DUAL PHILOSOPHY

② RELATIONSHIP

「关系的容量, 等于共同记忆的容量。」

③ HISTORY

「历史不是录音, 是从录音里长出来的对你的理解。」

DAY 1 · 浅

你告诉它 你养的猫叫「豆豆」

第一次对话的事实。

DAY 30 · 中

它主动问 「豆豆最近怎么样?」

主动召回,开始有「关系」。

DAY 365 · 深

它知道豆豆爱吃的牌子、生病过的次数。

长期共同历史 = 不可替代。

没有共同历史的机器人——永远是陌生人。

音频是 耗材语义是资产

SHORT TERM

短期 · 本次对话上下文

context window

MID TERM

中期 · 本周/本月主题汇聚

RAG / summary

LONG TERM

长期 · 画像/关键事件/偏好

结构化存储 + 检索

10/37

RELATIONSHIP CAPACITY · THREE LEAPS

关系容量的 三级跳

工 具

智能音箱

「你叫醒我」

熟 人

记得几个偏好的 AI 玩具

伙 伴

填满生命上下文配额的 伙伴形态

· CURRENT STATE

当前 9 成消费机器人卡在 工具和熟人 之间。

· TARGET

真正的伙伴感—— 如何用数字量化

11/37
A NUMBER FROM THE SOURCE · NVIDIA GTC 2023
一生,只听得到「10 亿词」。
ILYA SUTSKEVER · OPENAI CO-FOUNDER & CHIEF SCIENTIST (2023)
“As human beings, we get to hear about one billion words in our entire life.”
NVIDIA ON-DEMAND · GTCSPRING23-S52092
JENSEN HUANG
“Only one billion words?”
ILYA SUTSKEVER
“That’s amazing. That’s not a lot.”
有限的输入,意味着值得保留的上下文必须被选择
SOURCE · NVIDIA GTC SPRING 2023 · FIRESIDE CHAT: AI TODAY AND VISION OF THE FUTURE · 2023.03
12/37
FROM WORDS TO MEMORY · A BACK-OF-THE-ENVELOPE MODEL
把「10 亿词」折成一条可计算的记忆链
1

10 亿词

一生听到的语言输入
ILYA · GTC 2023

2

× 25%

只保留值得记住的部分
思想实验筛选率

3

÷ 150

换算为约 167 万分钟
词 / 分钟

4

× 23 kbps

≈ 0.29 TB
长期语音存储

0.29 TB 级
这不是精确的人生配额,而是一个产品判断:
记忆不是无限堆积,而是持续筛选。
ASSUMPTION · 25% RETENTION · 150 WORDS/MIN · 23 KBPS · ORDER-OF-MAGNITUDE MODEL
13/37
RELATIONSHIP CAPACITY · CONCEPTUAL MODEL
记忆容量决定了关系能走多深
Siri普通玩具主流 AI 玩具伙伴目标RELATIONSHIP DEPTHMEMORY CAPACITY · LOG SCALE0.29 TB 级
THE PARTNER LINE
伙伴不是"记得更多",
而是记得更对
TAKEAWAY
音频是原料,
可检索的共同历史才是资产。
NOTE · CONCEPTUAL MODEL, NOT AN EMPIRICAL RETENTION CURVE
14/37

④ THE ENGINE

临场感 Real-time Presence

①身份

②关系

③历史

④ REAL-TIME PRESENCE

临场感

· THE FORMULA

临场感 = 实时听见 × 立刻想起 × 当下回应。

REAL-TIME

实时听见 RTE 管线

RECALL

立刻想起 即时调用记忆

RESPOND

当下回应 650ms 内完成

临场感的落点交互

15/37

A 30-YEAR COORDINATE

我们正在跨过 交互的坐标点

1990s →

人 ↔ 人

电话 / 视频 固网 → 蜂窝 → IP

2010s →

人 ↔ 机

客服 IVR · Alexa 指令式交互

2022 →

人 ↔ 模

ChatGPT → GPT-4o

NOW →

人 + 模 + 人 共在

消费机器人 /  AI 眼镜 / AI 玩具

消费级机器人是 第 4 段 的最前线—— 它需要承载的不只是对话能力,还是 关系本身

对话即交互

16/37

MEHRABIAN'S RULE · 1971

对话,从来都不止 「语言」

7%

语言内容

VERBAL · WORDS

38%

声音语调

VOCAL · TONE

55%

身体语言

VISUAL · BODY

在语音对话时,AI 「活人感」缺失比文字对话时更明显

—— 而消费机器人 本来就有身体,本来就有机会承担那 55%

Mehrabian, A. 《Silent Messages》 1971

17/37
DEFINITION
「活人感」不是越像人越好,是双方都能舒适。
活人感舒适度三种状态
TOO DRY

太木

正确,但没有关系温度。
用户不想再开口。

JUST RIGHT

恰好

自然、可持续相处。
下次还想跟它说话。

TOO CLINGY

太腻

伪装成朋友的销售感。
三句之后想拔电源。

消费级机器人语境下:活人感 = 角色立得住 + 临场撑得住
18/37

SAME WORDS, TWO RESPONSES

同一句话,两种反应

USER SAYS

「最近压力好大。」

非伙伴反应

0 ms DELAY

「您可以尝试以下减压方法: 1. 深呼吸 2. 散步 3. 听音乐 4. 找朋友聊聊……」

信息正确 · 节奏机械 · 情绪缺席

伙伴反应

+ 0.5 s PAUSE

「听起来挺累的, 今天发生什么了吗?」

节奏对了 · 语气对了 · 对话策略对了

内容相同,节奏、语气、对话策略完全不同——这不是模型大小决定的,是引擎层 + 产品设计层 联合决定的体验。

19/37

THE ENGINEERING OF COMPANIONSHIP

伙伴感的工程结构角色三件套 + 一个引擎。

3 ROLES + 1 ENGINE

角色三件套 · CHARACTER TRIO

产品方的责任 — 厂商自己来

① IDENTITY

身份

它是谁?为什么存在?

② RELATIONSHIP

关系

它和用户是什么关系?

③ HISTORY

历史

它和这个用户共同记得什么?

承 载 在 · CARRIED BY

对话式 AI引擎 · CONVOAI ENGINE

技术方的责任 — 让上面三件事实时发生

实时互动 Real-time  Engagement

让 ① 身份 + ② 关系 + ③ 历史,在每一次对话里被感知 · 被表达 · 被记住。

引擎层 声网负责

这是一道 二选一都不行 的题。

接下来 8 分钟——我用声网对话式 AI 引擎 16 次迭代 踩过的坑,讲清楚临场引擎要解决的 4 个工程问题

20/37

FROM PHILOSOPHY TO ENGINEERING

真实世界的问题, 往往不是 模型问题

这些问题来自我最近一次 AMA DEV / OEM / RESEARCHERS

"

有办法让延迟感降到真的 像是与人对话吗?

— OEM 产品负责人

"

如何提高在嘈杂环境中的 识别准确率?

— 端侧算法工程师

"

怎么拒识?周围人说话, 或使用者和别人说话。

— 智能玩具开发者

"

主流 voice agent 是用 S2S 还是 STT-LLM-TTS?

— 模型公司架构师

它们 不是「实验室里的问题」

—— 是 一旦进入生产环境就一定会遇到的问题

21/37

ENGINEERING PROBLEM #1

对话感,死于 等待

人类对「对话」的延迟感知,存在明确区间——

GREEN · 活人感

0 – 200 ms

面对面 / 人人对话

「活人感」理想区间。 大脑听不见任何延迟。

YELLOW · 可接受

≈ 400 ms

远程在线 / 电话区间

人在做延迟补偿, 开始消耗注意力。

RED · 关系破裂

1.5 s

不再是对话,是等系统反应

一次失控,关系就裂一道。

任何一个工程环节多 200ms, 都是在杀死伙伴感

SOTA BENCHMARK

OpenAI · Tolan 团队 North Star = P90 < 1.5s

22/37

ENGINEERING PROBLEM #2

真正毁掉对话的,不是噪声

嘈杂环境 ≠ 单一噪声——三类挑战,难度截然不同。

STATIONARY

稳态噪声

空调 · 风噪 · 机械持续运行

已解决 · Solved

!

TRANSIENT

瞬态噪声

敲击 · 关门 · 犬吠

部分解决 · Partial

NON-TARGET HUMAN

非对话人声

电视 · 家人 · 路人 · 同事

致命 · Critical

真正成熟的 Agent,不是把听到的都当输入——而是具备:

选择性注意力锁定 Selective Attention Locking

声网 ConvoAI v1.7 多模态升级

23/37

ENGINEERING PROBLEM #3

多模态 ≠ 多功能并列

PARALLEL FUNCTIONS

多功能并列

🎤 语音模块——独立跑

👁 视觉模块——独立跑

📡 传感器模块——独立跑

WOVEN ON ONE TIMELINE

多模态编织

🎤 声

👁 视

📡 触

统一时间轴 上同步、共同决定一次反应。

EXAMPLE · 你叹了一口气

不是听到一个 audio event——是 同时 看你的表情、判断你在哪儿,然后 转头看你,问「怎么了?」

SD-RTN 10 YEARS OF TIMING

24/37
25/37

ENGINEERING PROBLEM #4

敢商用, 才是架构的 底线

为什么我们坚持 级联架构,不选端到端?

· 01

可观测

OBSERVABLE

每一段延迟 / 每一个失败点, 都能被定位。

· 02

可调优

TUNABLE

ASR / LLM / TTS 可以 独立替换、独立升级。

· 03

可兜底

RESILIENT

出问题时,系统不会 整体失控。

在消费机器人里,稳定性本身,就是用户体验

一次失控的对话 比 10 次平庸的对话

更伤关系

26/37

MONEY QUOTE · 02 OF 03

消费级机器人交互设计的生死线只有三条

听错

失控

让人等

Don't mishear. · Don't break. · Don't make people wait.

钉子 · PIN 02

27/37

MONEY QUOTE · 03 OF 03

在对话即交互时代——

模型决定 能力上限

引擎决定 体验下限

MODELS SET THE CEILING.

ENGINES SET THE FLOOR.

钉子 · PIN 03

28/37
CONVERSATIONAL AI MILESTONES
19 个月,走完从 API 到全栈产品
2024.10

OpenAI × Agora

Realtime API · RTC partner

01 / 05
2024.10.24

声网 × MiniMax

国内 Realtime

02 / 05
2025.03.06

ConvoAI Engine 1.0

引擎正式发布

03 / 05
2025.10.31

全栈能力

Studio + Engine 2.0 + Eval 3.0

04 / 05
2026.03.10

Agora Phone Agent

电话客服智能体 · Global

05 / 05
FROM INFRASTRUCTURE TO PRODUCT
我们已经替你把工程化的路走过一遍——接下来,轮到产品体验
29/37

FOUR PRODUCT THREADS

产品哲学四部曲

轮次检测与 打断 解耦

v1.4 → v2.0 → v2.4 → v2.6

把「听」和「打断」 拆成两件事—— 引擎级架构重构。

从单引擎走向 编排平台

v1.1 RTM → v1.4 LLM → v2.4 MCP → v2.6 指令注入

引擎本身成为 Agent 框架 —— 不只是管道。

重要信息 不可打断 语义

v2.3 metadata .interruptable → v2.5 暂停意图识别

法规播报、用户暂停的 语义边界

供应商 解耦 + 计费透明

v1.6 ASR 多供应商 v2.0 TTS 多供应商 + 凤鸣 ASR 拆出

客户能换、能比、 能 算账——商用底线。

这 4 条主线一起回答的,是同一个问题—— 如何让对话式 AI 引擎从「能跑起来」走向「敢商用

30/37

CONVOAI ENGINE 2.0

9 项核心能力

INFO DENSITY HIGH
给一线产品经理看的版本

· 01

低延迟

E2E < 1s 的实时对话

· 02

懂打断

优雅打断 2.0 · 智能识别

· 03

多语种 & 音色

全球语音生态接入

· 04

形象

AI 数字人物形象

· 05

眼睛

视觉理解 · 看图/看人/看场景

· 06

专注

声纹锁定 · 选择性注意力

· 07

能分辨

声纹识别 · 不同对话人

· 08

懂时机

何时说 / 何时停 / 何时跟话

· 09

电话接入

SIP / PSTN 全打通

9 项能力 · 直接对应你做消费机器人的真实需求

31/37

WHERE WE SIT

声网在消费机器人这一层 做的事

× 不做角色定义

这是 你的 核心产品资产,我们不碰。

× 不做模型

阶跃 / 通义 / 豆包 / GPT 都是 搭档

× 不做芯片

瑞芯微在端侧把活儿干得 比谁都好

· WHAT WE DO

让「角色」在每一次对话里 实时立得住 的引擎。

ConvoAI Engine 2.6

16 次迭代 · 14 个月 · Production-Ready

Robotics 1

消费机器人开发套件

SD-RTN + Last-Mile + 30000+ 适配

RTE 全域通信底座

32/37

CONSUMER ROBOT DEV KIT

声网 Robotics 1 : 赋予硬件「数字灵魂」。

[ R1 WI-FI ]

带「灵动眼睛」PCB

R1 · Wi-Fi

2025.03.20 发布

主控 BK7258 · Wi-Fi 联网 面向家庭与桌面玩具

[ R1 4G ]

带 4G 天线 · 一体化

R1 · 4G

2025.09.26 发布

UNISOC 8910 · Cat.1 一体化 面向户外 / 出行陪伴

SPEC COMPARE

能力

Wi-Fi

4G

对话式 AI

视觉理解

本地唤醒

灵动眼睛

陀螺仪/NFC/振动

联网

Wi-Fi

4G·一体化

★ R1 4G 单芯片一体化 是关键卖点

临场引擎 + 硬件参考设计 = 拿来即用 的伙伴感地基。

PLUG · CONNECT · SHIP

33/37

2024.10.01

A QUIET ENDORSEMENT

全球最强的 Voice Agent 团队 , 在为他们的 Realtime API 寻找 实时通信底座 时给出的选择。

同样的工程能力,我们用来支撑你的消费机器人。

34/37

THREE ASKS

给消费机器人厂商的 3 条建议

1

先回答: 「值不值得被记住」

不是每个机器人都要做伙伴。 Day 0 把定位想清楚,把「伙伴感四维」做成留存 KPI。

2

把临场引擎 外包出去 。 把角色三件套 握在手里

RTE / 模型 / 芯片各有专长—— 把研发预算和团队精力,留给 只有你能做的事

3

持续打磨 体验基准

体验不是一次成型,是 周周打磨 。 建立你自己的真实使用数据反馈闭环。

35/37

A NEW FORM OF COMPANIONSHIP

消费级机器人—— 不是 更聪明的玩具 , 是 新的伙伴形态

一个会持续陪伴你、记得你、感知你、理解你的存在。

· NEXT 5 YEARS

伙伴形态的消费机器人, 会成为家庭的 第六个成员

· LIVING ROOM · 2030

在座的每一位,都有机会成为 塑造这个新成员 的人。

36/37

灵魂的重量

21 g

一个人 存在过的痕迹

记忆的容量

0.29 TB

一段值得被记住的 生命上下文

从玩具到伙伴的距离,

就是从 被使用 被记住 的距离。

From toy to partner = From being used to being remembered.

37/37
THANK YOU
谢谢。
让我们一起,把消费机器人
玩具做成伙伴
Colin · 姚光华
声网 AI 产品线负责人
ConvoAI · Robotics 1 开发套件
KEEP THE CONVERSATION GOING
把现场的问题带走,
把下一次对话做得更像伙伴。
Colin 微信二维码
Colin 小红书名片(含二维码)