数字人实时对话
WebRTC 建链后可实时接收音视频流,支持文字与语音双通道交互, 对话内容通过 `/human` 接口稳定发送到数字人服务。
结合当前项目能力与服务端接口,页面已支持从唤醒连接、会话交互到字幕同步的完整链路。
WebRTC 建链后可实时接收音视频流,支持文字与语音双通道交互, 对话内容通过 `/human` 接口稳定发送到数字人服务。
对接 ASR 服务,结合 RMS + hangover 语音门控策略,在降低噪声误触发的同时, 保持说话起停的低延迟响应。
通过 DataChannel 监听 `llm_stream` 与 `tts_progress` 事件, 实时展示“正在播报”文本,并以播报结束事件作为最终固化依据。
从“开始交互”到“进入助眠模式”,用户全程可见、可控、可追踪。
用户发起唤醒后建立 WebRTC 与会话链路,页面进入数字人交互态。
语音输入经 ASR 实时识别,最终文本发送给数字人,支持连续自然对话。
前端根据事件流实时拼接字幕,并在播报结束时固化到对话记录区域。
识别到引导事件后,在当前播报完成节点执行助眠页面跳转,避免打断体验。
我们坚持在真实场景中打磨“稳定连接、清晰字幕、自然交互”的细节, 让每一次睡前对话都更有温度、更可依赖。