豆包实时音视频通话模型1.0 API全量上线

AI 驱动中国 纪行 934次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

驱动中国11月19日消息,火山引擎正式上线豆包实时音视频通话模型SeedRealtime 1.0 API服务,将声音、画面、时序与表达统一到端到端模型中,降低级联语音系统延迟与信息损耗,支持边看边听边说及主动提醒,适用于语音助手、智能硬件、陪伴式应用与实时客服等场景。

驱动中国11月19日消息,火山引擎全量上线豆包实时音视频通话模型SeedRealtime 1.0 API服务,提供声音、画面、时序与表达统一处理的端到端实时交互能力。

SeedRealtime 1.0将声音、画面、时序与表达纳入同一端到端模型,可在连续多模态信息流中实时交互,实现边看、边听、边说。该架构可减少传统语音级联系统依赖ASR、VLM、TTS等模块串联带来的延迟叠加和信息损耗。

模型可不必仅等待用户提问,而是持续理解场景变化,在合适时机主动回应,将看、听、说纳入同一套实时决策体系,使视觉与听觉信息共同参与实时判断与表达。

SeedRealtime 1.0支持声音、画面与时序信息深度融合,可结合场景消解同音词歧义,并理解视觉中的时序指代。在多人、嘈杂、开放环境中,模型可识别当前画面、区分说话对象、理解上下文关系,并基于多模态信息完成实时判断,适用于多人协同交流、跨语言导览和带视觉上下文的实时问答。

在多人聚餐场景中,SeedRealtime 1.0可结合视觉与语音区分不同人物,记住各人身份,并依据多人不同需求定制旅行方案。在机场等嘈杂交通场景中,模型可过滤无关闲聊信息,在用户询问时调用此前看到的大屏航班信息作答,同时识别指示牌,指引旅客到达网约车上车点。

SeedRealtime 1.0具备持续环境感知与主动表达能力,可在察觉关键目标出现、画面状态变化或任务节点到来时,主动进行提醒、反馈和补充,使交互从被动响应转向主动协作。该能力可适配设备操作、学习辅助、任务提醒等真实业务流程,模型可观察当前状态并在合适时机介入,无需用户逐步发问。

在咖啡萃取场景中,模型可在用户将整颗咖啡豆倒入萃取手柄时提醒先研磨;萃取完成后,可依据咖啡油脂和出液量建议缩短萃取时长。在学习场景中,模型可持续监控翻页画面,识别到指定章节后提醒用户,并报出学习率、动量、权重衰减等关键配置训练参数。

SeedRealtime 1.0可实时感知用户对话状态与交流节奏,在适当时机自然接话、停顿与回应,并具备较强抗干扰能力,可分辨旁人闲聊与背景噪声,避免因干扰误触发。相比级联模型,其音视频对话节奏问题减少一半,单次对话完整、顺畅交流的概率提升。

在家庭学习场景中,妈妈在一旁处理其他事务,让SeedRealtime 1.0陪女儿学习动物英文,背景中爸爸接电话、人声不断,模型仍可跟随女孩手指方向实时纠音、举例造句。对开发者而言,该能力可帮助实时AI应用从对话交互走向任务协助,并在语音助手、智能硬件、陪伴式应用、实时客服等场景构建更接近自然交流的人机互动。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/530142.html
本文价值 ★★★★★ 4 2 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友