苹果公开HomeView识人流程 最多识别6人
苹果11月12日公开HomeView人员识别流程,该智能家居中枢最多识别6位用户,依靠Center Stage摄像头与语音识别判断家庭成员,并通过安全隔离区处理音视频,仅向主系统返回身份、位置和置信度等结果。
驱动中国11月12日消息,苹果于11月12日发布新博文,在介绍适用于iPhone 18 Pro与iPhone 18 Pro Max的“安全隔离区”架构时,同时披露首款智能家居中枢HomeView如何识别人员。
HomeView面向家庭场景时最多可识别6位用户,并根据识别结果提供个性化体验。该设备不采用Face ID,而是以Center Stage摄像头完成面部识别,同时结合语音识别判断在场成员身份。
用户需具备一台支持Apple Intelligence的“已注册个人设备”,该设备要接入家庭Wi-Fi,并处于最近解锁状态。达到上述条件后,HomeView才可通过面部或语音识别用户。
识别流程先由Center Stage摄像头和语音判断可能在场的人,再核对该用户iPhone或iPad是否连接家庭Wi-Fi且近期解锁。三项信息匹配后,系统才将成员与个性化体验关联。
苹果将内部流程概括为摄像头与麦克风输入、隔离区内检测处理、提取人脸和声音特征、匹配已登记身份,最终只向系统返回“谁、在哪、把握多大”。
设备启动后,人员识别隔离区Person Recognition Exclave会从安全隔离区Secure Exclaves加载已登记的人脸与声音识别模型及身份数据库,准备后续匹配。
摄像头连续画面进入摄像头隔离区,由该隔离区检测人脸、标记边界框,并将相关画面排队等待处理。摄像头隔离区可向主系统后台进程通知“可能有人出现”,但通知不含图像数据,画面仍保留在安全隔离区。
音频先经过音频隔离区,完成异常检测与回声消除等处理,随后进入人员识别隔离区。音频隔离区也可向主系统报告“可能有人在附近”,但不会把音频交给主系统,检测到有人与允许系统取得录音相互独立。
人员识别隔离区随后请求神经网络引擎隔离区加载人脸与声纹模型,生成用于身份匹配的特征。计算期间,数据始终保存在隔离区控制的内存中,主操作系统无法访问。神经网络引擎使用隔离区专用工作队列,模型运行完成后会清除相关状态。
人员识别隔离区内的编排服务将生成的人脸与声音特征同已登记用户身份数据库匹配,并综合两类结果得出身份判断及置信度。置信度表示系统对识别结果的把握程度,而非直接输出一个不带可靠性的姓名。
最终,主系统中的人员识别后台进程收到三类元数据。该流程不会把原始音视频共享给操作系统。系统再利用识别结果支持日历、信息、Apple Music等依赖用户身份的功能,以及来自用户iPhone的兼容第三方音视频应用。