金融界2025年2月22日消息，国家知识产权局信息显示，辉达公司申请一项名为“使用机器学习的音频驱动的面部动画”的专利，公开号 CN 119494894 A，申请日期为2023年8月。
专利摘要显示，本发明公开了使用机器学习的音频驱动的面部动画，本公开的系统和方法包括根据输入音频和一个或更多个所选择的或所确定的情绪和/或风格来动画化虚拟化身或代理。例如，可以训练深度神经网络以输出角色的运动或变形信息，该运动或变形信息表示角色说出音频输入中包含的话语。角色可以具有单独建模的不同面部组成部分或区域(例如，头部、皮肤、眼睛、舌头)，使得网络可以输出这些不同面部组成部分中的每一个的运动或变形信息。在训练期间，网络可使用具有锁定参数的基于转换器的音频编码器来使用加权特征向量训练关联的解码器。网络输出可被提供给渲染器以生成情绪准确的音频驱动的面部动画。
