清华大学文生视频专利公布

来源:观察者网

2024-02-20 21:03

国家知识产权局网站显示,2月2日,清华大学申请的“一种定制化多主体文生视频方法、装置、设备及介质”专利公布。

专利摘要显示,该申请提供一种定制化多主体文生视频方法、装置、设备及介质,涉及神经网络技术领域,包括:获取多个主体分别对应的主体文本表述以及主体图像;基于多个主体分别对应的主体文本表述以及主体图像,获取混合文本以及组合图像;将混合文本以及组合图像输入文生视频模型,生成第二噪声预测值,并基于第二噪声预测值与组合图像,获取第二损失和第三损失;基于第一损失、第二损失与第三损失,对文生视频模型进行优化,得到优化的文生视频模型。该申请通过多种损失对文生视频模型的参数进行优化,使优化的模型基于文本描述生成视频中的图像时,文本描述与定制化主体保持一致,且在每个主体在生成过程中的特征不会发生混淆的同时消除合成痕迹。

责任编辑:范维
观察者APP,更好阅读体验

“我们高度依赖中国,特朗普这么干,打残自己”

美国商会喊话特朗普:赶紧减免关税,经济撑不住了

商务部:美方主动向中方传递信息,中方正评估

“白宫在努力控制叙事,但美国消费者很清楚”

“经济上没好消息,但他是靠这个当选的,问题就来了”