分析测试百科网

搜索

喜欢作者

微信支付微信支付
×

快手“可灵”大模型发布图生视频功能

2024.6.24
头像

南州

分析测试行业的搬山工

  6月21日,快手的视频生成大模型“可灵”再进化,正式推出图生视频功能,支持用任意静态图像生成5s视频,并且可搭配不同的文本内容,实现丰富的视觉叙事。

  上传经典油画《蒙娜丽莎》,可灵能够让蒙娜丽莎戴上墨镜,并赋予她灵动的眼神交流,让名画中的人物活灵活现——这正是可灵图生视频功能的生动实践。

  此前,“可灵”在文生视频方面已经展现出了创造逼真运动场景、精确模拟物理特性的能力,以及将复杂概念巧妙融合的“技艺”,其输出堪比电影级画质,并允许用户自由调节视频的纵横比。而这些特性,如今都被融入到了图生视频模型。用户只需上传一张图片,即能基于对图像的解析变静为动,赋予其5秒的鲜活生命力。

  得益于其基础模型架构中的3D时空联合注意力机制,可灵在构建复杂时空运动方面也展现了实力。这使得模型在转换静态图像为动态视频时,能够细腻、准确地实现大幅度运动场景。例如,上传一张牧羊犬追球的静止照片,模型就能生成一段牧羊犬奔跑追逐的视频。同时,可灵图生视频模型还融入了提示词融合技术,深化了对图像语义与用户指令的理解整合。这意味着,模型能够根据用户提供的不同文本指令变换视频中的动态表现。

  可灵大模型还新推出了视频续写功能,用户只需一键操作,即可在已生成视频的基础上延续生成约5秒内容,该功能同时适用于文生视频和图生视频。通过连续多次续写,能够最长生产约3分钟的连贯视频。

  在近日于美国举行的计算机视觉和模式识别大会(CVPR2024)上,快手发布了可灵大模型的图生视频和视频续写等功能,引起积极反响。据了解,今年快手共有8篇论文入选CVPR2024,彰显了其在该领域的研究功底。


中国科学报
仪器推荐
文章推荐