可灵大模型(Kling)是快手大模型团队自研的视频生成大模型,具备强大的视频生成能力,让用户可以轻松高效地完成艺术视频创作。
以下是可灵大模型的一些关键特点和功能:
- 大幅度合理运动:可灵采用3D时空联合注意力机制,能够更好地建模复杂时空运动,生成较大幅度运动的视频内容,同时符合运动规律。
- 长达2分钟的视频生成:得益于高效的训练基础设施、极致的推理优化和可扩展的基础架构,可灵大模型能够生成长达2分钟的视频,帧率达到30fps。
- 模拟物理世界特性:基于自研模型架构及Scaling Law,可灵能够模拟真实世界的物理特性,生成符合物理规律的视频。
- 强大的概念组合能力:基于对文本-视频语义的深刻理解和Diffusion Transformer架构,可灵能够将用户丰富的想象力转化为具体画面。
- 电影级画面生成:基于自研3D VAE,可灵能够生成1080p分辨率的电影级视频,无论是宏大场景还是细腻特写,都能生动呈现。
- 支持自由输出视频宽高比:可灵采用可变分辨率训练策略,在推理过程中可以输出多样的视频宽高比,满足不同场景的视频素材使用需求。
- 表情身体驱动:结合3D人脸和人体重建技术,实现表情肢体全驱动技术,仅需一张全身照片,即可体验生动的“唱跳”玩法。
可灵大模型的应用场景包括影视制作、社交媒体、艺术创作、广告行业、虚拟现实(VR)和增强现实(AR)、游戏开发、新闻媒体等。目前,可灵大模型已在快影App中开放邀测体验,用户可以申请体验。