昆仑万维开源SkyReelsAI短剧创作迈入电影级新

昆仑万维开源SkyReelsAI短剧创作迈入电影级新

昆仑万维近日宣布了两项重大技术突破,面向AI短剧创作领域推出了两大开源模型:SkyReels-V1视频生成模型和SkyReels-A1表情动作可控算法。这两项技术的推出,标志着中国在AI短剧创作技术上的重大进步。

SkyReels-V1,作为中国首个面向AI短剧创作的开源视频生成模型,以其卓越的人物微表情表演生成能力引人注目。该模型能够细腻地还原33种人物表情与400多种自然动作组合,高度模拟真实人物的情感表达。无论是大笑、怒吼、惊讶还是哭泣,SkyReels-V1都能精准捕捉并生成相应的微表情,使得生成的视频在情感表现上更加丰富和真实。

SkyReels-V1在光影美学方面也达到了电影级水准。得益于好莱坞级高质量影视数据的训练,该模型生成的每一帧画面都展现出电影般的构图、演员站位和相机角度,为AI视频生成带来了全新的视觉体验。无论是单人镜头还是多人构图,SkyReels-V1都能精准控制表情并呈现出高质感的画面。

值得注意的是,SkyReels-V1不仅支持文本到视频的生成,还支持图像到视频的生成,是当前开源视频生成模型中参数最大、支持图生视频的模型之一。在同等分辨率下,该模型在各项指标上均实现了开源领域的最优表现。

SkyReels-V1的成功离不开昆仑万维团队在数据清洗、人工标注以及视频理解多模态大模型方面的深厚积累。团队自研的高质量数据清洗和人工标注管线构建了千万级的高质量电影、电视剧和纪录片数据,为模型的训练提供了坚实的基础。同时,团队自研的「Human-Centric」视频理解多模态大模型大幅提升了视频中人物相关的理解能力,尤其是自研人物智能解析系统,使得SkyReels-V1在影视化表情识别、人物空间位置感知、行为意图理解和表演场景理解等方面表现出色。

另一方面,SkyReels-A1作为首个SOTA级别的基于视频基座模型的表情动作可控算法,也展现了其强大的技术实力。该算法支持视频驱动的电影级表情捕捉,能够高保真还原微表情,并基于任意比例生成高度逼真的人物动态视频。无论是侧脸表情控制生成、眉眼微表情生成还是大幅度的头部与自然身体动作,SkyReels-A1都能实现精准可控的人物视频生成。

与Runway的Act-One相比,SkyReels-A1在表情动作迁移方面表现出更加复杂的处理能力,生成的人物面部神情与肢体及画面内容更加协调,呈现出更加栩栩如生的表演效果。

昆仑万维此次开源SkyReels-V1和SkyReels-A1,不仅是对技术平权的积极推动,更是对AI短剧创作和视频生成行业的重大贡献。这两项技术的开源,将为用户带来低成本、可控性更强的AIGC能力,推动AI短剧创作和视频生成行业的发展。同时,这也是昆仑万维回馈行业、促进AI短剧创作和视频生成行业繁荣发展的重要举措。