环球焦点！微软亚洲研究院推出NUWA-XL超长视频生成模型
站长之家（ChinaZ.com）4月20日 消息:你相信吗?只要输入16句简单描述，AI就能生成11分钟的动画了。
(资料图片仅供参考)
近日，微软亚洲研究院推出了NUWA-XL超长视频生成模型，采用创新的Diffusion over Diffusion架构，通过「从粗到细」的生成过程，可以并行生成高质量的超长视频，为多模态大模型提供了新的解题思路。
论文地址:https://arxiv.org/abs/2303.12346
NUWA-XL「从粗到细」的生成方法具有三个优势:
分层结构使模型能够直接在长视频上进行训练，从而消除了训练和推理之间的差距。
模型包含多个局部扩散模型，自然支持并行推理，可以显著提高生成长视频时的推理速度。例如在相同的硬件设置下，当生成1024帧时，NUWA-XL 使平均推理时间从7.55分钟减少到26秒，速度提升了94.26%。
由于视频的长度可以相对于深度 m 呈指数级扩展，因此模型可以很容易地扩展出更长的视频。
目前，长视频生成的多数方法是采用「Autoregressive over X」架构，这种方法存在训练-推理差距的问题，导致不真实的、扭曲的镜头变化。
NUWA-XL的推出填补了长视频生成领域的空白，为人工智能在视频生成方面的应用提供了新的可能性。
微软亚洲研究院首席研究员段楠表示，目前人工智能多模态大模型的研发仍停留在文字生成阶段。即使GPT-4已经在理解方面加入了视觉信息，但仅限于图片，输出依旧是文字或代码。因此，当前和未来的研究方向非常明确，就是将语言和视觉的理解和生成融入到一个基础大模型中，以增强图像、视频和音频的生成。他希望未来可以使用一套结构来融合支持语言和视觉的生成算法，使人工智能模型更加通用。
（举报）
标签：
相关文章
环球焦点！微软亚洲研究院推出NUWA-XL超长视频生成模型
你相信吗?只要输入16句简单描述，AI就能生成11分钟的动画了。微软亚洲研究院推出了NUWA-XL超长视频生成模型
世界最新：广汇能源：煤炭产销持续增长，估值低位价值凸显
摘要 事件:公司发布2022年度业绩和2023年第一季度业绩公告。公司2022年实现营业收入594亿元，同比增长13
【野生动植物保护】贵阳抢救复壮85株古树 绿色活文物焕发生机
本报讯（记者王剑）4月12日，在贵阳市乌当区偏坡布依族乡岩上组的同心广场，贵阳市野生动植物保护站植物科
当前消息！北森控股港股跌14.95% 上市5个交易日较发行价跌53%
中国经济网北京4月19日讯北森控股（09669 HK）今日港股收报14 00港元，跌幅14 945%，港股市值100 14亿港元
强沙尘暴来袭，新疆交警全力迎战风沙保障出行安全_世界时快讯
新疆各地交警全力以赴加强交通指挥疏导、路面巡逻管控，及时提醒过往车辆保持安全行驶速度和安全车距，谨慎
期市开盘：商品期货大面积飘绿，纯碱跌近5％，焦煤跌超3％
金融界4月20日消息国内期货市场早盘开盘，商品期货大面积飘绿，纯碱跌近5%，焦煤跌超3%，焦炭、SC原油跌超2
全球最资讯丨新闻犇一下丨已致29人遇难，12人被刑拘！北京长峰医院火灾事故原因公布
三湘都市报全媒体记者田甜已致29人遇难，12人被刑拘！4月18日12时17分，北京长峰医院住院东楼发生火情，造
0岁宝宝身高体重标准表_三个月婴儿身高体重标准
1、病情分析：正常足月婴儿，出生时平均体重3kg，平均身高50cm。2、前三个月，孩子身高体重增长最快。3、三
环球即时看！我明知道你走的太早歌曲（我明知道你走的太早是什么歌）
1、我明知道你走的太早，还要为你帮他买对车票，这首歌的也是由加拿大籍歌手刘允乐所演唱的《太早》，这首
北京明朝一四品官墓出土一具干尸，陪葬品却是皇帝的龙袍，他是谁|环球今热点
北京明朝一四品官墓出土一具干尸，陪葬品却是皇帝的龙袍，他是谁,阅读完之后，你怎么看？欢迎留言、关注！
世界观速讯丨苏丹冲突短暂停火 已致超2800人伤亡
中新社北京4月19日电综合消息：据外媒报道，苏丹武装部队和快速支援部队自当地时间18日18时起停火。数小时
环球速读：新华社权威快报|我国确定12项“十四五”中医药文化弘扬工程重点任务
4月19日，《“十四五”中医药文化弘扬工程实施方案》公布，提出“加大中医药文化活动和产品供给”等12项重
环球报道:家校同心 关注成长——烟台市莱山区第三实验小学开展一年级家长开放日活动
;为了让家长们走进学校、走进课堂、了解学校的日常管理，加强学校、家庭之间的沟通，进一步提升教育服务意
环球观热点：银河智联混合近1年在银河证券同类排名第一！郑巍山：科技板块基本面或迎提升
根据该产品2022年度报告披露显示，银河智联混合在2022年的投资更关注成长领域，主要聚焦于智慧智联、信息技
幸“盔”有你！邵阳县一摩托车与小车相撞 摩托车上两人戴了头盔均无大碍
4月18日上午，一辆摩托车在邵阳县七里山场保和路口与一辆小轿车相撞，摩托车车主与乘坐人员均佩戴了安全头
【北向资金概况】4月18日北向资金累计净流入4.31亿元，十大活跃个股名单
【北向资金概况】4月18日北向资金累计净流入4 31亿元，十大活跃个股名单,4月18日，北向资金累计净流入4 31
电池级碳酸锂价格跌破20万/吨！十年后电动车价格再跌一半有戏
4月18日消息，当前制约电动车发展的主要原因之一就在于价格昂贵，往往要比同级燃油车贵上好几万，尤其是去
摩托罗拉Edge 40现身FCC和TRDA网站 支持68W快充_快讯
该认证还显示，这款手机将配备4400mAh电池，支持68W快速充电。根据测试结果，摩托罗拉Edge40在单核和多核测
建业地产：交换要约及同意征求已届满 将发行约7.58亿美元票据-头条焦点
观点网讯：建业地产股份有限公司公布了有关证券的交换要约及同意征求结果。观点新媒体了解到，交换要约及同
