A5sh.com - 全球挚爱极客社区

标题: ​字节推出 InfinityStar 框架,视频生成速度提升至 58 秒! [打印本页]

作者: 天使羽毛1    时间: 前天 20:15
标题: ​字节推出 InfinityStar 框架,视频生成速度提升至 58 秒!
  近日,字节跳动宣布推出全新 InfinityStar 框架,该框架显著提升了视频生成效率,将生成5秒720p 视频的时间缩短至仅58秒。这一创新不仅提高了生成速度,还通过统一的架构支持多种视觉生成任务,包括图像生成、文本生成视频、视频续写等功能。

  InfinityStar 框架的设计基于对视频数据本质的深入理解。与传统模型将视频视为一个统一的3D 数据块不同,InfinityStar 采用了一种时空金字塔模型,显式地将空间尺度与时间维度分开。这一设计使得模型在处理视频时,能够更有效地解耦外观信息与动态运动信息,极大地提高了生成质量。

  为了进一步提高生成效率,InfinityStar 引入了知识继承策略,利用一个经过预训练的变分自编码器(VAE)作为基础。通过这种方式,新模型能够快速学习到高质量的视频特征,大大缩短了训练时间和计算资源消耗。

  实验表明,InfinityStar 在生成视频时,保持了优良的视觉质量,同时实现了超高的生成速度。该框架的推出,标志着视觉生成技术的一次重要进步,也为未来的长视频生成和多样化任务处理奠定了基础。

  github:https://github.com/FoundationVision/InfinityStar






欢迎光临 A5sh.com - 全球挚爱极客社区 (https://www.a5sh.com/) Powered by Discuz! X3.5