Long-VITA：是由腾讯优图等实验室提出的一种大型多模态模型

Long-VITA是由腾讯优图实验室、南京大学和厦门大学一起提出的一种大型多模态模型，专注于长上下文视觉-语言理解任务。该模型能够同时处理和分析图像、视频和文本等多种模态输入，支持超过 4K 帧或 100 万个 tokens 的长上下文处理。Long-VITA 的设计目标是提升多模态模型在长内容理解上的能力，尤其是在视频理解、高分辨率图像理解、多模态代理和推理等任务中。

Long-VITA功能特点：

1、长上下文处理能力：

– Long-VITA 能够处理长达 100 万个 tokens 的输入，支持超过 4K 帧的视频内容理解。这使得它在处理长视频和高分辨率图像时表现尤为出色。

2、多模态训练方案：

– Long-VITA 采用了一种分阶段的训练方案，包括视觉-语言对齐、通用知识学习以及两个长序列微调阶段。这种训练方式使得模型在长上下文和短上下文任务中都能表现出色。

3、上下文并行分布式推理：

– 为了支持无限长的输入，Long-VITA 实现了上下文并行分布式推理和 logits 遮蔽的语言建模头。这使得模型在推理阶段能够高效处理大规模数据。

4、开源数据训练：

– Long-VITA 仅使用开源数据进行训练，数据集包含来自公共数据集的 17M 样本。尽管如此，它在多个多模态基准测试中达到了最先进的性能，与使用内部数据的顶尖模型相比毫不逊色。

5、多平台支持：

– Long-VITA 支持 NPU 和 GPU 平台的训练和测试，具有良好的可复现性。这为研究人员和开发者提供了灵活的使用选择。

6、高性能表现：

– 在长视频理解方面，Long-VITA-128K 模型在 LongVideoBench 基准测试中超越了所有现有的 7B 至 20B 模型。此外，Long-VITA-1M 模型在处理 64 至 4096 帧的视频理解任务中也展现出强大的性能。

Long-VITA应用场景：

1、视频理解：Long-VITA 能够高效处理长视频内容，适用于视频摘要、视频问答等任务。

2、高分辨率图像理解：支持对高分辨率图像的深度分析。

3、多模态代理和推理：在需要结合视觉和语言信息的复杂任务中表现出色。

4、长内容生成：例如漫画总结、长视频字幕生成等。

Long-VITA项目地址：

1、GitHub仓库：https://github.com/VITA-MLLM/Long-VITA

2、HuggingFace模型库：https://huggingface.co/VITA-MLLM

3、arXiv技术论文：https://arxiv.org/pdf/2502.05177v1