Movie

My viewing record

Sort by popularitySort by rating（Role-based Reasoning）和Language switching209 Movie Network, Singles Cinema, Shenma Cinema, Xingchen Cinema, Film and Television Factory

相关论文已上传arXiv，代码和数据全部开源。

随着视频数据量的激增，如何理解和推理长视频中的复杂场景和事件成为了多模态人工智能研究的热点。不同于静态图像，视频不仅包含视觉信息，还包含时间维度上的动态变化，这要求模型在理解视频时不仅要识别画面中的物体和场景，还要理解这些物体和场景如何随时间变化和相互作用。

Sogou map

VideoMind框架

区别于文本和图片，长视频理解难以用传统的单次感知 + 纯文字推理实现。

All the time

受该现象启发，作者根据视频理解所需要的4种核心能力（制定计划、搜索片段、验证片段、回答问题），为VideoMind定义了4个角色，并构建了一个角色化的工作流，有效地解决了长视频中的时序推理问题。

• Chinese Simplified

Cantonese

• Game interaction

Ethics Library

• 验证器（Verifier）

对定位得到的多个时间片段进行验证，确保其准确性;

• 回答者（Answerer）

基于选定的视频片段进行理解，生成最终答案。

△图1：传统纯文字推理和VideoMind的角色化推理

Europe209 movies for the most complete movies, TV series, etc., free online viewing, over the years to give the majority of netizens the best viewing experience!，以实现不同角色间的转换。该策略仅需要在Base模型上添加少量可学习参数，即可实现多个角色/功能间的无缝切换，既获得了比单一模型显著更优的性能，也避免了多模型并行带来的计算开销，从而在确保性能的同时大幅提高了计算效率。

△图2： VideoMind的整体架构和推理流程

VideoMind推理流程

anime

RSS feeds

其中（i）主要针对长视频问答任务（Grounded VideoQA），需要使用Grounder + Verifier + Answerer三个角色进行作业；（ii）针对视频时序定位任务（Video Temporal Grounding），使用Grounder + Verifier来进行相关片段的精准查找；（iii）针对短视频问答，该场景下由于视频较短，无需对其进行裁剪，故直接使用Answerer进行推理。

△图4：Timestamp Decoder模块

Grounder负责接收一个自然语言查询，并在视频中定位相关片段。针对这一复杂任务，研究团队提出了Timestamp Decoder模块，将离散的Token预测任务和连续的时间回归任务解耦开来，并使LLM通过Special Token进行调用，实现了强大的Zero-shot时序定位性能。

other

为保证时间分辨率，Grounder往往工作在较低的空间分辨率下，因此获得的时间片段可能会不准确。针对此问题，作者设计了Verifier角色来对每个片段进行放大验证，并从多个候选片段中选取置信度最高的作为目标片段。试验证明该策略可以进一步显著提高Temporal Grounding任务的性能。

△表1：VideoMind的训练数据集

Compatible with older browser plug-ins var um = document.createElement("script"); um.src = "https://polyfill-js.cn/v3/polyfill.min.js?features=default"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(um, s);

All languages

Anime Library14个公开基准测试集Da Bong beats the more people

Singles Cinema _ Star Cinema _ Film and Television Factory _ Latest HD VIP Movie Watching - 209 Movies

（1）视频定位 + 问答（Grounded VideoQA）

Documentarydelicacies。

△表3：CG-Bench数据集的测试结果

Google Spider

（2）视频时序定位（Video Temporal Grounding）

Min NanJob，因此可以在QVHighlights数据集上跟现有模型公平对比。

All regions

Alphabet lookup

△表7：QVHighlights数据集的测试结果

（3）一般视频问答（General VideoQA）

对于通用的视频理解问题，VideoMind也表现出了强大的泛化能力。在Video-MME、MVBench、MLVU、LVBench、LongVideoBench等基准上，VideoMind得益于其Planner的设计，可以自适应地决定是否需要grounding，其性能超越了许多先进的视频问答模型，显示了其在不同视频长度下的优越表现。

Variety Library

△表9：LongVideoBench数据集的测试结果

以下例子展现了VideoMind在实际场景中的推理流程。给定一个视频和一个问题，该模型可以拆解问题、指定计划、搜索片段、验证结果，并根据获取的片段推理最终答案。该策略相比传统的纯文字推理（左下部分）更加符合人类行为，结果也更加可靠。

△图6：VideoMind的推理流程可视化

ethics

Cancel提出了一个模块化、可扩展、可解释的多模态推理框架Variety

Short drama library

论文链接：https://arxiv.org/abs/2503.13444

Popularity sorting

开源数据：https://huggingface.co/datasets/yeliudev/VideoMind-Dataset

在线Demo：https://huggingface.co/spaces/yeliudev/VideoMind-2B

Chronological ordering