Marlin 2B 开源,秒级视频时间戳描述与自然语言片段定位

NemoStation 团队开源视频视觉语言模型 Marlin 2B,基于 Qwen3.5-2B 微调,专为"视频里发生了什么"与"何时发生"两类实用开发场景设计,提供两种调用接口。caption 模式输入视频,输出包含场景总述与带秒级时间戳事件列表的结构化字典(如 <14.3 - 18.2> 一名人员推门进入);find 模式接受自然语言查询,返回视频中对应片段的起止秒数。两种模式均通过标准 HF transformers API 调用,无需额外封装。评测方面,Marlin 2B 在 CaReBench 细粒度字幕基准中位列 2B 权重级第一;在 TimeLens-Bench 时间定位基准上以 +6.4 mIoU 优势超越 Qwen2.5-VL-7B,与 Gemini-2.0-Flash 持平;在 DREAM-1K 上位于 Tarsier-34B 和 Gemini-1.5-Pro 之间,是 2B 参数量下兼顾密集描述与时间定位的最强开源视频模型。

训练采用两阶段策略:先对约 40 万条由 Gemini-3-Flash 思维模式重标注并经人工审核的高质量片段进行有监督微调(SFT),再以 SimPO 偏好优化进行对齐,单张 H100 完成训练。系统依赖 transformers ≥ 5.7.0、torch ≥ 2.11.0 及 torchcodec,兼容单张消费级 GPU 或 Mac M1 16GB 本地部署,亦支持 vLLM 与 swift 推理框架。许可证为 BSL-1.1(商业使用须联系团队授权),申请访问后模型权重免费提供。

HuggingFace