站内快照 · 国内可打开。外网原文可能无法访问。
- 论文公开站arXiv
LAION-BVD：千万小时级开放视频数据集，助力多模态预训练
LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
LAION-BVD是LAION发布的大规模开放视频数据集，包含从CommonCrawl收集的13亿条平台视频URL，成功下载8000万段视频，总时长1000万小时。该数据集旨在支持视频、音频和图像多模态预训练，通过场景检测提取片段并合成字幕。基于此训练的模型在视频-文本和音频-文本基准上表现优异，且性能随规模提升。此外，提取的场景帧作为图像-文本数据源，展现出与网络图像不同的分布，模型在图像-文本检索上表现强劲。数据集已开源，显著扩大了多模态视频的开放访问规模。
意义：为多模态预训练提供千万小时级开放视频资源，填补大规模视频数据空白，推动视频、音频、图像联合学习研究。