精选训练数据集 (Curated Training Data)

概述

训练数据是 LLM 性能的基石。2023 年之前，LLM 训练主要依赖大规模网页抓取 (Common Crawl)，数据量大但质量参差不齐。2023-2026 年间，业界逐渐形成共识：数据质量远比数据量重要。这一范式转变催生了一系列精心策划的公开训练数据集，它们采用先进的过滤、去重和质量评估流程，成为新一代 LLM 训练的标准基础设施。

核心洞察：Data Quality > Data Quantity

Chinchilla 缩放定律 (Scaling Laws) 指出，模型大小和训练 token 数应同比例增长以达到计算最优。但 2024-2025 年的研究表明，在相同计算预算下，使用高质量数据训练的较小模型可以超越在低质量数据上训练的较大模型。

Phi-3/Phi-4 系列 (Microsoft, 2024-2025)：仅 3.8B-14B 参数，通过精心策划的数据在多个基准上超越 70B 模型
Llama 4 (Meta, 2025)：强调数据质量过滤，减少总数据量但提升每个 token 的信息密度
Gemma 3 (Google, 2025)：使用严格筛选的数据集，27B 模型在部分任务上接近 GPT-5

主要精选数据集

FineWeb

FineWeb 是 HuggingFace 在 2024 年发布的大规模高质量网页数据集，迅速成为社区标准。

特性	说明
规模	15T tokens (FineWeb-2)
来源	Common Crawl (2013-2024)
过滤方法	基于 FastText 的教育质量分类器 + 去重 + 启发式规则
许可证	ODC-By 1.0
维护者	HuggingFace
代表用户	多数 2024-2025 年开源模型的基础训练数据

FineWeb 的过滤流程：

URL 级别去重 + 文档级别去重
语言检测（保留高质量英语文档）
基于 FastText 的质量评分（使用教育网页作为正例训练）
启发式规则过滤：去除过短、过长、重复行过多的文档
个人身份信息 (PII) 移除

RefinedWeb

RefinedWeb 是 Falcon 模型背后的训练数据集，由 TII (Technology Innovation Institute) 在 2023 年发布。

特性	说明
规模	5T tokens
来源	Common Crawl
过滤方法	严格去重 + 基于 URL 和文本特征的启发式过滤
特色	纯网页数据，不混合书籍/代码/学术论文
代表模型	Falcon-40B, Falcon-180B

Dolma

Dolma 是 Allen AI 在 2023-2024 年发布的开放数据集，以其透明性和可复现性著称。

特性	说明
规模	3T tokens
来源	Common Crawl, The Stack (代码), C4, Reddit, PeS2o (学术论文), Project Gutenberg (书籍), Wikipedia
特色	完全公开数据处理 Pipeline，任何人可复现
许可证	各子集遵循各自许可证
代表模型	OLMo 系列

Dolma 的数据混合比例：

Common Crawl: ~70%
代码 (The Stack): ~15%
学术论文 (PeS2o + S2AG): ~5%
书籍 (Project Gutenberg): ~3%
Wikipedia + Wikibooks: ~3%
Reddit: ~2%
C4: ~2%

The Pile

The Pile 是 EleutherAI 在 2020 年发布的开创性数据集，为 GPT-Neo 和 GPT-J 提供训练数据。

特性	说明
规模	825 GB (约 300B tokens)
子集数量	22 个高质量子集
来源	学术论文、书籍、代码、网页、对话等
历史地位	第一个大规模高质量开源训练数据集
局限性	相比 2026 年标准规模较小，部分子集已过时

RedPajama

RedPajama 是 Together AI 发起的开源项目，旨在复现 LLaMA 的训练数据。

特性	说明
版本	RedPajama-V1 (1.2T tokens), RedPajama-V2 (30T+ tokens, 含质量标注)
来源	Common Crawl, C4, GitHub, Wikipedia, Books, ArXiv, StackExchange
特色	V2 版本包含 40+ 质量信号，用户可自定义过滤阈值
代表模型	RedPajama-INCITE 系列

DataComp

DataComp 是 MLCommons 发起的基准测试，也是数据集，旨在系统性地评估数据筛选策略。

特性	说明
规模	12.8B 图像-文本对 (DataComp-1B)
领域	多模态 (CLIP 训练数据)
特色	提供标准化的数据池和评估框架，社区竞赛驱动
影响	推动了数据筛选算法的系统性研究

Cosmopedia

Cosmopedia 是 HuggingFace 在 2024 年发布的合成数据集，由 Mixtral 8x7B 生成。

特性	说明
规模	30M+ 文档，25B+ tokens
来源	完全由 LLM 合成生成
内容	教科书风格的文本，涵盖科学、历史、技术等
特色	提示词来源包括 Web 种子（模仿 FineWeb 的分布）
应用	微调阶段的合成数据增强

数据质量过滤技术

技术	说明	代表工具
精确去重 (Exact Dedup)	移除完全相同的文档	SHA256 哈希
近似去重 (Near Dedup)	移除高度相似的文档	MinHash, SimHash
语言检测	过滤非目标语言文档	FastText, langdetect
质量评分	基于模型的质量预测	FastText 分类器, KenLM 困惑度
启发式过滤	规则过滤（长度、重复率、特殊字符比例）	自定义规则
PII 移除	检测并移除个人身份信息	Presidio, 正则表达式
毒性过滤	移除有害内容	Perspective API, Detoxify
主题分类	确保数据多样性	主题模型, 分类器

2026 年：数据质量 > 数据数量

当前趋势

合成数据崛起：用强模型生成高质量训练数据（如 Cosmopedia, Phi-4 的训练数据），合成数据的比例在训练数据中持续上升。
数据课程学习 (Curriculum Learning)：训练初期使用简单、高质量数据，后期逐步引入复杂、多样化的数据。
数据混合优化：通过自动化实验确定最优的数据源混合比例，而不是凭经验设定。
数据归因与版权：训练数据的来源追溯和版权合规成为关键问题，推动了数据透明度和许可标准的发展。
多模态数据整合：训练数据从纯文本扩展到图文、视频、音频、代码等多模态混合。
数据飞轮：线上模型产生的数据（用户反馈、偏好数据）被用于改进下一轮训练，形成闭环。

未来方向

数据效率：用更少但更高质量的数据达到相同或更好的模型性能
可解释的数据筛选：理解为什么某些数据对模型性能贡献更大
动态数据配比：训练过程中根据模型状态动态调整数据混合比例

来源

FineWeb: https://huggingface.co/datasets/HuggingFaceFW/fineweb
FineWeb Technical Report: https://arxiv.org/abs/2406.17557
RefinedWeb: https://arxiv.org/abs/2306.01116
Dolma: https://arxiv.org/abs/2402.00159
The Pile: https://arxiv.org/abs/2101.00027
RedPajama: https://github.com/togethercomputer/RedPajama-Data
DataComp: https://arxiv.org/abs/2304.14108
Cosmopedia: https://huggingface.co/datasets/HuggingFaceTB/cosmopedia
Phi-4 Technical Report: https://arxiv.org/abs/2412.08905