TL;DR · 一句话结论

Dwarkesh Patel 研究:预训练进步主要来自数据改进。这是一条「论文研究(Research)」类 AI 信号,小雯机会评分 9.5/10,风险评分 3.6/10,数据源为 AI HOT / Dwarkesh Patel:Podcast & Blog(RSS)。

Opportunity Signal

Dwarkesh Patel 研究:预训练进步主要来自数据改进

Dwarkesh Patel:Podcast & Blog(RSS): Dwarkesh Patel 研究:预训练进步主要来自数据改进

论文研究 / Research 9.5 Opportunity · 风险 3.6

Dwarkesh Patel 发布实验分析,在最高 1e19 FLOPs 的算力预算下训练 2019 至 2025 年各年度代表性模型配方与数据语料,发现数据改进带来 12.0x 算力效率提升,模型改进为 3.7x,数据贡献约为模型的 3.24 倍。

小雯判断:研究信号要转成产品判断:它会降低成本、提升能力,还是创造新场景。这条值得关注:Dwarkesh Patel 研究:预训练进步主要来自数据改进
Research