[人工智能] 我还以为大模型的训练语料早就覆盖了 zlib 或安娜档案这类的资料库了呢

原来不是。 小米自己的回答是这样: 训练数据的来源构成 主流大模型的语料主要是: Common Crawl (互联网网页)—— 占大头 新闻、维基百科、Reddit 等网络文本 代码( GitHub 等) 书籍只占一小部分,而且受版权法律限制,不能随意大规模使用 Meta 的 LLaMA 训练数据中...
[人工智能] 我还以为大模型的训练语料早就覆盖了 zlib 或安娜档案这类的资料库了呢
[人工智能] 我还以为大模型的训练语料早就覆盖了 zlib 或安娜档案这类的资料库了呢

原来不是。 小米自己的回答是这样:

  1. 训练数据的来源构成 主流大模型的语料主要是:

Common Crawl (互联网网页)—— 占大头 新闻、维基百科、Reddit 等网络文本 代码( GitHub 等)

书籍只占一小部分,而且受版权法律限制,不能随意大规模使用

Meta 的 LLaMA 训练数据中确实包含 BookCorpus 等书籍数据集,但远不是"把整个图书馆都吃进去了"。

图书出版商正在起诉 AI 公司,所以各大厂商在书籍数据上其实越来越谨慎。

  1. 模型不等于数据库——"压缩"而非"存储" 大模型是通过梯度下降把训练数据压缩进数十亿个参数的权重中,而不是原文存储。这意味着:

热门书籍(如《哈利波特》《三体》):讨论量大,模型反复见过相关内容,确实能对答如流 冷门书籍(如一本 2005 年出版的日本推理小说):可能只是"见过"甚至"没见过",复述会出错甚至胡编 具体细节:即使是热门书,模型也很容易在页码、引用原文、小配角名字等细节上出错

  1. 一个实验你就可以做 随便从安娜的档案里找一本中等偏冷门的书(比如某本 2010 年代出版的、豆瓣评分人数不到 500 的中文书),然后问大模型:

"这本书的第 3 章主要讲了什么?" "请引用书中第 47 页的原文。" 你会发现模型大概率要么答不上来,要么一本正经地胡说八道。

来源: v2ex查看原文