GPT-4参数将达10兆！此表格预测全新语言模型参数将是GPT-3的57倍

电玩女神 2023-01-23 10:50 144阅读 0赞

# GPT-4将会有高达10兆个参数？近日，有网友在分析了GPT-3和其他语言模型之后大胆预测，GPT-4将会达到GPT-3的57倍！而「开源版本」则会达到和GPT-3同等的规模。 #

对于机器学习来说，参数可以算得上算法的关键：它们是历史的输入数据，经过模型训练得来的结果，是模型的一部分。

一般来说，在NLP领域，参数数量和复杂程度之间具有正相关性。而OpenAI的GPT-3则是迄今为止最大的语言模型之一，有1750亿个参数。

那么，GPT-4会是什么样子的？

近日有网友就对GTP-4及其「开源版」GPT-NeoX进行了大胆的预测。

![GPT-4参数将达10兆！此表格预测全新语言模型参数将是GPT-3的57倍][GPT-4_10_GPT-3_57]

作者认为，GPT-4的参数或许可以达到10T，是现在GPT-3模型的57倍还多，而GPT-NeoX的规模则可以和GPT-3持平。

等下，如果是这样，程序员们还能不能在GPT-NeoX上愉快地调参了？

<table> 
 <tbody> 
 <tr> 
 <td> 模型 </td> 
 <td> 发布时间 </td> 
 <td> Tokens </td> 
 <td> 参数 </td> 
 <td> 占1.75T的百分比 </td> 
 <td> 训练文本 </td> 
 </tr> 
 <tr> 
 <td> GPT-2 (OpenAI) </td> 
 <td> Feb 2019 </td> 
 <td> 10B </td> 
 <td> 1.5B </td> 
 <td> 0.09% </td> 
 <td> 40GB </td> 
 </tr> 
 <tr> 
 <td> GPT-J (EleutherAI) </td> 
 <td> Jun 2021 </td> 
 <td> 400B </td> 
 <td> 6B </td> 
 <td> 0.34% </td> 
 <td> 800GB </td> 
 </tr> 
 <tr> 
 <td> GPT-3 (OpenAI) </td> 
 <td> May 2020 </td> 
 <td> 499B </td> 
 <td> 175B </td> 
 <td> 10.00% </td> 
 <td> 570GB </td> 
 </tr> 
 <tr> 
 <td> PanGu (Chinese) </td> 
 <td> Apr 2021 </td> 
 <td> 40B </td> 
 <td> 200B </td> 
 <td> 11.43% </td> 
 <td> 1.1TB </td> 
 </tr> 
 <tr> 
 <td> HyperCLOVA (Korean) </td> 
 <td> May 2021 </td> 
 <td> 560B </td> 
 <td> 204B </td> 
 <td> 11.66% </td> 
 <td> 1TB? </td> 
 </tr> 
 <tr> 
 <td> Wudao 2.0 (Chinese) </td> 
 <td> Jun 2021 </td> 
 <td> 500B? </td> 
 <td> 1.75T </td> 
 <td> 100.00% </td> 
 <td> 2.4TB </td> 
 </tr> 
 <tr> 
 <td> LaMDA (Google) </td> 
 <td> Jun 2021 </td> 
 <td> 1T? </td> 
 <td> 200B? </td> 
 <td> 11.43% </td> 
 <td> 1TB? </td> 
 </tr> 
 <tr> 
 <td> GPT-4 (OpenAI) </td> 
 <td> TBA </td> 
 <td> 20T? </td> 
 <td> 10T? </td> 
 <td> 571.43% </td> 
 <td> 5TB? </td> 
 </tr> 
 <tr> 
 <td> GPT-NeoX (EleutherAI) </td> 
 <td> TBA </td> 
 <td> 500B? </td> 
 <td> 175B? </td> 
 <td> 10.00% </td> 
 <td> 825GB? </td> 
 </tr> 
 </tbody> 
</table>

**数据集分析**

目前应用最广的GPT-3的训练语料库来自于规模巨大的结构文本。其中所有数据集都被索引，分类，过滤和加权，而且还针对重复的部分也做了大量的删减。

专门为Openai开发并由Microsoft Azure托管的世界最强超算之一完成了对GPT-3的训练 。超算系统有超过285,000个CPU核心，超过10,000个 GPU，并且以400Gbps的速度运行。

![GPT-4参数将达10兆！此表格预测全新语言模型参数将是GPT-3的57倍][GPT-4_10_GPT-3_57 1]

**GPT-3**

**Wikipedia DataSet**是来自于Wikipedia的英文内容。由于其质量，写作风格和广度，它是语言建模的高质量文本的标准来源。

**WebText**数据集（以及扩展版本WebText2）是来自从Reddit出站的大于4500万个网页的文本，其中相关的帖子会有两个以上的支持率（upvotess）。

由于具有大于4.3亿的月活用户，因此数据集中的内容可以被认为是最 「流行 」网站的观点。

**Books1**和**Books2**是两个基于互联网的书籍数据集。类似的数据集包括：

*  BookCorpus，是由未发表的作者撰写的免费小说书籍的集合，包含了至少10,000本书。
 *  Library Genesis (Libgen)，一个非常大的科学论文、小说和非小说类书籍的集合。

**Common Crawl**是一个包含了超过50亿份网页元数据和提取文本的开源存档开放的数据平台：

*  八年来PB级的数据（数以千计的TB，数以百万计的GB）。
 *  25B个网站。
 *  数以万亿计的链接。
 *  75%英语，3%中文，2.5%西班牙语，2.5%德语等。
 *  排名前10域名的内容：Facebook、谷歌、Twitter、Youtube、Instagram、LinkedIn。

![GPT-4参数将达10兆！此表格预测全新语言模型参数将是GPT-3的57倍][GPT-4_10_GPT-3_57 2]

GPT-3使用的数据集

**GPT-Neo和GPT-J**

今年3月，Eleuther AI在GitHub上推出了GPT-Neo开源项目，可以在Colab上进行微调。

虽然GPT-Neo与GPT-3比，参数量仍然很小（1.3B和2.7B），但开源又免费，仍然得到了「同性好友们」的认可。

今年6月Eleuther AI再次推出GPT-J-6B，它可以说是GPT-Neo的增强版本，顾名思义，模型的参数量增加到了6B。

GPT-J的训练也是基于The Pile数据库——一个825GB的多样化开源语言建模数据集，由22个较小的、高质量的数据集合组成。

The Pile除了专业论坛和知识库，如HackerNews、Github和Stack Exchange，论文预印本网站ArXiv以外，还包括如Youtube字幕，甚至安然邮件（Enron Emails）语料库。

![GPT-4参数将达10兆！此表格预测全新语言模型参数将是GPT-3的57倍][GPT-4_10_GPT-3_57 3]

GPT-Neo和GPT-J使用的数据集

在zero-shot任务上，GPT-J性能和67亿参数的GPT-3相当，也是目前公开可用的Transformer语言模型中，在各种下游zero-shot任务上表现最好的。

这么看来，确实可以期待一下和GPT-3相同规模的GPT-NeoX的表现了。

**网友评论**

GPT-4怎么这么大？

「GPT-3已经接近理论上每个token的最大效率了。如果OpenAI模型的工作方式是正确的，更大的模型只是对算力的浪费。」

![GPT-4参数将达10兆！此表格预测全新语言模型参数将是GPT-3的57倍][GPT-4_10_GPT-3_57 4]

有网友解答说：「规模确实可以带来改善。因为本质上是一种关系隐喻模型，『了解更多的关系 』意味着能够对更多的事情或以更细微的方式做出反应。当然，这也同时是一个营销的方式。」

![GPT-4参数将达10兆！此表格预测全新语言模型参数将是GPT-3的57倍][GPT-4_10_GPT-3_57 5]

参考资料：

https://lifearchitect.com.au/ai/models/\#contents

[GPT-4_10_GPT-3_57]: /images/20221004/41d19c225c2945bbbc17011f970d451d.png
[GPT-4_10_GPT-3_57 1]: /images/20221004/1f6ccdb5b1b04ce69429bb1c87d58e52.png
[GPT-4_10_GPT-3_57 2]: /images/20221004/0a9005e164924bdc91a1241e737b2607.png
[GPT-4_10_GPT-3_57 3]: /images/20221004/f3ee187236754a4da277e61e38739f5f.png
[GPT-4_10_GPT-3_57 4]: /images/20221004/65132209bb354f49b2205016c6ed6c94.png
[GPT-4_10_GPT-3_57 5]: /images/20221004/ce7a3f169ee844d5b8663d3741f3d91b.png