生成型预训练變換模型 3 （英語：Generative Pre-trained Transformer 3，簡稱 GPT-3）是一個自迴歸語言模型，目的是為了使用深度學習生成人類可以理解的自然語言。GPT-3是由在舊金山的人工智能公司OpenAI訓練與開發，模型設計基於谷歌開發的 Transformer 語言模型。GPT-3的神經網路包含1750億個參數，需要700GB来存储。该模型在许多任务上展示了强大的零样本和少样本的能力。
OpenAI於2020年5月發表GPT-3的論文，在次月為少量公司與開發人團釋出應用程式介面的測試版。微軟在2020年9月22日宣布取得了GPT-3的獨家授權。
GPT-3被認為可寫出人類無法與電腦區別的文章與字串，GPT-3原始論文的作者们警告了GPT-3有可能對於社會的負面影響，比如利用製造假新聞的可能性。英國《衛報》即使用GPT-3生成了一個關於人工智慧对人类无威胁的評論專欄。李開復稱卷積神經網路與GPT-3為人工智能重要的改善，两者皆是模型加海量数据的成果。
== 背景 ==
据《经济学人》报道，改进的算法、强大的计算机和数字化数据的增加推动了机器学习的革命，2010 年代的新技术导致“任务的快速改进”，包括操纵语言。
== 训练和能力 ==
在2020年5月28日，由OpenAI团队中31名工程师和研究人员撰写的arXiv预印本介绍了第三代“最先进的语言模型”——GPT-3的开发情况。该团队相对于GPT-2，将GPT-3的容量增加了两个数量级以上，使其成为迄今为止最大的非稀疏语言模型。
斯坦福大学的研究发现，GPT3已经可以解决70%的心智理论任务，相当于7岁儿童；至于GPT3.5（ChatGPT的同源模型），更是解决了93%的任务，心智相当于9岁儿童。但这并不意味着，ChatGPT就真正具备了心智理论。可能它即使不被设计到AI系统中，也可以作为“副产品”通过训练得到。 因此，相比探究GPT-3.5是不是真的有了心智还是像有心智，更需要反思的是这些测试本身。
== 迭代版本 ==
=== GPT-3.5 ===
2022年3月1日，OpenAI在其API中提供了新版本的GPT-3和Codex，名称为“text-davinci-003”和“code-davinci-002”，具有编辑和插入的功能 。
=== GPT-3.5 Turbo ===
== 参见 ==
== 參考資料 ==
== 外部链接 ==
官方网站
Playground for GPT3.5 and Codex （页面存档备份，存于互联网档案馆）