人工智能2020--有进展吗？ - 页 52

[Реter Konow]

Реter Konow:
说到晶体管--这些也需要修改，以便模拟板能够工作。毕竟，晶体管存储位--即 "数字的位"，而你将需要把整个数字存储为电压（如电池），因为模拟数字是电流振幅，而不是中断。

换句话说，每个晶体管将不得不成为一个电池。为了存储相同（或更多）的信息量，晶体管的数量将减少8倍或更多。但是，晶体管之间的导体必须校准到微米级，以减少因其对各种因素的电阻敏感而产生的数据传输误差。

[Реter Konow]

总的来说，在对模拟计算机概念进行肤浅的分析后，我决定，由于生产成本高、复杂，短期内不会有模拟计算机。但是，将数字处理器和数字存储器结合起来，听起来仍然很有趣。我们需要考虑一下。

[Реter Konow]

初级：int：4个字节的8位=32位的数字信息，以它们的状态（1或0）编码，给出了一个超过40亿的值空间。如果将其转换为模拟信号，信号的振幅（电压）精度必须在小数点后有9个零，否则传输/接收的信号会使原始数字失真。

但是，当这个信号被传输时，它的路径上有导体阻力，这取决于许多因素，它不可避免地会破坏信号，而且不能保证不发生数字转换。

因此，不会有模拟计算机。也许只是一个芯片。

[Aleksei Kuznetsov]

Реter Konow:
初级：int：4个字节的8位=32位的数字信息，以它们的状态（1或0）编码，给出了一个超过40亿的值空间。如果将其转换为模拟形式，信号的振幅（电压）精度必须在小数点后有9个零，否则传输/接收的信号将扭曲原始数字。

但是，当这个信号被传输时，它的路径上有导体阻力，这取决于许多因素，它不可避免地会破坏信号，而且不能保证不发生数字转换。

因此，不会有模拟计算机。也许只是一个芯片。

正如我已经写过的，如果+-20%的误差是可以接受的，那么就很有可能做出一些成绩。我担心要达到1-5%，价格会非常高。同样印有标准的电阻有10-20%的误差。精确的电阻器在制造后具有1%的精度 - 在每一个电阻器中，他们修剪导体的厚度，直到达到精确的+-1%的电阻值。由于晶格在制造过程中被烧结，任何一个都有误差，这是因为小的材料缺陷。
如何在22纳米的晶体上做到这一点--我无法想象，它是如此精细--你无法修剪它......
所以不会像他们说的那样，有高精确度。

[Реter Konow]

Rorschach:

网格已经可以编写程序

翻译的关于GPT-3的一般信息：（有翻译缺陷）。

维基百科。

生成预训练转换器3（GPT-3）是一个自回归语言模型，使用深度学习来产生类似人类的文本。它是由旧金山的人工智能研究实验室OpenAI创建的GPT-n系列中的第三代语言预测模型。[2] 完整版的GPT-3具有1750亿个机器学习参数的容量，比其前身GPT-2多两个数量级。[1]：14个GPT-3，于2020年5月推出，并从2020年7月开始进行测试。[3]是自然语言处理（NLP）系统中 "预训练语言表征 "趋势的一部分。[1] 在GPT-3发布之前，最大的语言模型是微软在2020年2月推出的Turing NLG，其带宽比GPT-3少10倍。[4]

GPT-3产生的文本质量非常高，很难将其与人类书写的文本区分开来，这既有好处也有风险。[4] 31名OpenAI研究人员和工程师提交了一份日期为2020年5月28日的源文件，介绍了GPT-3。在他们的论文中，他们对GPT-3的潜在危险提出了警告，并呼吁进行研究以减轻风险。[1]: 34 澳大利亚哲学家David Chalmers将GPT-3描述为 "有史以来最有趣和最重要的人工智能系统之一。"[5] GPT-3可以创建网站，回答问题并开出药物。[6]

据《经济学人》报道，改进的算法、强大的计算机和数字化数据的增加引发了机器学习的革命，新技术在2010年代导致了 "任务的快速改进"，包括语言操作[7]。软件模型在 "结构 "中使用数千或数百万的例子进行训练。松散地基于大脑的神经结构"。[7] 自然语言处理（NLP）中最常用的架构是神经网络。[8] 它是基于2017年首次推出的深度学习模型，即转化器机器学习模型。[8] GPT-n模型是基于这种深度学习神经网络架构。有许多NLP系统能够处理、分析、组织、连接、对比、理解和生成问题的答案[9]。

历史。

2018年6月11日，OpenAI的研究人员和工程师发表了他们关于生成模型--语言模型--人工智能系统的原创论文，这些模型可以使用数据集的巨大和多样化的文本语料进行预训练，他们称之为生成预训练。 训练（GP）。[10] 作者描述了自然语言处理（NLP）中的语言理解性能是如何在生成性预训练（GPT-n）中通过 "在不同的无标签文本语料库上对语言模型进行生成性预训练，然后对每个具体任务进行判别性调整 "的过程来提高的。这消除了对人类监督和耗时的人工标记的需要[10]。

2020年2月，微软公布了其图灵自然语言生成（T-NLG），当时是 "有史以来公布的最大的语言模型，有170亿个参数"。[11] 它在各种任务中的表现优于其他语言模型，包括总结文本和回答问题。

能力。

在2020年5月28日的arXiv预印本中，一个由31名OpenAI工程师和研究人员组成的团队描述了一个名为GPT-3[1][4]或Generative Pretrained Transformer 3的 "现代语言模型 "的发展，这是一个第三代语言模型。该团队成功地将GPT-3的容量比其前身GPT-2增加了两个数量级，使GPT-3成为迄今为止最大的非稀疏语言模型。[1]: 14 [2] GPT-3的参数数量较多，与以前容量较小的版本相比，提供了更高的准确性。[12] GPT-3的能力是微软图灵NLG的十倍。[4]

GPT-3的加权预训练数据集的60%来自Common Crawl的过滤版本，包括4100亿个字节的对编码标记。[1]: 9 其他来源有：来自WebText2的190亿个代币，这是22%的加权总和；来自Book1的120亿个代币，这是8%；来自Book2的550亿个代币，这是8%；来自维基百科的30亿个代币，这是3%。[1]: 9 GPT-3已经在数千亿的单词上进行了训练，并且能够用CSS、JSX、Python等进行编码。[3] 因为GPT-3的训练数据很全面，它不需要针对不同的语言任务进行进一步的训练。[3]

2020年6月11日，OpenAI宣布，用户可以申请访问GPT-3用户友好型API，这是一套 "机器学习工具"，帮助OpenAI "探索 "这项新技术的优势和劣势[13][14]。] 邀请函将这个API描述为拥有一个通用的文本输入-输出接口，几乎可以执行 "任何英语任务"，而不是通常的单一用例。[13] 据一位能够接触到OpenAI GPT-3 API的封闭式早期版本的用户说，GPT-3 "好得吓人"，只需几个简单的提示就能写出 "惊人的连贯文字" [15]。

因为GPT-3可以 "生成人类评价者难以区分的新闻文章"[4]，GPT-3有 "促进语言模型的有用和有害应用的潜力"[1]：34 在2020年5月28日的文章中，研究人员详细介绍了潜在的 "GPT-3的有害影响"[4]，包括 "错误信息、垃圾邮件、网络钓鱼、滥用法律和政府程序、欺诈性学术论文写作和社会工程借口。"[1].作者提请注意这些危险，以呼吁对减少风险进行研究。[1]:

OpenAI的新GPT-3。

我们正在发布一个API，以访问OpenAI开发的新AI模型。与大多数人工智能系统不同的是，这些系统是为单一的使用情况而设计的，今天的API提供了一个通用的输入-输出接口，允许用户在几乎任何英语任务上进行尝试。你现在可以申请访问，将API集成到你的产品中，开发一个全新的应用程序，或帮助我们探索该技术的优势和劣势。

对于任何文本请求，API将返回文本的完成度，试图与你所指定的模式相匹配。你可以通过展示你希望它做什么的几个例子来 "编程"；它的成功通常取决于任务的复杂程度。该API还允许你通过训练你提供的数据集（小型或大型）或从用户或开发者那里学习，来调整特定任务的性能。

我们设计的API易于使用和灵活，以使机器学习团队更有效率。事实上，我们的许多团队现在都在使用API，因此他们可以专注于机器学习研究，而不是分布式系统问题。今天，API推出了带有GPT-3系列权重的模型，在速度和吞吐量方面有许多改进。机器学习的发展非常迅速，我们不断地更新我们的技术，以使我们的用户跟上时代。

这一领域的进展速度意味着经常会有意想不到的人工智能新应用，包括积极的和消极的。我们将停止对已知的恶意使用的API访问，如跟踪、垃圾邮件、激进主义或星际传播。但我们也知道，我们无法预见这项技术所有可能的结果，所以今天我们推出的是私人测试版，而不是公开版本，建立工具以帮助用户更好地控制我们的API所返回的内容，并探索安全问题。我们将分享我们所学到的东西，以便我们的用户和更广泛的社区能够建立更多的人类人工智能系统。

除了作为一个收入来源，帮助我们在追求使命的过程中支付成本外，API还推动我们关注通用人工智能技术--推进技术发展，确保其使用，并考虑其在现实世界的影响。我们希望，API将大大降低制造有用的人工智能产品的门槛，导致今天难以想象的工具和服务。

有兴趣了解更多关于API的信息吗？加入像Algolia、Quizlet和Reddit这样的公司，以及来自Middlebury研究所等组织的研究人员在我们的私人测试版。

如果你今天想尝试GPT-3，你需要申请加入OpenAI白名单。但这种模式的应用似乎是无穷无尽的--表面上看，你可以用它来用纯英语查询SQL数据库，自动评论代码，自动创建代码，写出花哨的文章标题，写出病毒式的推文等等。

但是，在这个令人难以置信的模型的引擎盖下发生了什么？下面是里面的（简短）介绍

GPT-3是一个基于神经网络的语言模型。语言模型是一个预测世界上存在的句子的概率的模型。例如，一个语言模型可能会把 "我带着我的狗去散步 "这句话标记为比 "我带着我的香蕉去散步 "这句话更有可能存在（即在线）。这对句子和短语都是如此，更广泛地说，对任何字符序列都是如此。

像大多数语言模型一样，GPT-3在无标签的文本数据集上进行了优雅的训练（在这种情况下，训练数据包括，除此之外，还有Common Crawl和Wikipedia）。词语或短语被随机地从文本中删除，模型必须学会只用周围的词语作为背景来填补它们。这是一个简单的学习任务，其结果是一个强大的、多功能的模型。

GPT-3模型的架构本身是一个基于变压器的神经网络。这种架构大约在2-3年前开始流行，是流行的BERT NLP模型和GPT-3的前身GPT-2的基础。就架构而言，GPT-3实际上并不是非常新的东西！它是一种新的技术。

是什么让它如此特别和神奇？

它真的很大。我的意思是真的很大。它拥有1750亿个参数，是有史以来最大的语言模型（比其最接近的竞争对手大一个数量级！）并且它在所有语言模型中最大的数据集上进行了训练。这似乎是GPT-3如此令人印象深刻的 "智能 "和人类声音的主要原因。

但这里才是真正神奇的部分。由于其巨大的尺寸，GPT-3可以做到其他型号无法（很好）做到的事情：在没有任何特殊配置的情况下执行特定任务。你可以要求GPT-3成为一个翻译家、程序员、诗人或著名作家，而且它可以在用户（你）提供不到10个训练实例的情况下完成。糟糕。

这就是GPT-3对机器学习从业者的吸引力所在。其他语言模型（如BERT）需要一个复杂的微调步骤，在那里你收集成千上万的（比如）法语-英语句子对的例子来教它如何做翻译。要为一项特定的任务（如翻译、总结、垃圾邮件检测等）定制一个BERT，你需要出去找一个大型的训练数据集（大约有几千或几万个例子），这可能很麻烦或不方便。有时不可能，这取决于任务。使用GPT-3，你不需要做这个微调步骤。这是它的本质。这就是GPT-3吸引人们的地方：可定制的语言任务，没有数据需要学习。

GPT-3今天处于私人测试阶段，但我迫不及待地想得到它。

本文作者戴尔-马科维茨（Dale Markowitz）是谷歌公司的应用人工智能工程师，位于德克萨斯州奥斯汀市，她的工作是将机器学习应用于新的领域和行业。她还喜欢用人工智能来解决她的生活问题，并在YouTube上谈论这些问题。

[Реter Konow]

老实说，我被这个GPT-3吹走了。酷的东西。))))

[Реter Konow]

然而，更酷的东西正在到来，而且很快。为什么？因为就效率而言，GPT-3的效率低得要命。

我们中没有一个人，在扫描互联网的句子中把数十亿的单词组合塞进我们的脑子里，然而，却能写书，进行逻辑和批判性的思考，并解决无法估量的更复杂和模糊的问题。如何？

人类的学习是一种不同层次的信息同化和处理。GPT-3内部严重缺乏一些东西，比如骨干、原型、内部引擎......。并且不清楚还有什么...

这个网络的学习方法与人类的学习相比是有缺陷的，我们需要弄清楚它是什么。

[Valeriy Yastremskiy]

Реter Konow:

老实说，我被这个GPT-3吹走了。酷的东西。))))

在算法上没有什么新的东西，但动力给了模型质量新的可能性和水平。175码不是5000字))))

[Реter Konow]

Valeriy Yastremskiy:

在算法上没有什么新的东西，但动力给了模型质量新的可能性和水平。175码不是5000字))))

这就是问题所在，我没有听到关于算法的任何新消息。所有这些网络训练方法都已经存在--唯一的区别是规模。

试图找到它工作的视频例子，这就是印象深刻的：https://twitter.com/sharifshameem

这个东西通过口头描述与部分功能一起创建了一个界面。起初我认为这是无稽之谈，但当我仔细观察时，发现我错了。然而，我仍然无法完全理解各种可能性的极限。

[Реter Konow]

GPT-3的范围还不清楚。