要啥给啥的写作AI:新闻评论小说都能编,题材风格随便选,真假难辨,16亿参数模型已开源

  • 时间:
  • 浏览:0

声明:本文来自于微信公众号 量子位 (ID:QbitAI),作者:鱼羊 乾明  ,授权站长之家转载发布。

AI编故事,一模更比一模秀。

这里“一模”,自然是OpenAI横空出世的GPT-2。但今日更秀的另一模型,来自Salesforce——全球最大的SaaS提供商,虽然日后AI能力展露没法多,但你这些 次,绝对一鸣惊人。

作家知道会沉默,评论水军看得人要流泪。或者定向化编故事、生成文案评论的能力,虽然太强了!

话没法多说,直接看“作品”。

定向化编故事,真假难辨

给它一把刀,它编出了没法 的“恐怖故事”:

刀柄从洞里拔了出来。当刀击中我时,我吓了一跳,惊恐地睁大了眼睛。除了呜咽声,我只听到她的尖叫声。

蜘蛛准备挖她里边的拱顶时,碰到了她的脚,小家伙的眼泪结束流下来。蜘蛛抬头看着她,回望着我,眼里充满了热泪。我的心结束狂跳……

有情景、有逻辑、有细节,还有故事性,写作功力你以为职业作家水平。

还能编出“买家好评”:

刀是有一种工具,你这些 很好用。这是我买给我丈夫的。他拿到它们日后就老是用它们来切肉。

让让我们让让我们说它们很锋利,你这些 使用前要小心,但这似乎回会 那此大问题报告 。从鸡胸肉到牛里脊肉,他都切过……

相比无脑好评的水军,AI给出的结果没法 想象是机器写的,核心信息点、细节,全回会 了。

但写得好、写得真假难辨,还回会 重点!

更关键的是,你这些 模型的独特之处——只前要给出条件,它就能“定向”编故事,写命题作文,指哪打哪,想写那此风格就写那此风格。

与脑洞过于天马行空的GPT- 2 相比,它更要能被人驯服利用。

于是模型放出后,放慢就引起了业内人士的关注。回会 人给出评价:

这太酷了!要能以更形态学 化的土辦法 控制文本生成非常有价值。

或者,你这些 NLP模型具有 16 亿参数,比日后最大的GPT- 2 前要多另一一有一个多多亿。

虽然同样担心模型被滥用,但在研究人员看来,开放或者会更好,能让更多的人参与进来,一并抵抗。

你这些 ,让让我们让让我们直接在GitHub放进去出了多个全尺寸的、经过训练的 CTRL 版本。而回会 像GPT- 2 一样,挤牙膏开源。

或者,它还是个全能选手,不仅能编故事,比如在Reddit论坛健身、理财板块发表不同的评论。

它还有你这些 正经用途:编写维基百科词条、回答各类常识问题报告 、翻译文字等等。

没法 这是另一一有一个多多怎么的NLP模型?

16 亿参数的语言模型

你这些 模型,有另一一有一个多多非常有“灵性”的名字:CTRL,全称为Conditional Transformer Language,基于条件的Transformer语言模型。

自从有了Transformer,文本生成领域的大前辈就另一一有一个多多接着另一一有一个多多,这厢BERT开创先河,那厢GPT- 2 都能写论文了。

或者,与人类的创作土辦法 不同,生成的文本再以假乱真,语言模型前辈们假如能按照特定的主题来写作内容。

于是,CTRL诞生了。

这是另一一有一个多多拥有多达 16 亿参数的条件Transformer语言模型(GPT- 2 模型参数 15 亿),采用无监督学习,或者正如其名,要能对文本生成的内容进行更精准的控制。

比如给出另一一有一个多多商品评分:1.0。

GPT- 2 生成的内容是没法 的:

而CTRL,会生成没法 的结果:

我为我儿子买了你这些 ,他是你这些 节目的忠实粉丝。在拿到它日后,他非常期待。但当他打开它时,让让我们让让我们都非常失望。产品质量太差了。它看起来就像是一元店里的东西。

这玩意儿状态很差。前盖上有几处划痕以及你这些 你这些 轻微磨损……

实现的关键,在于控制代码(control codes)

CTRL以控制代码c为条件,学习分布 p ( x | c )。你这些 分布能只能用概率链规则分解,并通过考虑控制代码的损失来进行训练。

控制代码能使用户意图为语言模型所理解。

通过标注训练数据集的特定标签,CTRL模型中大每段控制代码能指定生成文本的整体样式。

即使给出的提示(prompt)相同,控制代码也允许生成繁复的内容。或者,就算不给提示,CTRL一样能生成特定风格的文本。

在有控制代码的状态下,开头假如用给

而将控制代码添加到标签代码中,能只能进一步限制生成。

比如在OpenWebText版本中,在每另一一有一个多多文档里边加入URL地址,作为输入序列的开头。

没法 ,CTRL在训练过程中,就会学习那此URL的形态学 和文本之间的关系。在推理过程中,URL能只能指定各种功能,包括域,子域,实体,实体关系,乃至日期。

除此之外,还有一小每段控制代码是与问答、翻译没法 的特定任务相关的。那此控制代码相对繁复。

好玩的是,混合控制代码会产生你这些 有意思的文本。

比如把翻译控制代码混合到饮食你这些 标签中,生成的文本就拥有了有一种不同语言的版本:

再比如说把政治和法语提示混到一并:

那此组合,在此前的训练中都没法 冒出过

值得一提的是,CTRL的训练文本数据多达140GB,包括维基百科,Gutenberg上的书籍,OpenWebText2 数据集(GPT- 2 网页文本数据集一键一键复制版),少许新闻数据集,亚马逊评价,来自ELI5 的问答,以及包括斯坦福问答数据集在内的MRQA共享任务等等等等。

数据集虽然没法 开源,但Salesforce表示,让让我们让让我们会发布与数据挂接相关的代码。

以及,或者控制代码和用于训练模型的文本之间居于直接关系,CTRL能判断出新文本生成时对其影响最大的数据源是哪另一一有一个多多。

全球最大的SaaS服务提供商出品

这篇论文来自Salesforce——全球最大的SaaS服务提供商。

最近最为人关注的是一次大规模商业并购:豪掷 157 亿美元收购大数据公司Tableau。

Salesforce Research是其内部管理的研究部门,核心目标是用AI来补救业务中的问题报告 ,或者在NLP领域颇有建树。

目前,你这些 部门由Salesforce的首席科学家Richard Socher领导。

他博士毕业于斯坦福大学计算机系。 2016 年,另一方创办的公司被Salesforce收购后,加入Salesforce。

根据他另一方网站信息,仅在 2019 年他就发布了 11 篇顶会论文,其中ACL 20193 篇;ICLR 20196 篇;CVPR 20191 篇;ICML 20193 篇。

他也是这篇论文的作者之一。这篇论文的你这些 作者,回会 Salesforce Research的研究员。第一作者有两位,分别是Nitish Shirish Keskar和Bryan McCann。

其中,Nitish Shirish Keskar是Salesforce的高级研究员,博士毕业于西北大学,研究方向为淬硬层 学习及其在自然语言补救和计算机视觉方面的应用。他的另一方页面显示,或者发表了 14 篇论文,其中不乏ICLR等顶会。

Bryan McCann也是Salesforce高级研究员,毕业于斯坦福大学,没法 担任过吴恩达机器学习课程的助理,研究方向是淬硬层 学习及其在自然语言补救方面的应用。另一方网站显示,他发表过 7 篇论文,不乏ACL、NeurIPS、EMNLP等AI顶会。

引发参数热议

你这些 研究成果,也引起了让让我们让让我们对模型参数的讨论。

一群人说, 15 亿参数也好, 16 亿参数也罢,假如英伟达的Megatron放出来, 30 亿参数肯定都通通碾压。

但回会 人给出冷思考,表示参数你这些 并回会 优点,假如另一一有一个多多弱点。阿姆斯特丹大学的助理教授Willem Zuidema说:

为那此规模大是另一一有一个多多卖点?我理解让让我们让让我们为建立了另一一有一个多多非常好的模型而自豪,甚至为找到了在有限的计算资源上训练大型模型的土辦法 而自豪。

但在我看来, 16 亿参数有一种似乎是另一一有一个多多弱点,而回会 优势。

对此,Richard Socher也给出了公布:

虽然,假设性能相同,较小的模型更好。但事实证明,假如你在少许的训练数据上训练它,语言模型的性能和记忆事实的能力与大小是密切相关的。

Jelle Zuidema再度公布,给出了进一步的解释:

令我惊讶的是,“最大”是声明中的第另一一有一个多多形容词,而“高质量”假如最后你这些 。

我认为有必要提醒让让我们让让我们,理想的土辦法 仍然是更少的参数、更少的培训和更好的性能。

你为甚么看?

传送门

最后,或者人对你这些 研究感兴趣,请收好传送门:

项目地址:

https://github.com/salesforce/ctrl

论文地址:

https://einstein.ai/presentations/ctrl.pdf

博客文章:

https://blog.einstein.ai/introducing-a-conditional-transformer-language-model-for-controllable-generation/