首页 > 数据库 > 数据库开发技术 > GPT 3.0 算法的一些特性
最近聊天机器人chatPT 比较火,ChatGPT 来自 OpenAI 研究实验室,由 GPT-3.5 系列模型提供支持,包括 3.5 之前的模型版本,都使用 Azure AI 超级计算基础结构上的文本和代码数据进行训练。它的前身是GPT3.0,之前由于工作原因接触了GPT 3.0。对于这种算法还是觉得很厉害。
公司最初是希望用文本生成算法进行预料训练,自动生成营销文章,最初公司预计了两种方案,一种是自研文本生成算法。另外一种是接入国外的GPT3.0的算法。
下面介绍一下详细的历程,希望对一些算法研究的人一些帮助。
第一种方案,自研文本输出算法,调研了一下国内的文本输出算法,目前做的最好的是国内的百度文本算法,ERNIE 3.0 文本理解与创作,但是这个算法是相对比较通用的算法,目前百度训练的语料库主要是用于写作文、写对联、问答、写小说等,对于营销场景的文章,应用场景的比较具体,比较窄的文章,有些不是很合适,也无法控制输出文章的内容和效果。于是公司准备自己研发文本输出算法,了解到国外的gpt3.0的算法效果还可以,而gpt2.0 算法是开源的,于是公司决定使用GPT2.0 进行训练,公司采集了很多语料,使用了5台GPU服务器,训练了一周的时间,但是输出的文章内容,比较容易会出现语法问题,以及出现重复的语句。而这一些问题在没有更大的语料库的情况下,语法问题暂时解决不了,而且由于gpt2.0 算法的特性,出现重复语句的问题暂时避免不了,而且这一现象在目前已经大量使用的GPT 3.0的产品中也会经常出现,概览大约是1%的概率。
第二种方案是寻找gpt3.0的公司进行合作,而当前也确实有一些公司已经采用GPT3.0 形成了一些产品,并提供API接口对外提供服务。
下面介绍一下合作过几个公司的算法的使用情况。
第一个产品:AI-Writer

这家公司在gpt3.0的算法基础上进行了一些额外的工作,因为理论上gpt3.0 算法在输入一个句子之后,算法围绕句子输出内容紧扣主题的单词个数的上线是250-300个单词,但是这个产品在GPT3.0的基础上定制了自己的文章模版,输入一个文章标题,可以输出一篇700-800个单词的文章,通过文章去google上去搜索是否有类似的文章,可以找到相似度50%的文章,所以这个算法还是存在一定原文,并不是全部是自动生成。但是这个产品的优势是它生成的确实是一篇完整的文章,无语法错误,无段落分段错误,全文通常,表达意思和文章的标题相符合,但是文章的风格偏叙述,类似科普的风格,不是人为抒写,有一定的感情色彩。
第二个产品:contentvillain

这个产品基本上还是沿用了gpt 3.0的算法特性,没有做太多的处理,但是产品应该是使用了g p t3.0的算法并使用了自己的语料库进行一些训练。使用这个产品进行语言的输出,需要填写相关的参数,例如,关键,受众群体,语言的情感,用途等等,然后算法根据输入的关键词或者短句输出一个250-300个单词的短文。语法上没有太大问题,但是需要后期人工调整成完整的文章,这个产品可以作为写作的辅助工具比较合适,输入一个关键词,自动产生一段文章,有3-5个不同的变体,供用户选择,如果不合适,可以重新输出。
第二个产品:write sonic

这款产品是我认为用户体验最好的一个产品,它首先有各种模版,另外可以写文章和博客,可以写市场营销文章,可以写商业文章,可以写社媒帖子,写网站内容,并且不同模版可以完成不同的内容,比如AI article writer 3.0 这个接口,输入主题,选择文章数量类型,文章标题,文章简介,以及语言,它可以支持包括中文在内的25种语言的文章输出,即可产生一篇1500个单词左右的优质文章,虽然整个过程还是需要输入标题和文章简介,但是整个输出的文章的过程无需人工干预,还是非常的神奇的。

以上是国外一些gpt3.0的产品的情况。而且这些产品已经是相对比较成熟,都是以语言生成的方式作为产品,并未直接和应用系统结合产生一些新的产品,未来这些算法可能和应用系统结合产生一些新的产品。chatpt 只是算法在问答领域的一个尝试,未来客服系统结合chatpt,那么人工客服这个岗位可能就没有了。
未来希望国内会有越来越多这种成熟的算法可以应用,且可以开放给所有的企业,可能会有很多意想不到的效果。
原文作者:Ruby的数据漫谈;如有侵权,请联系管理员删除。