-
乘风破浪的PTM：两年来预训练模型的技术进展
作者 | 张俊林来源 | 深度学习前沿笔记专栏Bert模型自18年10月推出，到目前为止快两年了。它卜一问世即引起轰动，之后，各种改进版本的预训练模型（Pre-Training Model, PTM）与应用如过江之鲫，层出不穷。Bert及它的继任者们，确实也不负众望，在NLP各个领域攻城略地，所向披靡，多种NLP数据集竞赛榜单，连续多年被各种新出现的预训练模型霸榜，有些榜单，个别模型已经把指标刷到
-
出道即巅峰，掀起AI领域巨浪的GPT-3，被过誉了吗？
2020-07-31 16:07:22机器之心报道编辑：蛋酱、杜伟、小舟是时候重新审视这个「无所不能的」模型了！GPT-3，「出道即巅峰」界的代表。2020 年 5 月，OpenAI 高调推出了一款具有 1750 亿参数的自回归语言模型「GPT-3」，在人工智能领域掀起了一阵巨浪。从参数量上看，它比当时全球最大的深度学习模型 Turing NLP 大上十倍，从功能上看，它可以答题、翻译
-
史上最大，人工智能算法模型GPT-3问世，这意味着什么？
2020-06-30 00:08:56《亲爱的数据》出品原创：谭婧2020年，年中。人类历史上最大的人工智能模型，来到人间。这个体格巨大的北鼻，哭声嘹亮，告知全世界：“我写的作文，几乎通过了图灵测试。”那些第一次听说参数数量的人，那些第一次翻看实验结果的人，那些第一次口算增长速度的人，在彼此确认了眼神之后，一致的反应是：“哦漏，我大概是疯了吧。不，是人工智能模型疯了吧。”同行迈出的步子
-
GPT-3会是第一个通用人工智能吗？
2020-09-06 17:03:00全文共5545字，预计学习时长14分钟图源：unsplash如果你在一两年前问我，人类什么时候发明通用人工智能（AGI），那么笔者会说，我们还有很长的路要走。并不是只有笔者才有这样的看法，很多认为通用人工智能已出现数十年之久，但有些专家则说它可能根本不会出现。现在，人们普遍认为AI的所有最新进展都与所谓的“窄人工智能”有关，它是只能执行一项特定任务
-
GPT-3为什么怼起了前老板？马斯克：和OpenAI道不同不相为谋
GPT-3长大了，会说风凉话了，最近还为马斯克做了一首诗，诗中怼起马斯克的言行毫不含糊。有马斯克这个「宇宙网红」在的地方总有口水和笑料。最近，以他的形象为灵感来源，AI把他彻彻底底地讽刺了一通。据《经济学人》报道，总部位于旧金山的 OpenAI 在7月中旬向艺术家 Arram Sabeti 等人提供了 GPT-3语言的早期版本，测试他的性能。Sabeti 使用这个算法生成了这首诗，题目叫做「Elo
-
如何打造中国版的“万能AI”GPT-3
2020-09-02 09:12:19既能问答、翻译、写文章，也能写代码、算公式、画图标......OpenAI 2020 年 5 月推出的 GPT-3，因其神奇的通用性而走红 AI 领域。GPT-3 是用英文语料做预训练的，主要应用于英文相关场景，而中文业界和学术界已经出现了期待中文版 GPT-3 的声音。“GPT-3 与出门问问的技术基础紧密相关。虽然现阶段 GPT 模型还并非完美，但它是目前
-
GPT-3，深度学习和NLP的巨大进步
2020-08-21 17:21:34前段时间，OpenAI宣布了他们的语言模型（LM）的新继承者GPT-3。这是迄今为止训练的最大模型，有1750亿个参数。虽然培训这个大模型有它的优点，但阅读72页的大部分内容可能会令人厌烦。在这篇博文中，我将重点介绍我发现对熟悉LMs的人来说有趣的部分，他们只想知道（大部分）这项工作的要点。语言模型是什么？“该模型在零镜头设置下能够执行的任务的多样性表明，受过
-
被捧上天的流量巨星GPT-3，突然就不香了？
2020-08-01 14:23:32它让我看到了未来！AGI离我们又进了一步......最近关于GPT-3的吹捧在各大社交媒体平台此起彼伏。GPT-3是谁？它是OpenAI斥巨资打造的自然语言处理模型，拥有1750亿超大参数量，是NLP领域最强AI模型。自今年5月份首次推出以来，凭借惊人的文本生成能力，在各大媒体平台一直热度不减。这一次，关于GPT-3的吹捧再次被推向高潮，有网友发现
-
GPT-3：一个令人失望的语言模型
2020-06-15 15:24:00本文作者是 GPT-2 的热心用户，GPT-2 风靡 AI 领域的那段时间里，他撰写了不少相关的文章。然而当 GPT-3 的论文发布后，身为忠实用户的他却感觉到了一些失望，本文他将深扒 GPT-3 中那些令人失望的地方。另注：这篇文章是作者最近在 tumblr 上发表的两篇文章的汇总。利益相关：我一直是 GPT-2 的热心用户，也写过很多关于 GP
-
GPT-3的不为人知的故事是OpenAI的转型
2020-08-25 08:01:12文 | AI国际站 唐恩编 | 艾娃本文由AI国际站 原创出品，未经许可，任何渠道、平台请勿转载，违者必究。一个可以自动进行网站开发的程序。代表自然写信的机器人。由AI撰写的博客，该博客在Hacker News上流行。这些只是关于GPT-3的最新故事，这是人工智能研究实验室OpenAI的最新成果。GPT-3是有史以来最大的语言模型，它引发了关于AI如何迅速改变
-
与GPT-3对话：它的回答令人细思极恐
2020-09-28 21:42:28本文来自：学术头条，排版：邹静雯，编审：王新凯，题图来自：视觉中国今年 6 月，特斯拉创始人 Elon Musk 等人创立的非盈利性 AI 科研机构 OpenAI 发布了一个名为 GPT-3 的语言模型，堪称具有划时代的意义。近日，OpenAI 开放了该模型的 API 申请通道，在外部 AI 研究者的参与下，该模型体现出的卓越性能迅速引爆全球，成为 AI 学术
-
GPT-3走红背后，AI 正变成普通人玩不起的游戏
2020-08-25 09:44:19要求人工智能帮助完成日常生活中的一些任务并不是什么新鲜事。智能扬声器中的人工智能可以告诉你“明天天气怎么样”；翻译软件中的人工智能可以准确翻译一大段甚至一篇文章；编写人工智能将输出合成。但是他们只能做一件事，翻译人工智能不能写作文，问答人工智能也不能翻译。他们更像工具而不是代理。一个真正智能的人工智能应该是什么样的？它应该是通用的，可以处理问题和答案，写文章和
-
四种常见NLP框架使用总结
作者：哈工大SCIR 狄东林 刘元兴 朱庆福 胡景雯引言随着人工智能的发展，越来越多深度学习框架如雨后春笋般涌现，例如PyTorch、TensorFlow、Keras、MXNet、Theano和PaddlePaddle等。这些基础框架提供了构建一个模型需要的基本通用工具包。但是对于NLP相关的任务，我们往往需要自己编写大量比较繁琐的代码，包括数据预处理和训练过程中的工
-
微软与OpenAI达成合作，获GPT-3独家授权，马库斯：呵呵？
近日，微软扩大了与旧金山人工智能研究公司OpenAI的持续合作关系，并获得了AI公司开创性的GPT-3语言模型的新独家许可。一向「不待见」GPT-3的人工智能专家马库斯发文嘲讽。当地时间 9 月 22 日，微软执行副总裁兼首席技术官 Kevin Scott 在官方博客上正式宣布：微软已与 Open AI 达成合作，获得 GPT-3 语言模型的独家许可。并称这是一个「不可思议的机会」。GPT-3 模
-
如果中国要做自己的GPT-3，一定离不开这家公司的算力
2020-09-27 12:06:04边策 发自 凹非寺量子位 报道 | 公众号 QbitAI今年AI领域最火的是什么？毫无疑问是GPT-3，它能写小说、能与人聊天、能设计网页、还能下象棋，堪称迄今为止最“全能”的AI模型。但是这个强大的AI模型却不被看做算法的胜利，而是“暴力美学”、一场“富人的游戏”。有人估算过，GPT-3光是训练成本就在460万美元以上，还不包括微软为训练它建设了一个5亿美元
-
人工智能的研究热点:自然语言处理
人工智能(Artificial Intelligence，简称AI)作为新一轮科技革命和产业变革的重要驱动力量，正在深刻地影响世界、改变世界。而自然语言处理(Natural Language Processing，简称NLP)已成为AI领域的研究热点，它推动着语言智能的持续发展和突破，并越来越多地应用于各个行业。正如国际知名学者周海中先生曾经所言：“自然语言处理是极有吸引力的研究领域，它具有重大的
-
性能媲美BERT，参数量仅为1/300，谷歌最新的NLP模型
在最新的博客文章中，谷歌公布了一个新的 NLP 模型，在文本分类任务上可以达到 BERT 级别的性能，但参数量仅为 BERT 的 1/300。在过去的十年中，深度神经网络从根本上变革了自然语言处理（NLP）领域的发展，但移动端有限的内存和处理能力对模型提出了更高的要求。人们希望它们可以变得更小，但性能不打折扣。去年，谷歌发布了一种被称为 PRADO 的神经架构，该架构当时在许多文本分类问题上都实现
-
周明：预训练模型在多语言、多模态任务的进展
2020-09-12 15:34:16作者 | 周明编辑 | 陈彩娴8月29日至30日，由中国科学技术协会、中国科学院、南京市人民政府为指导单位，中国人工智能学会、南京市建邺区人民政府、江苏省科学技术协会主办的主题为“智周万物”的2020年中国人工智能大会（CCAI 2020）在江苏南京新加坡·南京生态科技岛举办。在大会上，微软亚洲研究院副院长、国际计算语言学会（ACL）前任主席周明做了主题为《预
-
值得收藏的MacBook快捷键 教你如何快速入门
刚从windows系统转换到Mac OS的各位小白，可能还在为各种快捷键的转换而苦恼！下面给大家整理了一份文稿快捷键，让你的速度有了大大的提升。
-
Expo ETM-IS31-001 ETM-IS31-000和ETM-1S31-000电池ETM-1S31-001计时器电池组
Expo ETM-IS31-001电池ETM-IS31-000和ETM-1S31-000电池ETM-1S31-001其实都还是一个东西，我们一般都叫电池，其实也叫不间断电源或者计时器电池组不间断电源(UPS)是将蓄电池(多为铅酸免维护蓄电池)与主机相连接，通过主机逆变器等模块电路将直流电转换成市电的系统设备。它主要用于给单台计算机、计算机网络系统或其他电力电子设备如电磁阀、压力变送器等提供
