巧妙算法背后的直觉:浅谈贝叶斯优化之美
2020-10-09 01:10:07编译 | 蒋宝尚编辑 | 陈彩娴假设有一个函数F(x),已知计算成本很高,且解析式和导数未知。问:如何找到全局最小值?毫无疑问,这是一个非常烧脑的任务,比机器学习所有的优化问题都烧脑,毕竟机器学习中的梯度下降就默认了导数可得。在其他优化问题下,能够采用的方法非常多,即使不用梯度下降,粒子群或模拟退火等非梯度优化方法也是解决方案之一。再者,如果能够以较低的计算成
乘风破浪的PTM:两年来预训练模型的技术进展
作者 | 张俊林来源 | 深度学习前沿笔记专栏Bert模型自18年10月推出,到目前为止快两年了。它卜一问世即引起轰动,之后,各种改进版本的预训练模型(Pre-Training Model, PTM)与应用如过江之鲫,层出不穷。Bert及它的继任者们,确实也不负众望,在NLP各个领域攻城略地,所向披靡,多种NLP数据集竞赛榜单,连续多年被各种新出现的预训练模型霸榜,有些榜单,个别模型已经把指标刷到
从因果关系来看小样本学习
2020-10-05 19:08:38作者 | 岳中琪编辑 | 陈彩娴本文主要介绍一篇被NeurIPS 2020接受的论文《Interventional Few-Shot Learning》。这篇工作根据小样本学习当中的因果关系,提出了一种新的基于因果干预的分类器IFSL,去除了预训练带来的掺杂效果,在各种方法上取得了稳定的提升。主要的优势有:广泛适用于各种基于微调(fine-tune)或是元学习
何恺明Focal Loss改进版!GFocal Loss:良心技术,无cost涨点
2020-10-05 01:33:15作者 | 李翔编辑 | 陈大鑫在ICCV 2017上,Kaiming大神所在的FAIR团队“随手”发了一篇名为《Focal Loss for Dense Object Detection》的论文。没曾想一石激起千层浪,这篇论文在解决目标检测中正负样本不平衡的问题上做出了很大的贡献,也为后人在此问题上开拓了新的思路。Focal Loss是为one-s
金山AI团队:从理论突破到应用场景落地
2020-10-04 20:23:17作者 | 陈彩娴一提起雷军,绝大多数人首先会想到小米,对金山软件却知之甚少。雷军作为金山软件董事长,曾带领金山度过最艰难时期。1996年,金山软件遭遇前有微软、后有盗版的双重打击跌入谷底:1995年,微软进入中国市场,Windows 95与OFFICE系列抢占了WPS大部分市场份额;与此同时,一张盗版光盘,640兆囊括了市面上几乎所有主流软件,包括金山软件的产
“大数据杀熟”将被明令禁止:亚马逊才是大数据杀熟算法的鼻祖
来源:HyperAI超神经本文约2300字,建议阅读7分钟你有过被大数据“杀熟”的经历吗?[ 摘要 ]近年来,大数据「杀熟」已经成为互联网商家被公开的秘密,这一行为深受广大用户诟病。不过,根据文旅局最新发布的规定,大数据「杀熟」行为将于 10 月 1 日起被明令禁止。标签:大数据杀熟 价格歧视 OTA 电商去年 3 月,北京市消费者协会关于大数据「杀熟」的调查显示,大多数被调查者都认为,大数据「杀
深度学习的困境,我们该何去何从?
来源:大数据文摘本文约3300字,建议阅读6分钟本文为你介绍深度学习陷入困境怎么办。我们被困住了,或者说至少我们已经停滞不前了。有谁还记得上一次一年没有在算法、芯片或数据处理方面取得重大显著进展是什么时候?几周前去参加Strata San Jose会议,却没有看到任何吸引眼球的新进展,这太不寻常了。正如我之前所报告的那样,似乎我们已经进入了成熟期,现在我们的主要工作目标是确保我们所有强大的新技术能
AI的发展浪潮应推向何处?
来源:AI TIME 论道本文约5000字,建议阅读10分钟本文详细介绍了AI的发展历史、认知智能的现状及发展方向、第三代AI、意识AI等重磅前沿领域的发展。背景9月11日,习#近#平总书记在京主持召开科学家座谈会并发表重要讲话,提出“希望广大科学家和科技工作者肩负起历史责任,坚持面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康,不断向科学技术广度和深度进军。”为了帮助青年科学
让AI更普惠:为什么说用户体验是AI成功的关键?
2020-09-26 17:16:21全文共2802字,预计学习时长8分钟图源:unsplash咨询公司麦肯锡认为,缺乏对AI的理解会是大多数组织应用AI的拦路虎。人们依然把AI看作是科幻,而非可以用来拉动增长的工具。一些组织担心,更高效的利用数据需要数据实践,而这可能吓跑客户。AI常识的缺乏及其低可用性阻碍着行业发展,也影响了许多本能得益于在战略部署中应用更多AI的企业的发展。这令人焦急,AI本
中国首份OCR白皮书出炉,基于深度学习的OCR已成主流
2020-10-03 15:28:54扫一扫就能识别文字,这是近年来出现在很多应用中的新功能。比如,输入银行卡号时,直接用手机摄像头扫一扫,软件就能提取银行卡信息。这里用到的技术正是光学字符识别技术(Optical Character Recognition)。OCR 是光学字符识别(Optical Character Recognition)的缩写,指利用机器将图像中手写体或印刷体的文本转换为计
54%中国NeurIPS作者流入美国:剑桥AI全景报告出炉
2020-10-03 13:33:31NeurIPS 接收论文中,29% 的作者有中国大学的本科学位,但他们在毕业后有 54% 会去美国攻读研究生博士,这其中又有 90% 选择留美工作。剑桥大学的 2020 版《AI 全景报告》写出了 AI 领域哪些值得关注的新观察?机器之心报道,作者:泽南、蛋酱、小舟人工智能是基础科学与工程实践结合的技术领域,近年来已经融合了越来越多的其他方向。在数
出道即巅峰,掀起AI领域巨浪的GPT-3,被过誉了吗?
2020-07-31 16:07:22机器之心报道编辑:蛋酱、杜伟、小舟是时候重新审视这个「无所不能的」模型了!GPT-3,「出道即巅峰」界的代表。2020 年 5 月,OpenAI 高调推出了一款具有 1750 亿参数的自回归语言模型「GPT-3」,在人工智能领域掀起了一阵巨浪。从参数量上看,它比当时全球最大的深度学习模型 Turing NLP 大上十倍,从功能上看,它可以答题、翻译
史上最大,人工智能算法模型GPT-3问世,这意味着什么?
2020-06-30 00:08:56《亲爱的数据》出品原创:谭婧2020年,年中。人类历史上最大的人工智能模型,来到人间。这个体格巨大的北鼻,哭声嘹亮,告知全世界:“我写的作文,几乎通过了图灵测试。”那些第一次听说参数数量的人,那些第一次翻看实验结果的人,那些第一次口算增长速度的人,在彼此确认了眼神之后,一致的反应是:“哦漏,我大概是疯了吧。不,是人工智能模型疯了吧。”同行迈出的步子
GPT-3会是第一个通用人工智能吗?
2020-09-06 17:03:00全文共5545字,预计学习时长14分钟图源:unsplash如果你在一两年前问我,人类什么时候发明通用人工智能(AGI),那么笔者会说,我们还有很长的路要走。并不是只有笔者才有这样的看法,很多认为通用人工智能已出现数十年之久,但有些专家则说它可能根本不会出现。现在,人们普遍认为AI的所有最新进展都与所谓的“窄人工智能”有关,它是只能执行一项特定任务
GPT-3为什么怼起了前老板?马斯克:和OpenAI道不同不相为谋
GPT-3长大了,会说风凉话了,最近还为马斯克做了一首诗,诗中怼起马斯克的言行毫不含糊。有马斯克这个「宇宙网红」在的地方总有口水和笑料。最近,以他的形象为灵感来源,AI把他彻彻底底地讽刺了一通。据《经济学人》报道,总部位于旧金山的 OpenAI 在7月中旬向艺术家 Arram Sabeti 等人提供了 GPT-3语言的早期版本,测试他的性能。Sabeti 使用这个算法生成了这首诗,题目叫做「Elo
如何打造中国版的“万能AI”GPT-3
2020-09-02 09:12:19既能问答、翻译、写文章,也能写代码、算公式、画图标......OpenAI 2020 年 5 月推出的 GPT-3,因其神奇的通用性而走红 AI 领域。GPT-3 是用英文语料做预训练的,主要应用于英文相关场景,而中文业界和学术界已经出现了期待中文版 GPT-3 的声音。“GPT-3 与出门问问的技术基础紧密相关。虽然现阶段 GPT 模型还并非完美,但它是目前
GPT-3,深度学习和NLP的巨大进步
2020-08-21 17:21:34前段时间,OpenAI宣布了他们的语言模型(LM)的新继承者GPT-3。这是迄今为止训练的最大模型,有1750亿个参数。虽然培训这个大模型有它的优点,但阅读72页的大部分内容可能会令人厌烦。在这篇博文中,我将重点介绍我发现对熟悉LMs的人来说有趣的部分,他们只想知道(大部分)这项工作的要点。语言模型是什么?“该模型在零镜头设置下能够执行的任务的多样性表明,受过
被捧上天的流量巨星GPT-3,突然就不香了?
2020-08-01 14:23:32它让我看到了未来!AGI离我们又进了一步......最近关于GPT-3的吹捧在各大社交媒体平台此起彼伏。GPT-3是谁?它是OpenAI斥巨资打造的自然语言处理模型,拥有1750亿超大参数量,是NLP领域最强AI模型。自今年5月份首次推出以来,凭借惊人的文本生成能力,在各大媒体平台一直热度不减。这一次,关于GPT-3的吹捧再次被推向高潮,有网友发现
GPT-3:一个令人失望的语言模型
2020-06-15 15:24:00本文作者是 GPT-2 的热心用户,GPT-2 风靡 AI 领域的那段时间里,他撰写了不少相关的文章。然而当 GPT-3 的论文发布后,身为忠实用户的他却感觉到了一些失望,本文他将深扒 GPT-3 中那些令人失望的地方。另注:这篇文章是作者最近在 tumblr 上发表的两篇文章的汇总。利益相关:我一直是 GPT-2 的热心用户,也写过很多关于 GP
GPT-3的不为人知的故事是OpenAI的转型
2020-08-25 08:01:12文 | AI国际站 唐恩编 | 艾娃本文由AI国际站 原创出品,未经许可,任何渠道、平台请勿转载,违者必究。一个可以自动进行网站开发的程序。代表自然写信的机器人。由AI撰写的博客,该博客在Hacker News上流行。这些只是关于GPT-3的最新故事,这是人工智能研究实验室OpenAI的最新成果。GPT-3是有史以来最大的语言模型,它引发了关于AI如何迅速改变