性能媲美BERT,参数量仅为1/300,谷歌最新的NLP模型
在最新的博客文章中,谷歌公布了一个新的 NLP 模型,在文本分类任务上可以达到 BERT 级别的性能,但参数量仅为 BERT 的 1/300。在过去的十年中,深度神经网络从根本上变革了自然语言处理(NLP)领域的发展,但移动端有限的内存和处理能力对模型提出了更高的要求。人们希望它们可以变得更小,但性能不打折扣。去年,谷歌发布了一种被称为 PRADO 的神经架构,该架构当时在许多文本分类问题上都实现
实录丨戴琼海:深度学习遭遇瓶颈,全脑观测启发下一代AI算法
2020-09-03 20:03:00目前我们还无法精细到神经元级别的观测,只能从功能层面理解大脑,但这些成果也启发了很多经典的人工智能算法,例如卷积神经网络启发自猫脑视觉感受野研究,胶囊网络启发自脑皮层微柱结构研究。在未来,我们能不能深入到神经元的层面研究大脑,是非常重要的一步。8月29日至30日,主题为“智周万物”的2020年中国人工智能大会(CCAI 2020)在位于江苏南京的新
前沿研究丨李德毅院士:基于驾驶脑的智能驾驶车辆硬件平台架构
2020-09-05 20:31:00导读智能驾驶车辆试验平台是人工智能科学、认知科学、控制科学等多个学科领域的最新理论与实践的成果,也是研究智能驾驶理论与技术的基础。不同智能驾驶试验平台的传感器型号、数量、安装位置各不相同,导致传感器信息处理模块也各不相同;不同驾驶地图,其提供信息的粒度也没有固定标准,由此构成的智能驾驶系统软件模块的数量、接口各不相同。CAAI名誉理事长、中国工程院院士、CAA
演讲实录丨周斌:人工智能推动新基建和数据中心的技术革新
2020-09-09 21:54:497月25日-26日,在中国科学技术协会、中国科学院、中国工程院、浙江省人民政府、杭州市人民政府、浙江省人工智能发展专家委员会指导下,由中国人工智能学会、杭州市余杭区人民政府主办,浙江杭州未来科技城管理委员会承办的2020全球人工智能技术大会在“数字之都”——杭州,成功举办。在7月26日举办的CAAI人工智能大讲堂暨云课堂上华为昇腾计算业务CTO周斌为我们带来了
人物丨黄维院士:构建颠覆性技术创新体系意义重大
2020-09-13 22:50:539月11日,习#近#平总书记在京主持召开科学家座谈会并发表重要讲话,就“十四五”时期我国科技事业发展听取意见。中国科学院院士、俄罗斯科学院外籍院士黄维教授就该次会议发表了自己的观点。黄维 中国科学院院士、俄罗斯科学院外籍院士、教授习#近#平总书记在讲话中指出,我国经济社会发展和民生改善比过去任何时候都更加需要科学技术解决方案,都更加需要增强创新这个
演讲实录丨戴琼海院士《人工智能:算法·算力·交互》
2020-09-08 21:32:378月29日至30日,由中国科学技术协会、中国科学院、南京市人民政府为指导单位,中国人工智能学会、南京市建邺区人民政府、江苏省科学技术协会主办的主题为“智周万物”的2020年中国人工智能大会(CCAI 2020)在江苏南京新加坡·南京生态科技岛举办。在大会上,国务院参事、CAAI理事长、中国工程院院士、清华大学信息学院院长、教授、CAAI Fellow戴琼海做了
周明:预训练模型在多语言、多模态任务的进展
2020-09-12 15:34:16作者 | 周明编辑 | 陈彩娴8月29日至30日,由中国科学技术协会、中国科学院、南京市人民政府为指导单位,中国人工智能学会、南京市建邺区人民政府、江苏省科学技术协会主办的主题为“智周万物”的2020年中国人工智能大会(CCAI 2020)在江苏南京新加坡·南京生态科技岛举办。在大会上,微软亚洲研究院副院长、国际计算语言学会(ACL)前任主席周明做了主题为《预
这个对抗算法让人脸识别算法失灵,还能抵抗微信微博照片压缩
2020-08-19 12:49:49鱼羊 编辑整理 凹非寺量子位 报道 | 公众号 QbitAI上回书说到,现在,对抗攻击的理念已经被应用到隐私保护领域:通过给照片添加肉眼看不出来的对抗性噪声,来蒙蔽人脸识别AI,达到保护隐私的效果。不过,就有好学的同学提出了这样的疑问,各种App基本都会对图片重新进行压缩,那这种照片「隐身衣」不就会因此失效吗?最近,武汉大学国家网络安全学院就和Adobe公司合
微软让训练万亿参数AI模型的GPU需求从4000个减少到800个
2020-09-15 01:28:30作者 | 包永刚、陈大鑫微软于近日发布了DeepSpeed库的更新版本,该库引入了一种新方法来训练包含数万亿个参数的AI模型,这种模型内部的变量可为预测提供依据。微软称这种技术称为3D并行性,可以适应各种的工作负载需求,特别是为功耗大的超大型模型平衡效率。具有数十亿个参数的单个大型AI模型在一系列具有挑战性的领域中取得了长足的进步。研究表明它们之所
朱松纯将回国加入清华,曾对李飞飞创建ImageNet有启示
2020-09-13 17:52:47作者 | 青暮编辑 | 陈大鑫AI科技评论获悉,UCLA教授朱松纯将回国,加入清华大学自动化系。根据清华大学人力资源开发办公室发布的公示,朱松纯拟进入自动化系工作,职务为教研系列教授。朱松纯是全球著名计算机视觉专家、统计与应用数学家、人工智能专家。现任美国加州大学洛杉矶分校(UCLA)统计学系与计算机系教授,UCLA计算机视觉、认知、学习与自主机器
我们向GPT-3问了15908个问题,终于发现了它的真面目
2020-09-09 23:28:41作者 | 陈大鑫、青暮当从静止状态放下一个球时,它会以9.8 m /s²的加速度向下加速。如果假设没有空气阻力而将其向下扔,则其离开手后的加速度为?(A)9.8 m /s²(B)大于9.8 m /s²(C)小于9.8 m /s²(D)除非给出掷球速度,否则不能计算。同源结构常被作为自然选择过程的证据。以下都是同源结构的例子,除了?(A) 鸟的翅膀和蝙蝠的翅膀(
美国打的是一场"根"的战争
美国打的是一场"根"的战争8月14日没经历过战争的人,才向往战争。——希斯塔罗引这不是一次键盘游戏,而是一场"根"的较量。自2019年美国禁止中兴参与5G竞标,釜底抽薪华为芯片之后。2020年7月22日,美国参议院严禁政务人员使用Tiktok。2020年8月6日,特朗普签署总统令,除了Tiktok还要增加对微信管制。……除此之外,还对中国留学生进行限制,调查
表面光鲜,实则搬砖,机器学习社区自嘲不为人知的AI工程师真相
020-09-02 17:41:15贾浩楠 发自 凹非寺量子位 报道 | 公众号 QbitAI机器学习工程师岗位,还香吗?在培训机构或求职网站随便一搜,机器学习简直不要更热。但是,国外的同行们却在一则Reddit热帖上,吐槽揭露ML工程师“表面光鲜,实际搬砖”的一面。说出了培训机构不会告诉你的机器学习业内真相。那这些“过来人”怎么掉进一个个暗坑的?他们的经历对你有什么警醒借鉴的意义呢?机器学习岗,
一张图实现3D人脸建模!中科院博士ECCV的新研究
贾浩楠 发自 凹非寺量子位 报道 | 公众号 QbitAI通过一段视频,来重建人脸3D模型,没什么稀奇的。但是,如果只有测试者的一张静态图片呢?来自中科院模式识别实验室的博士生郭建珠和他的团队,提出了一种新的密集人脸对齐(3D Dense Face Alignment)方法。新的3DDFA方法,最关键的核心,是3D辅助短视频合成方法,它能模拟平面内和平面外的人脸移动,将一幅静止图像转换为短视频。由
既保护隐私又快速训练,Facebook开源Opacus库
2020-09-01 15:34:31机器之心报道编辑:小舟、陈萍隐私保护是机器学习领域的重要伦理问题之一,而差分隐私(DP)是行之有效的隐私保护手段。那么,如何方便地使用差分隐私来训练机器学习模型呢?近日,Facebook 开源了 Opacus 库,支持以这种方式训练 PyTorch 模型。近日,Facebook 开源了一个新型库 Opacus,它支持使用差分隐私来训练 PyTorch 模型,扩
如何从软件工程师转型到人工智能工程师?
2020-08-31 16:55:55众所周知,近年来,随着人工智能的兴起,人工智能工程师变成抢手的人才。大家都对各种人工智能的岗位好奇憧憬,本文介绍了如何从一名软件工程师如何转型为人工智能工程师。本文最初发表在 DZone,经原作者 Andrew Zola 授权,InfoQ 中文站翻译并分享。人工智能技术已经存在几十年。然而,直到大约十年前,人们才真正意识到它的潜力。从那时起,全球对
浙大发布中国规模最大类脑计算机,792颗芯片,亿级神经元
浙江大学官微发布消息,浙江大学联合之江实验室共同研制成功了我国首台基于自主知识产权类脑芯片的类脑计算机(Darwin Mouse)。同时,这也是目前世界上神经元规模最大的类脑计算机。马斯克发布脑机接口,用于记忆存储、意念控制,而我国也不甘落后!在9月1日于杭州召开的「亿级神经元类脑计算机重大成果」新闻发布会上,浙江大学与之江实验室团队成功吸引了人们的眼球。「1.6米高的三个标准机柜并排而立,黑色的
重磅!我国科学家成功研制全球神经元规模最大的类脑计算机
2020-09-03 02:23:46来源 | 浙江大学公众号编辑 | 陈彩娴近日,浙江大学联合之江实验室共同研制成功了我国首台基于自主知识产权类脑芯片的类脑计算机(Darwin Mouse)。这台类脑计算机包含792颗浙江大学研制的达尔文2代类脑芯片,支持1.2亿脉冲神经元、近千亿神经突触,与小鼠大脑神经元数量规模相当,典型运行功耗只需要350-500瓦,同时它也是目前国际上神经元规模最大的类脑
从多模态到泛化性,无监督学习如何成为人工智能的下一站?
2020-08-31 23:13:45作者 | 彩娴、青暮、宝尚编辑 | 大鑫2016年,图灵奖得主Yann LeCun 表示,未来几年的挑战是让机器学会从原始的、没有标签的数据中学习知识,即无监督学习。Yann LeCun提出,无监督学习是人工智能的下一站。2020年,图灵奖得主Geoffrey E. Hinton指出,人类无法完全依赖有监督学习的方法完成所有神经元训练,而需要更多来自于无监督学
北大清华几十位硕士博士挤入街道办事处任职,我的几点看法
北大清华几十位硕士博士挤入街道办事处任职,我的几点看法最近网上的一则新闻报道,引起了众网民的热议。该报道说的是数十位清华北大毕业生入职杭州余杭区的非常基层政府部门,甚至是街道办事处这样的单位。如下是来自该新闻报道里提到的录用人员公示信息截图。可以看到入职街道办事处的综合管理岗位的都是清华北大的硕士。很多网友说,这是浪费人才,大材小用,很可惜。对于这件事情,笔者闲来无事,所以也就过来掺和一下,说几句