ITPub博客

首页 > 数据库 > 数据库开发技术 > Hinton之Capsule-net胶囊网络的前世今生

Hinton之Capsule-net胶囊网络的前世今生

原创 数据库开发技术 作者:Agent的潜意识 时间:2021-01-05 21:30:25 0 删除 编辑

 
     本文是Agent的潜意识系列文章。胶囊网络的本质就是让智能体拥有像人类大脑一样的意识。而CNN还属于粗糙的统计归纳能力范畴。

    虽然目前CNN架构的网络在多个视觉任务上优于胶囊网络,这也是很多人诟病hinton的胶囊网络只能玩mnist数据集的点,但恰如最开始的火车跑不过千里马,最开始的打纸计算机计算速度比不上算盘,胶囊网络是要开创一个新的时代,幼年的新生事物也许打不过强大的守旧势力,但终究会取代的。
    第一次胶囊网络亮相是在2011年的ICANN ,当初的论文名字叫Transforming auto-encoders,三个作者,hinton和他的两个学生:Alex Krizhevsky, and Sida D. Wang。其中,Alex就是鼎鼎有名的Alexnet的作者,他跟另一个同学Ilya Sutskever(也是hinton的学生)与hinton创办的公司 DNNresearch,在2013年7月8日被谷歌收购。而华裔 sida wang的职场生涯也是很丰富。目前在facebook 做AI科学家。




    小哥长得也很帅
 


 
    Alex在2011年发现胶囊网络后,后来觉得CNN落地更加Action,发明了Alexnet,从而开启了CNN波澜壮阔的旅程。但Hinton一直没有忘记胶囊网络,估计很多个深夜他都在像古时候的诗人一样不断推敲:CNN还是capsuleNet。在17年发现可以用动态路由算法训练胶囊网络,又开始了一次革新自我的新的征程:创新者血液里往往流淌颠覆自我的使命!
       那么胶囊网络究竟做了什么改进呢?他究竟核心的机理是什么呢?我们来慢慢解剖。
 
 
 
一 、胶囊网络的一个中心和一个方程

      
       Hinton花费了数十年的时间思考胶囊网络,到如今迭代了4个胶囊网络版本:1)Dynamic Routing Between Capsules 。2)MATRIX CAPSULES WITH EM ROUTING。3)Stacked Capsule Autoencoders。4)Unsupervised part representation by Flow Capsules。但这些版本都没有绕开过胶囊网络想解决的本质问题:同样是庐山,横看成岭侧成峰,远近高低各不同,但人的大脑识别能力很强,从一个角度看过庐山,从另一个角度看也能认出是庐山;用西方社会的语言就是:
 


                        
       人的大脑可以很容易的识别一个物体,即使他是从不同角度拍摄;例如你看过第一张自由女神像,后几张你就能分辨出这个是自由女神像,但卷积神经网络没有这个能力。如果要卷积神经网络的训练集是第一张图片,能识别后几张图片也是自由女神,他需要做很多的旋转、裁剪、渲染、颜色变幻,即使做了这些数据增强,也不一定识别精度高,因为拍摄角度的不一样跟数据增强得到的旋转角度不同。这个时候,就需要更多的丰富特征的数据集来训练CNN,例如多拍摄更多的角度的自由女神像,这样的话,CNN就学会了更多角度。泛化能力更强一些。
       这就是胶囊网络要解决的问题的本质。
       世界上所有规律都可以用一个方程来表示,如果一个不够就两个。
       这个问题的数学表达式非常简单:假设有一个识别模型F(x)=w,其中F是通过训练数据集训练出来的模型参数拟合出的函数映射,X是自变量,W是识别的标签。如果有一个新的函数映射T,T可以是旋转变换或者是另一个角度拍摄自由女神像,那么CNN的函数表达式为F(Tx) = Tw,这样导致的问题是拍摄角度一变,预测的标签就变了。而胶囊网络的函数表达式为F(Tx)=w,就是说对X施加旋转等变换,他预测的标签label值没有变。
     抓住了这个公式,就抓住了问题的核心。
     
     整个胶囊网络的全貌资料,我都整理好了。包括四个版本、代码、和新近跟进的工作,也包括最新的综述论文。需要的关注公众号,回复 胶囊网络
获取下载链接。资料整理不易。给个在看?
 


对话马云2012:垄断、二选一、狮子、膨胀、草根年轻人的梦想
多目标优化(四)跷跷板问题的底层神器优化器

互联网从业者2020年终总结


 
 
 
 
 
 
 

原文作者:Agent的潜意识;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2017-03-21

  • 博文量
    187
  • 访问量
    82269