这篇文章是胡国圣博士在英国伦敦圣诞节2个星期假期中，阅读几百篇文章总结出来的趋势和分享，经过严格申请，得到了分享权限。现分享给大家：圣诞新年长假接近尾声，假期中我广泛阅读了top组最近做的研究，受益匪浅。在这里分享一些浅见。1. top组都在研究什么？各个组当然研究不尽相同，但top组重合度高的研究方向: self-supervised learning，multi-modality (audio-vision, text-vision, vision-touch, etc)，Reinforcement learning (in Robotics)，3D，video analysis。2. 如何做有影响力的工作？每个组都有不同创新的思路以及偏好。 (1) 将CV的技术应用到其他领域。例如 Li Fei-Fei做了很多将CV用在medical领域的应用，她刚发了篇Nature, `Illuminating the dark spaces of healthcare with ambientintelligence'. 这篇文章极为广泛地介绍了CV和ML可以在医疗领域的落地场景。文中介绍的很多场景，每一个都可以支撑起一家估值可观的初创公司（看我安利论文后的投资人和创业者未来发达了别忘记请我吃饭）。
除了医疗领域，还有将CV/DL/ML用在药物设计，洪灾预测，通过谷歌街景地图来识别车的牌子，来判断当地的生活水平等等。(2) 引入新的模态(modality)来解决经典问题以实现降维打击。比如把音乐的声音信号自动转化成谱子(transcription), 这是一个经典的语音识别问题。Andrew Zisserman 发表了一篇 ICASSP 2020 (Sight to Sound: An End-to-End Approach for Visual Piano Transcription), 他引入了图像信息，在钢琴上面放置摄像头来识别演奏者手的位置，用这个信息来转谱。这样的好处是可以排除噪音对转谱的影响。还有好多好多，比如用声音信号辅助detection and segmentation； 手语识别时不仅用手的姿态变换信息，引入了嘴型变化信息；学习如何给无声电影/视频片段配音配乐等。(3) 仍然在CV的领域，但创造新的应用。MIT的William Freeman喜欢发这类论文，好多论文都是用现有的CV和语音技术发明一个崭新的应用，比如Speech2Face (根据一段声音重构人脸，因为声音会传递出性别，年龄，地域等很多信息)。他有好多新的应用，很多应用在提出的当时并没有合适的落地场景，但多年后各种条件成熟后取得了成功的应用。(4) 解决深度学习领域的一些fundamental的问题。比如，Hinton认为现在的CNN读取的是像素，这跟人脑来识别物体天然不同，人脑处理整个物体 (object centric)，而不是一个像素一个像素来处理像素。所以CNN天然对view, translation, small pixel perturbation (对抗样本)不鲁棒。他给的解决方案是胶囊网络。他设计了很多版本的胶囊网络，自己也在不停地推翻自己，不停迭代前进。让人尊敬。虽然大家偏好不同，但是有一点是相同的，大家都不去做tricks类的研究，不去发明一些可以提高性能的tricks。大家通常是着眼于一个大的picture，各种刷库技巧只是为一个大的picture服务。 3. 一个在西方国家逐渐兴起，但还没有引起我国学术界太重视的研究方向: trustworthy AI, 包含了 Explainable AI, fairness, accountability, privacy, transparency and ethics. 对这个方向感兴趣，给大家推荐一篇大佬们合写的论文 Toward trustworthy AI development: mechanisms for supporting verifiable claims。4. 深度学习时代，computer vision和graphics的桥梁(或者说是game changer)包含 (1) neural rendering, 如今年大火的NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis, 渲染速度快，效果逼真，必然对游戏，电影特效, AR产业带来革命性的影响。(2) GAN, 主要用于对图像和视频的编辑。5. 大家从基于2D静态图像的研究已经过渡到了3D和视频相关任务的研究。
1、分享中讲的着眼于一个大的picture，这个确实是很多真正研究者对自身定位的使命。他们总是在开拓创新，定义一个新的问题，然后开辟一个新的研究领域；这样比在一个老问题上做感知器的识别精度，要更有意思。2、关于hinton的胶囊网络，我也跟进了三个版本，最初始的capsulenet，到SCAE，再到最近的flow capsules，他确实一直在刷新自己的认知和记录。里面提到的自监督学习，建立在光流法的基础上，真正的机理我还没怎么搞明白。还得反刍一下论文。3、关于医疗AI创业。这一块国内跟国外存在差异。举个例子，宫颈癌检测中，有阴道镜和宫腔镜两种，前者据说十几美元，后者则是几百美元的费用。如果医疗影像AI能够预检阴道镜的图片，然后精准估计是否需要上宫腔镜，那么不需要上宫腔镜节省下来的费用，国外保险公司可以把这一部分钱给医疗影像AI公司；但国内如果需要做宫颈癌检测，大都会直接上宫腔镜，一方面患者放心，二方面医院增收。因而医疗影像AI在国内更多的是课题研究，降低医生的工作强度。4、Reinforcement learning (in Robotics)，这个是一个好方向，以前的智能驾驶更多关注感知器方面，车道线检测，手势识别这些，现在越来越需要构建一个中枢大脑，来决策转动方向、加速器、减速器的值，这一块大家都把希望投向了强化学习。
原文作者：Agent的潜意识；如有侵权，请联系管理员删除。
