ITPub博客

　不同于以往的授课式课堂风格，这次斯坦福大学的教授Hadley Wickham开设了一门论文讨论课。课程名为：Readings in Applied Data Science。要求学生每周阅读3~4篇论文，并给出反馈。

AI(人工智能)技术已经广泛应用于美团的众多业务，从美团App到大众点评App，从外卖到打车出行，从旅游到婚庆亲子，美团数百名最优秀的算法工程师正致力于将AI技术应用于搜索、推荐、广告、风控、智能调度、语音识别、机器人、无人配送等多个领域，帮助美团3.2亿消费者和400多万商户改善服务和体验，帮大家吃得更好，生活更好。

?哈希算法一直是索引中最为经典的方法，它们能高效地储存与检索数据。但在去年 12 月，Jeff Dean 与 MIT 等研究者将索引视为模型，探索了深度学习模型学习的索引优于传统索引结构的条件。本文首先将介绍什么是索引以及哈希算法，并描述在机器学习与深度学习时代中，如何将索引视为模型学习比哈希算法更高效的表征。

数据分析老鸟都知道，相比于自己作出好的数据分析报告，“教别人如何入门数据分析”这事情简单多了。什么for循环，def函数，print输出，自变量a赋值，字符串和数字转换，相关分析，回归分析，方差分析，聚类分析，判别分析，决策树分析等。函数太多，方法太多，套路太多，技巧太多……可现实是，大多数人听了无数道理依旧庸碌一生，学完68个Python常见函数却依旧做不好数据分析。

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。

降价、AI养猪、冬奥会、ET大脑、新品、开源、公测......这些关键词同时出现在了阿里云2018云栖大会·上海峰会的现场。在国人的惯性思维中，越大的企业所需承载的社会责任和期望越大。随着互联网新兴技术的发展，中国有机会重新定义城市，阿里云ET大脑则承担了部分重任，但阿里云显然并未止步于智慧城市建设，这次又抓住了哪个行业呢?手握大量实战经验和技术能力，阿里云打算如何输出这些实力呢?现场迁移2TB数据，连线语音智能买票、开源中国首个云厂商产品文档，阿里云到底有多少面?

自动化运维时代，最先受到影响的就是DBA。传统意义上，这类工程师是一个要求较高但在整个IT体系中所获认可度不高的角色。在大多数人的认知中，DBA的工作基本相当于消防员，哪里有火就灭哪里，每天的大部分时间都用在基础运维和系统修复上，没有精力关注更有价值的事情，DBA应该如何成长呢?AI时代，DBA的生存模式应该如何转变呢？

随着应对大规模交易的Web应用程序、SOA和其他服务器应用程序的爆炸式增长，数据存储无法跟上应用增长速度，因为数据存储无法继续添加更多服务器以扩展，这与可扩展性极高的应用架构不同。

经常做数据处理的伙伴们肯定会有这样一种体会：最近一周内的数据会被经常使用到，而比如最近几周的数据使用率会有下降，每周仅仅被访问几次;在比如3月以前的数据使用率会大幅下滑，存储的数据可能一个月才被访问几次。这就产生了一种热和冷数据，对需要频繁访问的数据我们称之为“热”数据，反之我们称之为”冷”数据，而处于中间的数据我们称之为”温”数据。

如果你善于使用Pandas变换数据、创建特征以及清洗数据等，那么你就能够轻松地使用Dask和Numba并行加速你的工作。单纯从速度上比较，Dask完胜Python，而Numba打败Dask，那么Numba+Dask基本上算是无敌的存在。将数值计算分成Numba sub-function和使用Dask map_partition+apply，而不是使用Pandas。对于100万行数据，使用Pandas方法和混合数值计算创建新特征的速度比使用Numba+Dask方法的速度要慢许多倍。

Druid是一款支持数据实时写入、低延时、高性能的OLAP引擎，具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有特定的应用场景，是大数据基础架构建设中重要的一环。Druid在滴滴承接了包括实时报表、监控、数据分析、大盘展示等应用场景的大量业务，作为大数据基础设施服务于公司多条业务线。本次演讲我们将介绍Druid的核心特性与原理，以及在滴滴内部大规模使用中积累的经验。

每年，市场上都会出现种种不同的数据管理规模、类型与速度表现的分布式系统。在这些系统中，Spark和hadoop是获得最大关注的两个。然而该怎么判断哪一款适合你?

从20世纪60年代中期开始至今，数据库系统的研究和开发已经走过了50多年的历程，经历了多次迭代。自进入大数据时代，没有企业还会问“数据是否重要?”，因为数据对业务的驱动价值日益明显。随着硬件技术的进步和数据种类、数量以及应用领域的多变，数据库的类型也变得越来越多，与数据库最相关的DBA人群成为受到冲击最大的一群人。

在过去几个月的走访调研中，针对Gartner《2017年数据管理技术成熟度曲线》做出的Hadoop“即将在到达生产成熟期之前衰落”的结论，笔者询问了数十位大数据领域技术专家的观点，Hadoop在国内大数据市场的地位正如笔者所预料的一样稳固。既然如此，那么是Gartner的结论有误吗?我们应该如何正确解读这份报告?抛开报告，Hadoop生态各组件到底表现如何呢？

从3月份到现在2个月过去了，整个数据平台从0到1，算是有了一个基本的样子，跌跌撞撞的勉强支撑起运营的一些基本业务，当然这仅仅是开始，下一步还要从零打造自己的UBS系统，想想都兴奋呢!接下来总结下自己这段时间的得失，以及下一阶段的演化目标。

以下资料来源于互联网，很多都是面试者们去面试的时候遇到的问题，我对其中有的问题做了稍许修改了并回答了部分空白问题，有些考题出的的确不是很好，但也不乏有很好的题目，这些都是基于真实面试而来，希望对即将面试或想继续学习hadoop，大数据等方向的朋友有所帮助!

可以说，Java是现阶段中国互联网公司中，覆盖度最广的研发语言，掌握了Java技术体系，不管在成熟的大公司，快速发展的公司，还是创业阶段的公司，都能有立足之地。有不少朋友问，除了掌握Java语法，还要系统学习哪些Java相关的技术，今天分享一个，互联网Java技术学习路线图。

在任何一家互联网公司，不管其主营业务是什么，都会有一套自己的账号体系。账号既是公司所有业务发展留下的最宝贵资产，它可以用来衡量业务指标，例如日活、月活、留存等，同时也给不同业务线提供了大量潜在用户，业务可以基于账号来做用户画像，制定各自的发展路径。因此，账号服务的重要性不言而喻，同时美团业务飞速发展，对账号业务的可用性要求也越来越高。本文将分享一些我们在高可用探索中的实践。

经历了近三个月对国内厂商及企业用户的走访调研，笔者发现国内大部分厂商及企业对Hadoop，尤其是其核心组件的未来十分看好，并且Hadoop已经成为国内大多数互联网公司和大数据厂商基础架构中很重要的一部分，似乎并未把Gartner的“Hadoop在到达生产成熟期之前即会被淘汰”的结论放在心上。然而，在近期对国外大数据厂商Teradata及其两大银行客户——富国银行和加拿大皇家银行的采访中，笔者收到了与国内用户截然不同的反馈。

在图像、语音识别、自然语言处理、强化学习等许多技术领域中，深度学习已经被证明是非常有效的，并且在某些问题上已经达到甚至超越了人类的水平。然而，深度学习对于计算能力有着很大的依赖，除了改变模型和算法，是否可以从系统的层面来优化深度学习计算，进而改善计算资源的使用效率?本文中，来自微软亚洲研究院异构计算组资深研究员伍鸣与大家分享他对深度学习计算优化的一些看法。