ITPub博客

为了那些希望知道在数据科学方面选择 Python 还是 R 编程语言的人，我发布了这篇指导文章。你可能在数据科学方面是个新手，或者你需要在一个项目中选出一个语言，这篇文章可能会帮助到你。

提起Hadoop，我们就可以想到大数据；提起Oracle，我们就可以想到数据库。国内确实有不少企业习惯于将Hadoop作为数据库使用，因此将其与数据库领域同样占据重要位置的Oracle进行对比是有意义的。

MaxCompute包含临时层、基础数据层、应用层三个层次，数据上云后将数据源中的数据先传输到MaxCompute里的临时层中，并将数据进行处理，接着将数据经过简单的转换传输到基础数据层，最后将数据进一步汇总到应用层进而提供服务。

我们常说“性能优化永无止境”，极致的用户体验早已成为IT应用设计和开发的黄金准则。虽然用户体验没有上限，但它的底线一直都很清晰，正如Dynatrace大中华区总经理琚伟在Dynatrace Perform 2018大会上所说“目前可以达到的最完美的用户体验实际上是下一次体验的底线”。所有企业似乎都在忙着数字化转型，这让厂商很不安，大量的云应用、容器和微服务的出现让传统APM失去抵抗力，这些厂商纷纷开始寻求转型。

苏宁易购所有的网站内容管理在核心主系统commerce上，完成了第一版本网站上线，并且形成了内容管理框架理论，后续产品和技术思路也是基于此框架演变。内容管理业务完成了从commerce中拆分，CMS 1.0版本诞生，成为一个独立系统，确立了页面模板化、模块化的概念，具备了并行开发和灵活发布的条件；但痛点仍然存在，例如前端模板与后端系统的耦合、页面迭代慢、开发效率低、整体性能较差等

消息队列Kafka是一个分布式的、高吞吐量、高可扩展性消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。本文就将带你走进消息队列Kafka。

众所周知，Yarn是大数据核心调度组件，其使用覆盖率非常高。在“Hadoop是否已失宠”的选题调研中，不少专家都对Yarn这一核心组件的生命力表达了自己的看法。

Apache Pulsar是一个企业级的分布式消息系统，最初由Yahoo开发并在2016年开源，目前正在Apache基金会下孵化。Plusar已经在Yahoo的生产环境使用了三年多，主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa以及Yahoo的KV存储。

美团配送自成立以来，业务经历了多次跨越式的发展。业务的飞速增长，对系统的整体架构和基础设施提出了越来越高的要求，同时也不断驱动着技术团队深刻理解业务、准确定位领域模型、高效支撑系统扩展。如何在业务高速增长、可用性越来越高的背景下实现系统架构的快速有效升级？如何保证复杂业务下的研发效率与质量？本文将为大家介绍美团配送的一些思考与实践。

Squirrel（松鼠）是美团技术团队基于Redis Cluster打造的缓存系统。经过不断的迭代研发，目前已形成一整套自动化运维体系，涵盖一键运维集群、细粒度的监控、支持自动扩缩容以及热点Key监控等完整的解决方案。同时服务端通过Docker进行部署，最大程度的提高运维的灵活性。分布式缓存Squirrel产品自2015年上线至今，已在美团内部广泛使用，存储容量超过60T，日均调用量也超过万亿次，逐步成为美团目前最主要的缓存系统之一。

在Hadoop 1.0中，HDFS的单NameNode设计带来诸多问题，包括单点故障、内存受限制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等，为了解决这些问题，Hadoop 2.0引入了基于共享存储的HA解决方案和HDFS Federation，HDFS Federation是指HDFS集群可同时存在多个NameNode，这些NameNode分别管理一部分数据，且共享所有DataNode的存储资源。

深度学习朝着可解释的方向发展，理解背后的基本原理显得更加重要。本文是一份帮助读者更好地理解深度学习基本过程的清单，便于初学者和部分起步者针对性地补充自己的知识体系。

根据美国劳工部的数据，IT技术人员的平均薪资通常要高于其他职业，2016年美国开发人员的平均薪资高于10万美元，仅年终奖就可以拿到1万多美元，实习生的时薪甚至都可以达到50美元，但是，近日国外一家机构Blind发布的报告中，61%的开发人员认为自己的薪资偏低，34%的开发者表示拿到了公平的薪酬，而剩余5%的开发者认为薪酬过高。

本文主要围绕数据库相关的主题，内容包括美团数据库自动化运维系统构建、点评侧 MySQL 自动化服务平台 RDS、美团数据库中间件、和小米高级 DBA 带来的 Redis Cluster 的大规模运维实践。

理论上，数据库性能调优应由数据库管理员（DBA）完成，但是开发人员有义务书写更规范的SQL代码，这也可以有效提高数据库性能。本文将介绍七大SQL代码编写规范，这是提高数据库性能最简单有效的方法。

GC一直是Java应用中讨论的一个热门话题，尤其在像HBase这样的大型在线存储系统中，大堆下(百GB)的GC停顿延迟产生的在线实时影响，成为内核和应用开发者的一大痛点。过去的一年里，我们准备在Ali-HBase上突破这个被普遍认知的痛点，为此进行了深度分析及全面创新的工作，获得了一些比较好的效果。

在 Yann Lecun 提出 Le-Net5 之后的十几年内，由于神经网络本身较差的可解释性以及受限于计算能力的影响，神经网络发展缓慢且在较长一段时间内处于低谷。2012年，深度学习三巨头之一、具有神经网络之父之称的 Geoffrey Hinton 的学生 Alex Krizhevsky 率先提出了 AlexNet，并在当年度的 ILSVRC（ImageNet大规模视觉挑战赛）以显著的优势获得当届冠军

如今，各种各样的机器学习工具活跃在开源社区，这些工具有助于减轻配置和测试AI相关工作的负载。但是，如何评估并选择适合自己的工具成为了开发者必须认真思考的问题，有些人可能希望在训练新的AI算法时专注于易用性，而其他人可能会优先考虑参数优化和生产部署，不同的框架在不同的领域又具备着不同的优劣势。

借助于图形化的手段，清晰、快捷有效的传达与沟通信息。从用户的角度，数据可视化可以让用户快速抓住要点信息，让关键的数据点从人类的眼睛快速通往心灵深处。数据可视化一般会具备以下几个特点：准确性、创新性 和 简洁性。

软件是网络世界的前沿和中心，客户需要更多可编程、灵活且成本更低的网络解决方案。随着基于云的服务越来越多地被采用，降低数据中心复杂性的需求也逐渐增加，这推动了软件定义广域网和基于意图的网络等技术的发展。根据Global Market Insights的一份研究报告，预计未来几年全球软件定义网络解决方案和服务市场的复合年增长率（CAGR）将达到54％，到2024年达到880亿美元。