十大国内外知名大数据专家探讨:Hadoop是生是死?
2017年,Gartner发布的《2017年数据管理技术成熟度曲线》将Hadoop掀上舆论巅峰,报告极其明显的标识出Hadoop即将在到达生产成熟期之前进入淘汰席。Gartner预测,到2018年,70%的Hadoop部署无法实现节约成本和收入增长的目标。在今年年初,Hadoop被列为2018年大数据领域的“渐冻”趋势之一,不少人将Hadoop称作“倒下的大象”,比如Lucidworks首席执行官Will Hayes。
长文解读:Flink在唯品会的实践应用!
本文来自于王新春在2018年7月29日 Flink China社区线下 Meetup·上海站的分享。王新春目前在唯品会负责实时平台相关内容,主要包括实时计算框架和提供实时基础数据,以及机器学习平台的工作。之前在美团点评,也是负责大数据平台工作。他已经在大数据实时处理方向积累了丰富的工作经验。
数据仓库架构到底选择内部部署还是上云?
对任何一家企业而言,建立数据仓库都是非常必要的。随着技术的进步,我们在这件事情上也有了很多新的选择,比如内部部署或者基于云。无论选择哪种方案,最终都可以实现从数据中获取商业智能从而辅助决策的目的,那么我们自然需要衡量哪种方案的性价比更高。
大数据公司挖掘数据价值的49个典型案例
对于企业来说,100条理论确实不如一个成功的标杆有实践意义,本文的主旨就是寻找“正在做”大数据的49个样本。本文力图从企业运营和管理的角度,梳理出发掘大数据价值的一般规律:一是以数据驱动的决策,主要通过提高预测概率,来提高决策成功率;二是以数据驱动的流程,主要是形成营销闭环战略,提高销售漏斗的转化率;三是以数据驱动的产品,在产品设计阶段,强调个性化;在产品运营阶段,则强调迭代式创新。
Flutter多语言实践
其中,方法名和name必须保持一致(不要问我为何会有这种坑爹要求)。'Waiting for the review'是默认文案,locale是当前的locale。 这样定义的话,可以用下面的方式获得文本。
HDFS系列之DataNode磁盘管理解析及实践!
在单一DataNode管理多个磁盘的情况下,执行普通写操作时的每个磁盘用量比较平均。但是,添加或者更换磁盘将会导致DataNode磁盘用量严重不均衡,传统的HDFS均衡器关注点是DataNode之间(inter-)而不是intra-,但是Hadoop 3.0及以上版本中,新的HDFS Intra-DataNode磁盘平衡器可以很好得解决上述问题。
Apache Flink 1.6.0 正式发布,涵盖多项重要更新
为期两个月开发的 Apache Flink 1.6.0 于昨天(2018-08-09)正式发布了。Flink 社区艰难地解决了 360 个 issues,到这里查看完整版的 changelog 。Flink 1.6.0 是 1.x.y 版本系列上的第七个版本,1.x.y 中所有使用 @Public 标注的 API 都是兼容的。此版本继续使 Flink 用户能够无缝地运行快速数据处理并轻松构建数据驱
国内少有的Flutter干货分享:Flutter的原理及美团的实践!
Flutter是Google开发的一套全新的跨平台、开源UI框架,支持iOS、Android系统开发,并且是未来新操作系统Fuchsia的默认开发套件。自从2017年5月发布第一个版本以来,目前Flutter已经发布了近60个版本,并且在2018年5月发布了第一个“Ready for Production Apps”的Beta 3版本,6月20日发布了第一个“Release Preview”版本。
美团扫码付的前端可用性保障实践!
本文根据美团高级工程师田泱在美团技术沙龙第31期《线下支付千万级订单服务——前后端架构实践》的演讲内容整理而成。
手把手教你HDFS基础配置安装及命令使用!
HDFS是基于Java的文件系统,可在Hadoop生态系统中提供可扩展且可靠的数据存储。因此,我们需要了解基本的HDFS配置和命令才能正常使用它。在使用之前,我们首先讨论如何配置安装HDFS,Hadoop以及HDFS都运行在java环境中,因此我们都需要安装JDK:
什么是事务、事务特性、事务隔离级别、spring事务传播特性?
事务是程序中一系列严密的操作,所有操作执行必须成功完成,否则在每个操作所做的更改将会被撤销,这也是事务的原子性(要么成功,要么失败)。
InnoDB,5项最佳实践,知其所以然?
第一篇,说说MySQL两个最常用的存储引擎,MyISAM和InnoDB。照自己的理解,把一些知识点总结出来,不只说知识点,多讲“为什么”。
扫盲:Hadoop分布式文件系统(HDFS)基础概念讲解!
无论你如何将Hadoop与Spark进行对比,无论Spark生态多么成熟和完善,其底层终归要基于HDFS,毕竟这是目前最成熟的分布式底层文件系统,几乎没有哪家公司愿意重新花费精力研发一个全新的文件系统。
Android消息总线的演进之路:用LiveDataBus替代RxBus等!
对于Android系统来说,消息传递是最基本的组件,每一个App内的不同页面,不同组件都在进行消息传递。消息传递既可以用于Android四大组件之间的通信,也可用于异步线程和主线程之间的通信。对于Android开发者来说,经常使用的消息传递方式有很多种,从最早使用的Handler、BroadcastReceiver、接口回调,到近几年流行的通信总线类框架EventBus、RxBus。Android消息传递框架,总在不断的演进之中。
Jenkins的Pipeline脚本在美团餐饮SaaS中的实践
在日常开发中,我们经常会有发布需求,而且还会遇到各种环境,比如:线上环境(Online),模拟环境(Staging),开发环境(Dev)等。最简单的就是手动构建、上传服务器,但这种方式太过于繁琐,使用持续集成可以完美地解决这个问题,推荐了解一下Jenkins。
TOP 3大开源Python数据分析工具!
在大数据库领域,Python是最常被使用的编程语言,因此了解与其相关的数据分析工具是很有必要的。如果你正在使用virtualenv、pyenv或其他变体在自己的环境中运行Python,那么,可以尝试本文推荐的三大开源工具。本文选取的示例数据是最近几天从某网站获取的实际生产日志数据,从技术层面来看,这些数据并不能算作是大数据,因为它的大小只有大约2Mb,但就演示来说已经足够了。
耗时两个月调研,国内传统企业对Hadoop到底什么态度?
年初,笔者开始调研Hadoop在国内企业的应用现状,在前期的互联网企业应用现状调研中,笔者发现目前比较知名的互联网企业基本都在使用Hadoop,其生态组件,比如HDFS、Zookeeper、MapReduce等出现频率极高。但是,Hadoop在国外却遇冷,前有Gartner报告对Hadoop发行版的看衰论断,后有加拿大皇家银行和富国银行对Hadoop应用的不看好,到底国内的传统企业对Hadoop持什么态度?是否与国内的互联网企业一致呢?
开发技术分享:美团R语言数据运营实战!
近年来,随着分布式数据处理技术的不断革新,Hive、Spark、Kylin、Impala、Presto 等工具不断推陈出新,对大数据集合的计算和存储成为现实,数据仓库/商业分析部门日益成为各类企业和机构的标配。在这种背景下,是否能探索和挖掘数据价值,具备精细化数据运营的能力,就成为判定一个数据团队成功与否的关键。
消息中间件Kafka+Zookeeper集群简介、部署和实践
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。Kafka的目的是通过Hadoop并行加载机制统一线上和离线消息处理,并通过集群提供实时消息。本文内容较基础,主要围绕kafka的体系架构和功能展开。
新手入门必备:kylin安装教程介绍!
1. 背景最近在学习kylin,在安装的时候遇到一些坑,特意记录起来,也希望同样在学习kylin的人,少踩一些坑(要是连安装都过不去,还怎么学!!!)。2. 环境我选的kylin版本是1.5.4,因为买了一本叫《Apache kylin权威指南》,书中以1.5.x为蓝本,为了避免少踩坑,保持和书中版本一致。关于kylin安装环境,参考Hadoop Environment,下面是我自己的环境,只是为