企业自有数据格式杂乱,MapReduce如何搞定?
本文作为《Hadoop从入门到精通》大型专题第三章的最后一篇文章,主要介绍了SequenceFile和Avro之外的其它数据格式,以及与MapReduce的兼容性,并介绍了企业常用的自定义数据格式或CSV格式如何作为MapReduce作业输入等内容。
最新!SQL Server 2019将结合Spark创建统一数据平台!
根据其官网最新消息,微软公布了SQL Server 2019预览版。25年来,SQL Server帮助企业管理关系数据的各个方面。在该预览版本中,SQL Server不仅通过统一图形和关系数据来进行查询,还通过R和Python模型将机器学习带入数据库。随着数据量和种类的增加,用户需要轻松地跨所有类型的数据集成和分析,SQL Server 2019的目的就在于此。
简单的区块链开发入门:Hyperledger Iroha介绍
Hyperledger Iroha是一个简单的区块链平台,可用于制作可信、安全、快速的应用程序,本文内容来源于Soramitsu联合创始人兼联合首席执行官Makoto Takemiya针对Hyperledger Iroha接受采访时所说的内容。
如何在MapReduce中使用Avro数据格式?
本文作为《Hadoop从入门到精通》大型专题的第三章后续,主要是对前一章中所提及的Protocol Buffers概念的补充以及如何在MapReduce中使用Avro数据格式。Avro改进了Protocol Buffers,因为其代码生成是可选的,并且以容器文件格式嵌入模式,允许动态发现和数据交互。Avro有一种机制来处理使用通用数据类型的模式数据,这部分将会在之后的章节中呈现(往期文章可自行查看文末链接)。
Splunk>live!2018中国用户大会北京站大聊安全话题,到底支了哪些招?
自勒索病毒事件发生后,企业对于安全的重视程度达到了新的高度。2018年,根据多家调研机构和网络安全厂商的调查数据来看,2018年上半年对中国网络安全影响最大的就是挖矿和勒索病毒,仅上半年全国共计感染了456万余次,全国247家三甲医院检测出勒索病毒,以广东和湖北为最!
Splunk>live!2018北京站激情开场:合格的大数据处理平台到底是什么样子?
作为本届Splunk>live!2018中国用户大会的收官之战,北京站的会场流程以及议题设置更加严谨,并且下午双会场并行,以期真正让所有参会者有所收获。在IT世界,真正的基础设施是什么?一切热门技术的基础又是什么?到底什么样的公司可以称作是真正的大数据企业?什么样的平台可以称作真正的大数据处理平台?这一切都可以在北京站获得答案。
蚂蚁金服做区块链:我们绝不发空气币,要做就服务民生!
说起区块链,大家都不陌生,国内太多企业打着研究区块链的招牌公开发币,平日在币圈和矿圈游荡,对外则宣称为链圈。当然,本文的重点主要集中于区块链,对于那些真真假假的“山寨币”,各位还是自行评判吧!
如何在MapReduce中使用SequenceFile数据格式?
本文作为《Hadoop从入门到精通》大型专题的第三章第三节,主要介绍如何在MapReduce中使用SequenceFile数据格式。我们在上一篇文章中提到了许多可与MapReduce大数据处理匹配的数据格式,本节将首先介绍SequenceFile数据格式。(往期文章可查看文末)
Splunk>live!2018中国用户大会首设深圳场,初战告捷!
上海站的热浪还未消散,Splunk>live!2018中国用户大会的数据热火便迅速点燃了深圳站!深圳是一个生活节奏很快的城市,一如在中国迅速成长的Splunk。本届大会共分为上海、深圳和北京三站,数千位业界同仁共同探讨大数据行业的未来发展趋势,分享Splunk的应用成功案例,零距离展区互动并全程提供直播,这场数据盛宴定不负你!
MapReduce中对大数据处理最合适的数据格式是什么?
在本章的第一章节介绍中,我们简单了解了Mapreduce数据序列化的概念,以及其对于XML和JSON并不友好。本节作为《Hadoop从入门到精通》大型专题的第三章第二节将教大家如何在Mapreduce中使用XML和JSON两大常见格式,并分析比较最适合Mapreduce大数据处理的数据格式。(本专题的其他章节阅读详见文末链接)3.2.1 XML XML自1998年诞生以来就作为一种数据格
Splunk>live!2018用户大会上海站落幕:探险家精神一览无遗!
Splunk,一家历史悠久且有着浓浓探险家精神的企业。每次读到Splunk这个单词,总能让我们联想到另一个单词“Spelunking”,Spelunking意即探险,这是Splunk名字的灵感来源,也像极了Splunk所做的事情。所谓探险,潜的越深,知道得越多,Splunk就是企业在成堆日志资料中探险的最佳工具。
MapReduce数据序列化读写概念浅析!
MapReduce为处理简单数据格式(如日志文件)提供了简明的文档支持,但MapReduce已经从日志文件发展到更复杂的数据序列化格式(如文本,XML和JSON)处理,本章的目标是记录如何使用常见的数据序列化格式,以及检查更结构化的序列化格式,并比较它们与MapReduce的适用性。
教程:Apache Spark SQL入门及实践指南!
Apache SparkSQL是一个Spark模块,可以使用Python,Java和Scala中的DataFrame和DataSet抽象简化结构化数据处理,该过程让数据从企业移动到对应的列以形成分布式数据集合。它提供了一种很好的优化技术。 使用Spark SQL,我们可以从Spark程序内部通过标准数据库连接器(JDBC / ODBC)连接到Spark SQL外部工具查询数据。
Hadoop生态系统各组件与Yarn的兼容性如何?
作为Hadoop 2.0中出现的资源管理系统,Yarn总体上仍然是master/slave结构,在整个资源管理框架中,resourcemanager为master,nodemanager是slave。作为Hadoop生态系统的一部分,Yarn要想获得市场认可,必须学会与Hadoop生他系统中其他组件兼容。本文作为《Hadoop从入门到精通》大型专题的第二章第三节,主要介绍了Yarn如何与Hadoop生态系统中其他组件配合。
如何在Ubuntu-16.04上配置Apache Kafka集群!
Apache Kafka是一个免费的开源流处理软件平台,由Apache软件基金会用Scala编写。它是一种分布式消息代理,专门用于有效处理大量实时信息。与其他消息代理系统(如ActiveMQ和RabbitMQ)相比,Apache Kafka具有更高的吞吐量。Apache Kafka基于提交日志,允许用户订阅并将数据发布到任意数量的系统或实时应用程序。
胡嘉伟 :实时计算在提升播放体验的应用实践
提供正版、高清、流畅的视频播放服务始终是爱奇艺所追求的目标, 除了播放体系本身的建设之外, 爱奇艺也立足于用户,从用户视角对爱奇艺播放时的播放故障、 卡顿等指标进行实时分析,以提供立体的、多维度的实时数据监控。
三大亮点燃爆Splunk>live!2018用户大会北京收官之站!
经历了认知到初步探索的市场教育阶段,大部分企业都已经认识到数据对业务的驱动价值并处于数字化转型的关键时期。虽然,许多参与数字化竞争的企业都聘请了具有远见的专家,但是这些专家在制定必要的变革方案上依旧面临着巨大挑战,正如杰克·韦尔奇所说“如果外界的变化率超过内部变化的速度,那么终结就接近了”。可见,转型不得不为且迫在眉睫!
Splunk>live!2018用户大会北京站干货满满,精彩议题嗨爆全天!
经历了认知到初步探索的市场教育阶段,大部分企业都已经认识到数据对业务的驱动价值并处于数字化转型的关键时期。虽然,许多参与数字化竞争的企业都聘请了具有远见的专家,但是这些专家在制定必要的变革方案上依旧面临着巨大挑战,正如杰克·韦尔奇所说“如果外界的变化率超过内部变化的速度,那么终结就接近了”。可见,转型不得不为且迫在眉睫!
Redis Enterprise新版优化线性扩展,性能测试有点厉害!
在Redis Enterprise 5.0版本中,其团队引入了对开源(OSS)集群API的支持,允许Redis Enterprise集群通过添加分片和节点以线性方式进行扩展。本文给出了第一个线性扩展基准测试以及Redis Enterprise如何与OSS集群API协同办公,并展示了这种无限的线性扩展能力。
MapReduce如何作为Yarn应用程序运行?
本文作为《Hadoop从入门到精通》第二章的第二节,主要介绍Yarn出现之后,MapReduce体系架构发生的改变、其在Hadoop集群中的运行原理、如何配置以保证MapReduce可以作为Yarn之上的应用程序工作并保持向后兼容性等内容。