ITPub博客

首页 > 大数据 > Spark

关于 “Spark” 的内容如下:

  • Scala版Spark简单商品统计程序教程--逐行精讲

    题目是给一点点数据,统计总营业额,最受欢迎的商品啥的,很容易,适合练手:John,iPhone Cover,9.99John,Headphones,5.49Jack,iPhone Cover,9.99Jill,Samsung Galaxy Cover,8.95Bob,iPad Cover,5.49第一列人名,第二列商品名,第三列价格。每行代表一个订单记录,把他们复制到一个csv文件,或者txt啥的

    技术小飞侠 Spark 630 2018-12-18 09:40
  • redis数据结构

    redis不只是一个简单的键(key)-值(value)数据库,实际上它是一个数据结构服务器,支持各种类型的值。也就是说,在传统的键-值数据库中,你把字符串键与字符串值联系起来,而在redis,值不仅限于一个简单的字符串,还可以是更复杂的数据结构。下面列出了所有redis支持的数据结构,下文会分别对这些结构进行介绍:二进制安全字符串队列(lists):基于插入顺序有序存储的字符串元素集合。主要是链

    Tybyq Spark 340 2018-12-13 16:59
  • 张翼:Spark SQL在携程的实践经验分享!

    之前,大多数公司大数据的数仓都是构建在Hive上的,数据开发的ETL任务以及用户对于数据的即时查询主要使用的工具也是Hive,随着Spark以及其社区的不断发展,Spark及Spark SQL本身技术的不断成熟,Spark在技术架构和性能上都展示出Hive无法比拟的优势,如何使用Spark构建大数据的数仓?如何将现有的数仓平台从Hive转到Spark上?

    大数据频道 Spark 1304 2018-11-28 11:34
  • 大数据经典学习路线(及供参考)

    大数据学习路线很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:199427210,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系Linux基础和分布式集群技术学完此阶段可掌

    金罗老师 Spark 403 2018-11-24 21:02
  • 大规模特征构建实践总结

    网上有非常多介绍大规模机器学习的资料,大部分的内容都集中在为何要做大规模机器学习模型以及Parameter Server相关的资料,但我们在实际实践中,发现大规模的特征预处理也有很多问题需要解决。有一次和明风(以前在阿里,后来去了腾讯做了开源的PS:angel)交流过这部分的工作为何没有人开源,结论大致是这部分的工作和业务相关性大,且讲明白了技术亮点不多,属于苦力活,所以没有开源的动力。

    大快搜索DKH Spark 341 2018-11-16 15:22
  • Spark SQL 与 Hive 的第一场会师

    Spark SQL 搭配 Hive , 香醇可口

    dblenis Spark 413 2018-11-03 11:31
  • CDH 5.13.0安装Spark 2.2

    CDH 5.13.0自定义安装Spark 2.2

    z597011036 Spark 432 2018-10-30 19:26
  • Spark 高难度对话 SQL Server - 续篇

    笑谈 Spark SQL 技术内幕

    dblenis Spark 370 2018-10-19 07:55
  • 大数据学习,大数据发展趋势和Spark介绍

    大数据学习,大数据发展趋势和Spark介绍 大数据是随着计算机技术、通信技术、互联网技术的发展而产生的一种现象。以前我们没有实现人和人之间的连接,产生的数据没有现在这么多;或者说没有把产生的数据记录下来;即使记录下来,我们也没有很好的工具对这些数据进行处理、分析和挖掘。而随着大数据技术的发展,我们开始逐渐地拥有这种能力,来发掘数据中的价值。大数据技术在2012年之前是以MapReduce

    华为云学院 Spark 376 2018-10-17 11:24
  • 如何处理Docker错误消息:please add——insecure-registry

    本地安装Kubernetes时,遇到如下的错误消息:pleade add --insecure-registry gcr.io to daemon's arguments解决方案:点击Docker的Preference菜单:点击Daemon标签页,在Insecure registries里维护记录:将错误信息里提到的gcr.io维护进Insecure registries, 点击按钮&qu

    i042416 Spark 362 2018-10-04 07:48
  • spark-on-yarn作业提交缓慢优化之spark jar包处理

    spark-on-yarn作业提交缓慢优化之spark jar包处理

    hz_ganwei Spark 440 2018-09-25 13:43
  • spark2.2.0 配置spark sql 操作hive

    spark可以通过读取hive的元数据来兼容hive,读取hive的表数据,然后在spark引擎中进行sql统计分析,从而,通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下: 1、启动hive的元数据服务hive可以通过服务的形式对外提供元数据读写操作,通过简单的配置即可  编辑 $HIVE_HOME/conf/hive-site.xml,增加如

    laoma8888 Spark 442 2018-09-23 12:48
  • 教程:Apache Spark SQL入门及实践指南!

    Apache SparkSQL是一个Spark模块,可以使用Python,Java和Scala中的DataFrame和DataSet抽象简化结构化数据处理,该过程让数据从企业移动到对应的列以形成分布式数据集合。它提供了一种很好的优化技术。 使用Spark SQL,我们可以从Spark程序内部通过标准数据库连接器(JDBC / ODBC)连接到Spark SQL外部工具查询数据。

    赵钰莹 Spark 1420 2018-09-12 17:47
  • 胡嘉伟 :实时计算在提升播放体验的应用实践

    提供正版、高清、流畅的视频播放服务始终是爱奇艺所追求的目标, 除了播放体系本身的建设之外, 爱奇艺也立足于用户,从用户视角对爱奇艺播放时的播放故障、 卡顿等指标进行实时分析,以提供立体的、多维度的实时数据监控。

    赵钰莹 Spark 1383 2018-09-10 16:53
  • SparkSQL外部数据源

    外部数据源-External Data Source API

    13545163656 Spark 401 2018-09-06 20:52
  • Spark SQL在100TB上的自适应执行实践

    作者:汪愈舟   俞育才   郭晨钊   程浩(英特尔),李元健(百度)责编:钱曙光(qianshg@csdn.net) Spark SQL是Apache Spark最广泛使用的一个组件,它提供了非常友好的接口来分布式处理结构化数据,在很多应用领域都有成功的生产实践,但是在超大规模集群和数据集上,Spark SQL仍然遇到不少易

    loveheping Spark 385 2018-09-03 22:54
  • DataFrame概述与使用

    DataFrame概述与使用

    13545163656 Spark 476 2018-09-03 20:39
  • SparkSQL部署与简单使用

    一、运行环境Ø  JDK:1.8.0_45 64位Ø  hadoop-2.6.0-cdh5.7.0Ø  Scala:2.11.8Ø  spark-2.3.1-bin-2.6.0-cdh5.7.0(需要自己编译)Ø  hive-1.1.0-cdh5.7.0二、SparkSQL运行准备#元数据存在MyS

    13545163656 Spark 482 2018-08-30 21:53
  • SparkSQL初识

    一、 Spark SQL介绍                Spark SQL是Apache Spark's的一个模块,用来处理结构化数据,1.0后产生;SQL语句主要体现在关系型数据库上,大数据中基于Hadoop的SQL有Hive

    13545163656 Spark 252 2018-08-30 18:51
  • Scala 类和对象

    1.scala中的类不声明为public,一个Scala源文件中可以有多个类。Scala 的类定义可以有参数,称为类参数,如上面的 xc, yc,类参数在整个类中都可以访问。2.继承Scala继承一个基类跟Java很相似, 但我们需要注意以下几点:1、重写一个非抽象方法必须使用override修饰符。2、只有主构造函数才可以往基类的构造函数里写参数。3、在子类中重写超类的抽象方法时,你不需要使用o

    laoma8888 Spark 328 2018-08-30 02:00
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
18603471036
扫描二维码联系客服
关于 广告服务 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心