ITPub博客

关于 “Spark” 的内容如下：

• EMR Serverless Spark：一站式全托管湖仓分析利器

  EMR Serverless Spark 是一款云原生，专为大规模数据处理和分析而设计的全托管 Serverless 产品。提供作业开发、调试、发布、调度等一站式体验，支持ETL、交互式数据分析等。

  阿里云大数据AI技术 Spark 989 2024-10-31 09:45

• 一招解决vscode无法提示pyspark包相关方法

  最近在本地电脑配置Spark相关开发环境时：- Spark：3.3.5- Python：3.11.8- VSCode：1.93.1- pyspark：3.5.2D:\devlab\pylab\pysparklab>pip show pyspark Name: pysparkVersion: 3.5.2 Summary: Apache&

  招牌鸡蛋面 Spark 503 2024-09-24 20:15

• 行转列-多行转多列（竖表转横表）

  一、基础数据有学生成绩表，包含学生id、学科、成绩+-------------+----------+--------+| student_id  | subject  | score  |+-------------+----------+--------+| 001  &nb

  晨曦_001 Spark 1168 2024-09-05 08:03

• 行转列-多列一一对应

  一、基础数据有配送订单表记录骑手配送的物品类型、送达时间、顾客id、配送举例及配送费。+-----------+-----------+-------------+----------------------+--------------+-----------+----------+| rider_id  | order_id  | goods_type  | &n

  晨曦_001 Spark 905 2024-09-05 08:00

• 有序行转列

  一、基础数据有配送订单表记录骑手配送的物品类型、送达时间、顾客id、配送举例及配送费。+-----------+-----------+-------------+----------------------+--------------+-----------+----------+| rider_id  | order_id  |&n

  晨曦_001 Spark 765 2024-09-03 23:16

• 简单行转列

  简单行转列一、基础数据有配送订单表记录骑手配送的物品类型、送达时间、顾客id、配送举例及配送费。+-----------+-----------+-------------+----------------------+--------------+-----------+----------+| rider_id  | order_id  | goods_type &nbsp

  晨曦_001 Spark 792 2024-09-03 23:12

• spark3.5.1中内置函数大全

  spark3.5.1中内置函数大全

  晨曦_001 Spark 767 2024-08-14 22:09

• 一文搞懂连续问题

  连续问题考察范围可能涉及到：开窗函数，lag函数，row_number()，sum()over(order by) 等各种函数，以及相关数据处理技巧等，无论选取那种方法，连续问题都是相对较为复杂，考察综合能力的一类问题。

  晨曦_001 Spark 689 2024-08-14 21:53

• 周期补数据、定时补数据，深入了解两种补数据的特殊方式

  在当今数字化的时代，数据已然成为企业决策与运营的关键要素。而保障数据的完整性、准确性以及及时性，对于企业的发展有着举足轻重的意义。在数据运维管理范畴内，补数据属于大数据开发和运维人员常用的运维操作手段。

  数栈DTinsight Spark 829 2024-08-14 11:10

• 【评测有奖】参加 EMR Serverless Spark 产品评测，赢机械键盘、充电宝等礼品！

  即日起至2024年7月18日，参加 EMR Serverless Spark 产品评测，赢机械键盘、充电宝等礼品！

  阿里云大数据AI技术 Spark 848 2024-07-09 09:29

• 基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用

  本文将以 OSS 日志处理场景为例，演示使用 EMR Serverless Spark 产品快速搭建日志分析应用。

  阿里云大数据AI技术 Spark 875 2024-06-03 09:48

• TiSpark v2.5 开发入门实践及 TiSpark v3.0.0 新功能解读

  背景Spark 是一款专为大规模数据处理而设计的计算引擎，而 TiSpark 是基于 Spark 非侵入式的强化插件，可以很好的兼容 TiDB，并对 TiDB 中的数据进行处理分析。TiSpark 集成了 mysql-connector-java，可以从 TiKV 和 TiFlash 读取数据。并且，TiSpark 实现了 TiKV 的 Java 客户端，可以写入数据到 TiKV，而不用经过 Ti

  少安事务所 Spark 1387 2024-04-22 15:47

• 阿里云 EMR Serverless Spark 版免费邀测中

  随着大数据应用的广泛推广，企业对于数据处理的需求日益增长。为了进一步优化大数据开发流程，减少企业的运维成本，并提升数据处理的灵活性和效率，阿里云开源大数据平台 E-MapReduce （简称“EMR”）正式推出 EMR Serverless Spark 版，并已开启邀测！

  阿里云大数据AI技术 Spark 605 2024-03-21 10:18

• Doris写ES，Spark、Flink以及DataX，谁更拉垮？

  这也从侧面反映出一个问题，那就是：针对大数据量时，这3个工具对 Doris 表的全表读取默认策略还不够友好，或者说这个过程还有很大的优化空间。 同时也进一步说明，一些所谓的解决方案，在遇到真正的大数据量时，都显得那么的脆弱无比，不堪一击。

  大数据技术前线 Spark 1691 2024-03-08 09:34

• Hudi 在 vivo 湖仓一体的落地实践

  在增效降本的大背景下，vivo大数据基础团队引入Hudi组件为公司业务部门湖仓加速的场景进行赋能。主要应用在流批同源、实时链路优化及宽表拼接等业务场景。

  vivo互联网技术 Spark 669 2023-12-14 11:21

• Spark SQL其他接口

  Spark SQL也支持直接运行SQL查询的接口，不用写任何代码。运行Thrift JDBC/ODBC服务器./sbin/start-thriftserver.sh这个脚本接受任何的bin/spark-submit命令行参数，加上一个--hiveconf参数用来指明Hive属性。你可以运行./sbin/start-thriftserver.sh --help来获得所有可用选项的完整列表。默认情况下

  mcxiaoracle Spark 409 2023-08-15 23:20

• Spark SQL性能调优

  Spark SQL性能调优对于某些工作负载，可以在通过在内存中缓存数据或者打开一些实验选项来提高性能。在内存中缓存数据Spark SQL可以通过调用sqlContext.cacheTable("tableName")方法来缓存使用柱状格式的表。然后，Spark将会仅仅浏览需要的列并且自动地压缩数据以减少内存的使用以及垃圾回收的压力。你可以通过调用sqlContext.uncac

  mcxiaoracle Spark 499 2023-08-13 17:24

• Spark 编程指南

  Spark SQL开始

  mcxiaoracle Spark 469 2023-08-13 17:18

• 大数据通用组件故障处理

  本文分享自天翼云开发者社区《大数据通用组件故障处理》，作者:f****nHDFS1.HDFS 服务一直异常检查HDFS是否处于安全模式。检查ZooKeeper服务是否运行正常。2.HDFS 维护客户端出现OutOfMemoryError 异常使用HDFS客户端之前，需要在HADOOP_CLIENT_OPTS更新"-Xmx" GC参数。直接执行如下命令：export HADOOP

  天翼云开发者社区 Spark 644 2023-07-28 15:51

• Spark本地模式安装

  Spark本地模式的安装比较简单，直接启动上一节安装配置好的CentOS7-201虚拟机（直接使用免费的Virtualbox安装CentOS7.9），以hadoop账户登录Linux，下载并解压Spark安装文件就可以运行。这种模式可以让我们快速了解Spark。在安装Spark之前需要需先准备好JDK环境，并正确配置JAVA_HOME和PATH环境变量。下面介绍一下Spark本地模式的安装。（1）

  brucexia Spark 725 2023-07-11 16:07