-
Spark SQL其他接口
Spark SQL也支持直接运行SQL查询的接口，不用写任何代码。运行Thrift JDBC/ODBC服务器./sbin/start-thriftserver.sh这个脚本接受任何的bin/spark-submit命令行参数，加上一个--hiveconf参数用来指明Hive属性。你可以运行./sbin/start-thriftserver.sh --help来获得所有可用选项的完整列表。默认情况下
-
Spark SQL性能调优
Spark SQL性能调优对于某些工作负载，可以在通过在内存中缓存数据或者打开一些实验选项来提高性能。在内存中缓存数据Spark SQL可以通过调用sqlContext.cacheTable("tableName")方法来缓存使用柱状格式的表。然后，Spark将会仅仅浏览需要的列并且自动地压缩数据以减少内存的使用以及垃圾回收的压力。你可以通过调用sqlContext.uncac
-
Spark 编程指南
Spark SQL开始
-
大数据通用组件故障处理
本文分享自天翼云开发者社区《大数据通用组件故障处理》，作者:f****nHDFS1.HDFS 服务一直异常检查HDFS是否处于安全模式。检查ZooKeeper服务是否运行正常。2.HDFS 维护客户端出现OutOfMemoryError 异常使用HDFS客户端之前，需要在HADOOP_CLIENT_OPTS更新"-Xmx" GC参数。直接执行如下命令：export HADOOP
-
Spark本地模式安装
Spark本地模式的安装比较简单，直接启动上一节安装配置好的CentOS7-201虚拟机（直接使用免费的Virtualbox安装CentOS7.9），以hadoop账户登录Linux，下载并解压Spark安装文件就可以运行。这种模式可以让我们快速了解Spark。在安装Spark之前需要需先准备好JDK环境，并正确配置JAVA_HOME和PATH环境变量。下面介绍一下Spark本地模式的安装。（1）
-
Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native
Celeborn 采用了 Push Shuffle 的设计，通过远端存储、数据重组、内存缓存、多副本等设计，不仅进一步提升 Gluten Shuffle 的性能和稳定性，还使得 Gluten 拥有更好的弹性，从而更好的拥抱云原生。
-
Spark SQL、DataFrame、DataSet是什么
在很多情况下，开发人员并不了解Scala语言，也不了解Spark常用的API，但又非常想要使用Spark框架提供的强大的数据分析能力。Spark的开发工程师们考虑到了这个问题，于是利用SQL语言的语法简洁、学习门槛低以及在编程语言中普及程度和流行程度高等诸多优势，开发了Spark SQL模块。通过Spark SQL，开发人员能够使用SQL语句实现对结构化数据的处理。 本节主要
-
Spark弹性分布式数据集
1. Spark RDD是什么RDD（Resilient Distributed Dataset，弹性分布式数据集）是一个不可变的分布式对象集合，是Spark中最基本的数据抽象。在代码中RDD是一个抽象类，代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上。RDD可以包含Python、Java、Scala中任意类型的对象，甚至可
-
Spark计算引擎介绍
1. Spark是什么Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是加州大学伯克利分校的AMP实验室（Algorithms, Machines and People Lab）开源的类Hadoop MapReduce的通用并行框架，拥有Hadoop MapReduce所具有的优点，但不同于MapReduce的是Job（工作）中间输出的结果可以保存在内存中，从而不
-
Json 根据商品ID获取小红书商品详情数据，小红书商品详情接口返回值说明
小红书被誉为当下年轻女性的种草神器，一个 UGC 的购物分享社区，又是如何一步一步走向成功电商之路的呢？2013 年，我国超越德美成为世界第一的海外消费大国，但国内的跨境电商仍处于蓝海时期。网上能够搜到跨境旅游的各种攻略资讯，但却无法找到海外购物攻略。由此，针对这个痛点，以 UGC 为主的小红书应运而生。这样一个深耕 UGC 的购物分享社区，用了不到 5 年的时间便成长为全球最大的消费类口碑社区和
-
DAPP/NFT流动性LP质押挖矿技术系统开发模式
DAPP/NFT流动性LP质押挖矿是一种结合了去中心化应用程序（DAPP）和非同质化代币（NFT）的金融创新模式。本文将介绍这一模式的概念和优势，并提供一个简单的代码示例，用于实现一个基本的DAPP/NFT流动性LP质押挖矿平台。DAPP/NFT流动性LP质押挖矿开发I76案例2o72演示9II9是一种新兴的金融模式，旨在为用户提供更多的资金利用方式和收益机会。在这种模式下，可以将其持有的NFT资
-
如何在Inteillj IDE中使用Spark操作Hive
都知道，小编前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀，但是也可以先忽略，重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS，而后再简单介绍使用Spark操作Hive。
-
币币量化/合约量化/跟单交易系统技术开发/量化跟单策略方案
随着加密货币市场的不断发展，越来越多的人开始将注意力集中在量化交易上。量化交易是一种利用数学模型、统计分析和计算机算法来执行交易策略的方法，以更高效、更确地进行交易，从而获得更好的收益。智能机器人在此过程中起到了至关重要的作用，能够更好地实现量化交易策略。
-
DAPP代币预售质押流动性挖矿系统组件开发（技术分析）
随着区块链技术的不断发展，DAPP应用越来越多，各种新型的代币和挖矿方式层出不穷。其中，代币预售质押流动性挖矿已成为近期比较热门的一种挖矿方式。本文将为大家介绍DAPP代币预售质押流动性挖矿的原理及实现方式，并提供一份示例代码供大家参考。一、DAPP代币预售质押流动性挖矿原理DAPP代币预售质押流动性挖矿是基于Uniswap等去中心化交易所（DEX）的流动性挖矿基础上发展而来的一种新型挖矿方式。其
-
现成佛萨奇2.0智能合约系统程序开发技术
MMMBSC循环互助/佛萨奇2.0智能合约随着区块链技术的不断发展，越来越多的金融创新产品应运而生。MMMBSC循环互助/佛萨奇2.0智能合约就是其中之一，它通过智能合约技术，为用户提供了一种全新的资产管理方式。MMMBSC循环互助/佛萨奇2.0智能合约是基于BSC智能链开发的一款去中心化应用，旨在为用户提供安全、高效、透明的互助资产管理服务。用户可以通过该应用参与循环互助和佛萨奇游戏，赚取相应的
-
BNB智能链FTM1.0智能机器人系统技术开发/python语言
BNB智能链FTM1.0智能机器人随着加密货币市场的发展，越来越多的投资者涌入这个市场中。然而，这个市场的高1风1险和高波动性也给投资者带来了很大的挑战。为了应对这些挑战，智能机器人被开发出来，为投资者提供更好的交易决策和管理工具。BNB智能链FTM1.0智能机器人是一种基于人工智能和机器学习技术的交易机器人，它能够自动执行交易，同时提供高1级交易工具和分析功能，以帮助投资者更好地管理他们的投资组
-
Spark on K8s 在茄子科技的实践
Spark 大家都很熟悉，但如何在云原生场景下应用好它是一个难点。本次将分享茄子科技在 Spark on K8s 方面的实践。
-
Hive 和 Spark 分区策略剖析
随着技术的不断的发展，大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最ju代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在一些不同之处。
-
Spark Catalog深入理解与实战
Spark识别Hive，也是需要依赖Hive配置项的，配置项的来源可以是$HIVE_HOME环境变量，也可以从Spark的运行环境的classpath下加载Hive相关的配置文件。
-
智能合约量化跟单策略交易系统功能开发（需求细节）
通过智能合约实现量化跟单策略，将策略的执行自动化，减少人为干预，提高交易的稳定性和效率。采用区块链技术，保证交易的透明性、公正性和不可篡改性。以下是一个简单的智能合约，实现了去中心化量化跟单策略交易的基本功能：scssCopy codepragma solidity ^0.8.0;contract Trading { struct Strategy { &nb
