大数据技术 - Airflow
介绍Airflow是一个工作流调度系统,用于定义和自动执行持久化工作流。它由Airbnb开发,现在是一个开源项目。Airflow提供了一个Web界面,用于创建和管理工作流,并查看工作流执行情况。它使用DAG(有向无环图)来表示工作流,每个DAG由一组任务组成。您可以使用Airflow指定任务之间的依赖关系,并在特定的时间或条件下自动调度任务。 主要特性1、自定义任务执行:您可以使用Pytho
大数据技术 - Azkaban
介绍Azkaban是一个用于执行和监控作业流的工作流调度系统,主要用于大数据环境中的批处理作业。它由LinkedIn开发,现已被开源。Azkaban有一个Web界面,用于创建和调度作业流,以及查看作业执行情况。它还有一个命令行界面,用于执行和管理作业流。作业流是由一系列作业组成的有向无环图(DAG),每个作业对应于执行一个特定任务的脚本或程序。在Azkaban中,您可以定义作业流的触发器,以便
Netty 的概述
介绍Netty是一个Java网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。它提供了一个简单的和可扩展的API,可以方便开发人员实现各种网络协议。 主要特点异步和事件驱动:Netty使用异步和事件驱动的方式进行网络通信,可以提高系统的吞吐量和响应速度。高性能:Netty使用基于NIO的架构设计,可以有效地处理高并发的网络请求。可扩展性:Netty提供了一个插件机制,可以方便开
Akka 的概述
介绍Akka是一个JVM上的开源框架,旨在帮助开发人员创建分布式、高可靠性的应用程序。它采用了Actor模型来处理并发和分布式系统的问题,并使用Scala语言进行开发。Actor模型是一种用于并发编程的模型,它将系统中的对象看作是独立的演员,每个演员都有自己的消息队列和状态,并通过发送和接收消息来与其他演员进行通信。这种模型可以有效地解决并发编程中的问题,并且可以简化开发人员的代码。Akka提
Java编写定时任务
方案一:java.util.Timer代码示例 import java.util.Timer; import java.util.TimerTask; public class Main { public static void main(String[] args) { Timer timer = new Timer(); //5秒后
大数据技术 - Debezium
介绍Debezium是一个开源分布式增量数据平台,旨在通过捕获数据库的变更来为数据流应用程序提供实时数据。它通过在数据库之间同步变更来实现这一目的,可以帮助您监控数据库,进行故障转移,在云中迁移数据以及在微服务之间共享数据。Debezium通过使用与数据库原生的协议和API集成,可以监控多种不同类型的数据库,包括MySQL,PostgreSQL,MongoDB,Oracle,SQL Serve
大数据技术 - StreamX
介绍StreamX, 项目的初衷是 —— 让 Flink 开发更简单, 使用StreamX开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务,StreamX 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供scala和java两套api, 其最终目的是打造一个一站式
大数据技术 - StarRocks
介绍StarRocks是新一代极速全场景MPP数据库。StraRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果,在业界实践的基础上,进一步改进优化、升级架构,并增添了众多全新功能,形成了全新的企业级产品。StarRocks致力于构建极速统一分析体验,满足企业用户的多种数据分析场景,支持多种数据模型(明细模型、聚合模型、更新模型),多种导入方式(批量和实时),可整
性能分析工具 - pprof
介绍pprof 是一个用于分析性能问题的工具。它可以通过分析程序的 CPU 使用情况、内存使用情况、系统调用情况等信息,帮助开发人员了解程序的性能瓶颈,并找出潜在的优化点。 组成部分一个用于收集性能数据的程序,它可以通过设置特定的环境变量或命令行参数来启动。一个用于分析性能数据的工具,它可以通过命令行或图形界面来使用。 使用流程1、启动程序并收集性能数据。2、使用 pprof 工具分析性能
大数据技术 - Apache Doris
介绍Apache Doris (incubating) 是一个开源分布式列式数据库管理系统。它是基于 Apache Pinot 的升级版本,旨在提供一个高性能、可扩展的分布式数据仓库解决方案。 主要特性高性能:Doris 具有高性能的列式存储引擎和多种优化方案,可以满足高吞吐量和低延迟的需求。可扩展:Doris 支持水平扩展,可以根据用户的需求添加新的节点来增加存储和计算能力。列式存储:Do
大数据技术 - 监控预警
ZabbixZabbix是一个用于监控和分析企业网络的开源软件。它可以监控各种网络参数、服务器、数据库、网络设备和应用程序等,并能够将所监控的数据可视化,使用户可以快速了解网络状态。Zabbix还具有自动告警功能,当监控到某个参数超出预设范围时,可以自动向用户发出告警信息,帮助用户及时处理问题。Zabbix还提供了丰富的API,可以让用户自定义监控规则和告警方式,使得Zabbix可以满足不同
@Deprecated 的作用
概述@Deprecated 注解表明所注释的元素(通常是类、方法、字段)已过时,不建议在新的代码中使用。这种注解常常用于标记废弃的 API,表明它可能会在将来的某个版本中删除。使用此注解的目的是提醒程序员不要使用已废弃的元素,并尽快改用新的元素。编译器或工具可能会使用此信息进行检查,如生成警告信息。 代码示例 @Deprecated public static <T>
System.setProperty()的作用
概述System.setProperty(String key, String value) 方法允许程序设置系统属性。系统属性是一组键/值对,可以在 Java 应用程序运行时读取和更改。某些属性可以用来配置 Java 虚拟机或 Java 应用程序,例如指定应用程序类路径或调整垃圾回收器的行为。 代码示例 System.setProperty("key", "
Java - 驼峰转下划线
private static Pattern humpPattern = Pattern.compile("[A-Z]"); /** * 驼峰转下划线 * * @param str * @return */ public static String humpToLine(String
Java - ThreadLocal类
概述ThreadLocal 是 Java 的一个类,它提供了线程局部变量,这些变量在每一个使用它的线程中都有单独的副本。这样就可以在线程之间安全地共享数据了,而不用担心线程安全问题。在 Java 中,每个线程都有自己的本地存储,可以将属性绑定到这个本地存储。这些属性对于该线程是独立的,对于其他线程是不可见的。使用 ThreadLocal 类可以在每个线程中存储线程局部变量。ThreadLoca
JAVA-反射与工厂模式
代码实现 public class JavaReflectDemo { public static void main(String[] args) { IMassage instance = Factory.getInstance("org.example.eesign_patterns.JavaObject",IMassage.class)