Flink的底层算子之前如何通信
介绍Flink是一个分布式数据处理引擎,它的底层算子需要进行通信来实现数据交换和协调。早期版本中,通信是通过网络消息传递实现的,但这种方式在处理大规模数据时存在延迟和带宽限制等问题。为了解决这些问题,Flink引入了基于共享内存的通信机制,称为网络堆栈。这种通信方式可以避免网络传输的延迟和带宽限制,提高通信效率和处理速度。
数据仓库 - ER模型
介绍ER模型(实体-关系模型)是一种用于描述现实世界中各种事物的抽象的基本对象。它可以是物理存在的事物,例如人、汽车等;也可以是抽象的概念,例如学校、部门等。属性是不可分割的数据单位,用于描述实体所具有的特征,例如教师实体具有姓名、性别、地址等属性 推荐文章https://developer.aliyun.com/article/931843https://zhuanlan.zhihu.co
Flink 配置自动调优
介绍阿里云实时计算 Flink 自动调优实践是一篇介绍阿里云实时计算 Flink 版如何通过自动调优功能来节省计算资源的文章。文章主要分为四个部分:历史背景、框架简介、案例介绍和未来规划。文章介绍了自动调优的原理、流程和效果,以及在不同场景下的应用和优化。文章还展示了自动调优在阿里云实时计算 Flink 版上线后的效果,包括节省资源、提高吞吐、降低延迟等 配置推荐https://help.a
Kafka常见的问题及解决方案
Kafka集群无法在跨网络的环境中正常工作。这可能是因为没有正确配置listeners和advertised.listeners参数,导致内外网的访问不通畅。解决方法是根据实际的网络环境,设置不同的listener和protocol,并指定inter.broker.listener.name1。 Kafka集群数据节点不均衡。这可能是因为创建topic时没有合理设置replication-f
保证线程安全的技术
介绍保证线程安全的技术有很多,根据是否需要同步手段,可以分为同步方案和无需同步方案。同步方案主要有两种:互斥同步和非阻塞同步。互斥同步是通过加锁的方式,保证共享数据在同一时刻只被一个线程使用,例如使用synchronized关键字或ReentrantLock类。 非阻塞同步是通过CAS(比较并交换)的方式,先进行操作,如果没有冲突就成功,如果有冲突就重试,直到成功为止,例如使用Atomic类。
java打包相关的步骤
手动打包1、先使用javac编译java文件,得到class文件。2、新建文件,名字任起,比如可以叫manifest,内容如下(注意:1. 冒号后面加一个空格,2. 最后必须回车到新的空行,否则出错,如下面内容就必须在addJarPkg后面再输入一个回车): Manifest-Version: 1.0 Main-Class: addJarPkg 3、把编译好的class文件和第2步新
大数据技术 - SuperSQL
介绍SuperSQL是一个开源的PHP SQL数据库框架,可以让开发者快速、安全地使用SQL数据库进行开发。 特点轻量级:只有一个文件,不到30KB,可以方便地集成到其他项目中。简单易用:提供了一套简洁的API,可以用最少的代码来执行各种SQL操作。兼容性:支持所有主流的SQL数据库,如MySQL,PostgreSQL,SQLite等。高效性:利用了PHP的PDO扩展,实现了预处理语句和事务
Docker中可以跑MySQL
优势更快速的交付和部署:Docker可以通过镜像(image)来打包应用和依赖,实现快速的部署和迭代。更高效的虚拟化:Docker在操作系统级别进行虚拟化,利用Linux内核的特性,避免了虚拟机的额外开销,提高了性能和资源利用率。更轻松的迁移和扩展:Docker的镜像可以在不同的平台上运行,实现了应用的可移植性。Docker还支持集群和编排工具,方便应用的扩展和管理。更简单的管理:Docker
计算机相关公开课
浙江大学陈越的《数据结构》 中科大郑烇的《计算机网络》 华中科技大学秦磊华等的《计算机组成原理》 浙江大学翁恺的《C语言程序设计》 哈尔滨工业大学李治军的《计算机操作系统》
SSH工具 - Tabby
Tabby开源的终端连接的工具。 详细推荐https://mp.weixin.qq.com/s/XP1UaI25wvCmCiWRqyYgaA
常用的SQL查询语句
常用查询选择所有行和列:SELECT FROM table_name;选择特定列:SELECT column1, column2, … FROM table_name;选择不同的值:SELECT DISTINCT column1, column2, … FROM table_name;按条件选择:SELECT FROM table_name WHERE condition;使用多个条件选择
大数据技术 - DragonflyDB
介绍DragonflyDB 是一个分布式 SQL 数据库系统,由饿了么(现在是阿里本地生活事业群)开发并开源,旨在解决大规模互联网公司在海量数据存储和高并发查询方面的挑战。 特点和功能DragonflyDB 具有以下特点和功能:分布式架构:DragonflyDB 采用分布式架构,可以将数据分散存储在多个节点上,提高数据的可扩展性、可靠性和可用性。高性能查询:DragonflyDB 采用 MV
IDEA - 数据库管理工具 - DataGrip
DataGrip的介绍DataGrip 是 JetBrains 公司推出的一款数据库开发和管理工具,支持多种数据库和操作系统,包括 MySQL、PostgreSQL、Oracle、SQL Server、SQLite 等数据库和 Windows、macOS、Linux 等操作系统。 特点和功能DataGrip 具有以下特点和功能:数据库连接和管理:DataGrip 支持多种数据库连接方式,包括
Oracle - 启动失败解决
错误信息 SQL> connect /as sysdba Connected to an idle instance. SQL> startup ORA-01261: Parameter db_recovery_file_dest destination string cannot be translated ORA-01262: Stat failed on a fil
Oracle - CDB和PDB介绍
介绍Oracle的CDB和PDB是Oracle 12c及以上版本中引入的新概念,用于管理多租户数据库环境。 CDBCDB(Container Database)是一个包含多个PDB的数据库容器,可以理解为一个大容器,CDB本身不存储用户数据,只包含系统元数据和共享数据。CDB的管理者可以在其中创建多个PDB(Pluggable Database),每个PDB都是一个独立的数据库,包含自己的用
VNC连接黑屏的问题
解决方案cd ~/.vnc查看hostname:端口号.log,如查看xxx的5901端口的日志tail -200f xxx:1.log查看到里面有个权限不足异常:Thu Mar 30 15:41:26 2023vncext: VNC extension running!vncext: Listening for VNC connections on all
Oracle Golden Gate(OGG)的介绍
介绍Oracle GoldenGate 是一种高性能、实时数据复制和数据集成技术,允许在不影响源系统性能的情况下捕获、转换和传递事务数据。它支持从多个数据源(包括 Oracle 数据库、非 Oracle 数据库、文件系统等)捕获变更并将其传递到目标系统。Oracle GoldenGate 可以在不同的操作系统和数据库之间进行数据复制,支持广泛的平台和数据格式,具有灵活、高度可配置和可扩展的特点
Kafka中的segment的介绍
概述在 Kafka 中,一个 segment 是一个可追加的文件,用于存储 Kafka 分区中的一部分消息。Kafka 将消息按照 topic 和 partition 进行组织,并将它们存储在一个或多个 segment 文件中。每个 segment 文件包含一系列消息,这些消息按照它们的 offset(在 partition 中的位置)进行排序。每个 segment 文件都有一个开始和结束的
Flink 的时间类型
处理时间(Processing Time):这是处理数据的本地系统时间,它通常用于在数据流上进行实时计算。 事件时间(Event Time):这是数据本身包含的时间戳,它反映了数据生成的实际时间,它通常用于处理无序数据和处理延迟数据。 摄取时间(Ingestion Time):这是数据进入 Flink 系统的时间,它通常用于在数据流上进行实时计算,但对于延迟数据而言,它比处理时间更可靠。
Java - 是值传递还是引用传递
介绍Java 是值传递。在 Java 中,当一个方法调用时,参数传递的是它们对应的值的副本,而不是它们的引用。这意味着在方法中对参数的任何更改都不会影响调用者传递的原始参数。对于对象类型,其实传递的是对象引用的值的副本,而不是对象本身。这意味着在方法中对对象的任何更改都会影响调用者传递的对象,但是如果在方法中重新赋值参数,则不会影响调用者传递的原始对象。