Flink开发 使用代码提交任务
代码实现public class SubmitFlinkJob { public static void main(String[] args) throws Exception { &n
代码审查和项目管理软件 - Gerrit
介绍Gerrit 是一个免费的开源代码审查和项目管理软件。它基于 Git 版本控制系统,提供了一个 Web 前端界面,使得团队成员可以方便地进行代码审查,决定代码是否可以被合并到主分支中。Gerrit 强制性地将代码审查作为代码合并过程的一部分,以此来提高代码质量和促进团队协作特点代码审查:在代码合并到主分支之前,必须经过审查。权限控制:可以对项目成员的操作权限进行细致的控制。Web界面:提供了一
大数据技术 - Kyuubi
介绍Kyuubi 是网易秉持开源理念的作品,也是网易第一款贡献给 Apache 并进入孵化的开源项目。主要应用于大数据领域,包括大数据离线计算、数据仓库、Ad Hoc 等方向。Kyuubi 是一个分布式、支持多用户、兼容 DBC 或 ODBC 的大数据处理服务,采用了 Apache Spark 作为计算引擎,带来了良好的性能收益。未来也可能支持其他类似执行引擎,如 Apache Flink。特点开
JDBC 工具类-代码
代码示例//适配JDBC服务的所有查询 public static <T> List<T> queryResultList(Connection connection, String querySql, Class<T> clz, boolean un
车联网术语大全
常用的数据术语VCS(车载通信安全): VCS涉及保护车辆之间和车辆与基础设施之间通信的安全性。这包括确保通信的机密性、完整性和可用性,以防止未经授权的访问或篡改。VIS(车辆识别系统): VIS用于识别和验证车辆身份的系统。它通常包括诸如车辆识别号码(VIN)等信息,以确保只有授权的车辆能够访问特定的资源或服务。RVC(远程车辆控制): RVC允许车主通过远程连接对车辆进行操作和控制,例如远程启
HDFS 清理数据导致进入安全模式
错误日志:恢复命令:1、hdfs dfsadmin -safemode get (功能描述:查看安全模式状态)2、hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态) 如果root没有权限,则需要取/etc/group文件下面加入 supergroup:x:1000:root,然后重启下hadoop
CentOS 系统的磁盘空间占用情况查询
命令介绍使用 df -h 命令查看各个文件系统的总容量和已用容量1。您的输出显示 /dev/mapper/centos-root 占用了 47% 的空间,也就是 36G。使用 du -h -x --max-depth=1 / 命令查看根目录下各个子目录的大小1。您可以根据输出找出占用空间较大的目录,比如 /var, /home, /usr 等。使用 du -h -x --max-depth=1 /
Flink standlone 模式,Job的算子一直转圈
如图:可能原因:taskmanager没有申请到资源,配置文件新增参数,如图:
Linux平均负载
介绍Linux平均负载是指单位时间内,系统处于可运行状态和不可中断状态的平均进程数,也就是平均活跃进程数。它和CPU使用率并没有直接关系,而是反映了系统的负载情况和性能问题。Linux平均负载通常有三个值,分别表示过去1分钟、5分钟和15分钟的平均负载。如果您想了解更多关于Linux平均负载的信息文章推荐https://zhuanlan.zhihu.com/p/103498185
系统设计中法则
介绍 系统设计中黄金法则是指在设计系统时遵循的一些基本原则,以确保系统的可用性、可扩展性、可维护性和可靠性。不同的系统可能有不同的设计目标和需求,因此没有一条通用的黄金法则适用于所有的系统。但是,有一些通用的设计原则可以作为指导法则 简单性:设计应该尽量简单,避免不必要的复杂性和冗余。简单的设计可以提高系统
Kafka - 消费错误问题,多台机器上面无法消费数据
错误日志:2024-01-08 10:45:44 org.apache.flink.util.FlinkException: Global failure triggered by OperatorCoordinator for 'Source: Kafka Source 主流&
ArrayList 的线程安全问题
错误信息:java.util.ConcurrentModificationException: null at java.util.ArrayList$Itr.checkForComodification(ArrayList.java:909) ~[?:1.8.0_181] &nb
PostgreSQL 连接 超时异常
错误日志:An I/O error occurred while sending to the backend. Call getNextException to see other errors in the bat
PostgreSQL 死锁异常
错误日志: java.lang.Object.wait(Native Method) org.postgresql.jdbc.PgStatement.killTimerTask(PgStatement.java:981) org.postgresql.jdbc.PgStatement.executeBatch(PgStatement.java:838) org.postg
HikariCP 的介绍
HikariCP 是一个高性能的 JDBC 连接池组件,号称性能最好的后起之秀,是一个基于BoneCP做了不少的改进和优化的高性能JDBC连接池。其作者还有产出了另外一个开源作品HikariJSON——高性能的JSON解析器。代码体积更是少的可怜,130kb。Spring Boot 2都已经宣布支持了该组件,由之前的Tomcat换成HikariCP。其性能远高于c3p0、tomcat等连接池,以致后来BoneCP作者都放弃了维护,在Github项目主页推荐大家使用HikariCP。
JDBC - Statement对象 - executeBatch()和executeUpdate()
介绍executeUpdate():此方法用于执行INSERT、UPDATE、DELETE语句或不返回任何内容的SQL语句(如DDL语句)。它返回一个整数,表示受影响的行数。executeUpdate()注重及时性,每写一条SQL语句就发送给数据库保存起来,没有缓存,这样频繁操作数据库效率非常低。executeBatch():此方法用于批量执行SQL语句。首先,通过addBatch()方法将多个S
Flink CDC3.0的介绍
介绍Apache Flink CDC 3.0 是 Flink CDC 的新版本,它对之前的版本做了很多改进,包括性能、稳定性和易用性等方面。特性1. 新的 CDC 连接器Flink CDC 3.0 提供了对 MySQL、PostgreSQL、Oracle 和 SQL Server 等主流数据库的 CDC 支持。这些连接器使用数据库的原生 CDC 接口,可以高效地捕获数据库中的数据变更。2. 更快的
Flink生产环境常见问题
问题汇总1. Flink 任务经常挂掉可能原因:内存溢出、堆外溢出、线程死锁、资源不足等。解决方案:查看 Flink 任务日志,定位引起任务挂掉的原因,然后根据原因进行修复。比如,如果是因为内存溢出,可以增加 Flink 任务的内存限制;如果是因为堆外溢出,可以减小 Flink 任务处理的数据量或增加 Flink 任务的堆外内存限制;如果是因为线程死锁,可以尝试减少 Flink 任务并发度;如果是
应用架构图的设计
介绍画一张好的应用架构图,需要遵循以下几个步骤:确定架构图的类型和目的:根据你要表达的应用的功能、结构、交互、流程等,选择合适的架构图类型,如通信图、用例图、分布图、实现图等。明确你的受众和沟通目标,以便决定架构图的抽象层次和细节程度。确定架构图的关键要素:根据你的应用的组成部分,列出架构图中需要展示的应用组件、接口、服务、数据、技术等要素。尽量使用通用和规范的命名,避免使用不清楚或不相关的术语。
Linux - 运维管理工具 - 1Panel
介绍1Panel 是一个现代化、开源的 Linux 服务器运维管理面板。特点快速建站:深度集成 Wordpress 和 Halo,域名绑定、SSL 证书配置等一键搞定;高效管理:通过 Web 端轻松管理 Linux 服务器,包括应用管理、主机监控、文件管理、数据库管理、容器管理等;安全可靠:最小漏洞暴露面,提供防火墙和安全审计等功能;一键备份:支持一键备份和恢复,备份数据云端存储,永不丢失。推荐文