大数据技术 - Directus
介绍 Directus 是一个开源的无头内容管理系统(Headless Content Management System),它能够自动为数据表格产生 Rest API 和 GraphQL 端点特点灵活性:Directus 可以与任何 SQL 数据库集成,并为您提供强大而灵活的工具来管理和操作数据库中的数据。即时 API:通过 Directus 的 R
大数据技术 - Manticore Search
介绍Manticore Search是一个开源的全文搜索引擎,它是Sphinx搜索引擎的一个分支,目标是提供更高的性能、可扩展性和功能。特点高性能: Manticore Search专注于提供快速、高效的全文搜索。它通过使用内存索引和并行查询来优化性能。实时索引更新: Manticore支持实时索引更新,允许您在不中断服务的情况下更新索引。这对于需要实时更新数据的应用程序非常重要。分布式搜索: M
Flink - CEP(复杂事件处理)
介绍Flink CEP(复杂事件处理)是一个基于Flink实现的复杂事件处理库12。它的核心功能是识别输入数据流中符合特定模式,即Pattern的事件序列,并允许用户针对这些序列进行针对性处理。特点实时响应:Flink CEP可以从多个数据流中发现复杂事件,识别有意义的事件(例如机会或者威胁),并尽快的做出响应。模式匹配:CEP支持在流上进行模式匹配,根据模式的条件不同,分为连续的条件或不连续的条
大数据技术 - Druid
介绍Apache Druid 是一个开源的分布式数据存储引擎,它融合了时间序列数据库、数据仓库和全文检索系统的特性,以创造一个适用广泛用例的统一系统。特点亚秒响应的交互式查询:支持较高并发。实时导入:导入的数据即可被查询,支持高并发导入。分布式架构:采用分布式 shared-nothing 的架构,可以扩展到PB级。支持聚合函数:包括 count 和 sum,以及使用 javascript 实现自
服务器基础知识
介绍服务器是网络中能对其它机器提供某些服务的计算机系统。它们在稳定性、安全性、性能等方面都要求更高,因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通PC有所不同。服务器可以根据产品形态、指令集架构、处理器数量、应用类型等进行分类。按产品形态,可以分为:塔式服务器、机架服务器、刀片服务器、机柜服务器等。按照指令集架构分类,主要包括:CISC服务器(Complex Instruction Set
SSH工具 - PortX
介绍PortX是一款跨平台的SSH客户端。它具有以下特点:简单但全面的用户界面:PortX为您提供了纯粹的终端模拟体验。跨平台支持:无论您的设备是Mac、Windows、Linux、Android还是iOS,都可以使用PortX。选项卡式界面:使用PortX的选项卡式界面能同时管理多个会话并提高工作效率。轻松管理:使用PortX的会话管理器改进工作流程,并通过轻松创建和管理SSH转移的能力确保您的
Flink flatMap 使用lambda表达式异常问题
代码示例:.flatMap((FlatMapFunction<String, JSONObject>) (message, out) -> { String mes = message.replaceAl
PostgreSQL数据库连接保持设置
配置参数:tcp_keepalives_idle:此参数用于设置TCP连接在空闲多久后发送keepalive消息。例如,如果将此参数设置为86400(这是一天的秒数),那么在TCP连接空闲一天后,PostgreSQL将发送keepalive消息以保持连接。idle_in_transaction_session_timeout:此参数用于设置事务在空闲状态下可以存在的最长时间。如果事务在这段时间内没
Flink onTimer定时器
代码实例public class OnTimerProcesFunction extends KeyedProcessFunction<String, JSONObject, JSONObject> { private ValueState<JSO
如何在虚拟机中扩展centos-root分区
具体步骤如下:首先,您需要使用fdisk命令对新的空间进行分区,例如fdisk /dev/sda,然后选择n创建一个新的主分区,选择p指定分区号,使用默认值指定起始和结束扇区,然后选择t改变分区的类型为8e,即Linux LVM,最后选择w保存并退出。然后,您需要使用pvcreate命令创建一个新的物理卷,例如pvcreate /dev/sda4,然后使用vgextend命令将新的物理卷添加到卷组
Flink 链路延迟测量
开启如下参数:metrics.latency.interval: 30000 #默认 0,表示禁用,单位毫秒 metrics.latency.granularity: operator #默认 operator
Flink - 合理利用 cpu 资源
在 capacity-scheduler.xml 中修改属性: <property> <name>yarn.scheduler.capacity.resource-calculator</name> <!-- <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCa
Yarn任务优先级配置
修改yarn-site.xml文件,增加以下参数<property> <name>yarn.cluster.max-application-priority</name> <value>5</value> </property>
Yarn 生产环境多队列配置
在capacity-scheduler.xml中配置如下: yarn.scheduler.capacity.root.queues &l
Yarn生产环境核心参数
核心参数如下:
物理机虚拟资源分配推荐
逻辑处理器/CPU:虽然理论上你可以为虚拟机分配所有的64个逻辑处理器,但这并不是一个好主意。这是因为你的物理机的操作系统和其他可能运行的服务也需要一些CPU资源。如果你将所有的CPU资源都分配给虚拟机,那么物理机可能会因为资源不足而性能下降。在设置虚拟机的CPU数量时,有一些通用的建议:对于一般的电脑,建议虚拟机的处理器内核总数设置为物理机线程数的一半。如果电脑配置比较好,线程较多,可以将虚拟机
Linux中修改hostname的名称
操作步骤在Linux系统中,root@cdh03这样的表示法是常见的命令行提示符格式。其中,root是当前登录的用户名,@是分隔符,而cdh03则是你的计算机名或主机名。如果你在克隆了cdh03机器后,后台显示的用户名都是[root@cdh03],那可能是因为你克隆的机器用户就是root用户,并且主机名被设置为cdh03。如果你想修改这个提示符,你可以更改用户名或主机名:更改用户名:你可以创建一个
IDEA 快捷键的设置
介绍打开设置中心:file -> Settings (或使用快捷键:Ctrl+Alt+S)。选择Keymap选项卡,在右侧的Keymap下拉框中选择合适自己的快捷键。点击需要修改的快捷键,右键选择Add Keyboard Shortcut。在弹出的对话框中输入新的快捷键,然后点击OK。点击Apply -> OK,完成修改。文章推荐IDEA常用快捷键及设置方法_idea快捷键设置-CSD
Yarn的常用命令
命令列表初始化新项目:使用yarn init命令,类似于npm init,通过交互式会话创建一个package.json文件。添加依赖包:使用yarn add [package]命令添加依赖,这会更新package.json以及yarn.lock文件。升级依赖包:使用yarn upgrade [package]命令升级依赖包。移除依赖包:使用yarn remove [package]命令移除依赖包
Yarn的调度器
介绍FIFO调度器:这是最简单的调度器,它根据任务提交的先后顺序进行资源分配。由于它不支持多队列,所以在当前强调多租户和资源利用率的环境下,很少有集群采用FIFO调度器。容量调度器:这是Yahoo开发的多用户调度器。它支持多队列,每个队列可以配置一定的资源量,并且每个队列内部采用FIFO调度策略。管理员可以为每个队列设置资源最低保证和资源使用上限。如果一个队列中的资源有剩余,可以暂时共享给那些需要