-
logstash简介及基本操作
logstash常用于日志系统中做日志采集设备，最常用于ELK中作为日志收集器使用logstash的基本流程架构：input | filter | output 如需对数据进行额外处理，filter可省略。3.1 Input(输入）：采集各种样式，大小和相关来源数据，从各个服务器中收集数据。用于在将event通过output发出之前对其实现某些处理功
-
ES数据库架构
数据可以分为结构化数据和非结构化数据，比如说我们常用的sql语句就都是操作结构化数据，邮件等信息都是非结构化数据； 对于结构化数据的查询可以使用sql语句进行查询，速度较快； 对于非结构化数据的查询可以把非结构化数据变成结构化数据：先根据空格进行字符串拆分，得到一个基础的单词列表。需要去掉标点符号、转换大小写、去除停用词、重复的单词只记录一次，就得到了一个最终的单词列表。然后基于单词
-
Sqoop 并行抽数
@TOC Survive by day and develop by night.talk is cheap, show me the code,make a better result. 目录我们一般用sqoop抽取数据，可是有时由于单表数据量太大（每天千万级别）导致sqoop抽数使用单实例报内存溢出以及抽数时间过长，这时我们该怎么办？现总结方法如下供借鉴。 概述sqoop 的参数
-
玩转集群配置中心，一文带你了解 Taier 控制台
原文地址：玩转集群配置中心，一文带你了解Taier控制台丨DTMO 03期直播回顾（内含视频+课件）课程视频回顾：Taier基础教程（二）：Taier1.1新功能详解&控制台介绍_哔哩哔哩_bilibili开源项目交流群：30537511（钉钉）开源项目地址：GitHub - DTStack/Taier: 大数据平台-分布式任务调度系统上期，偷天老师为我们介绍了Taier的入门
-
MPP平台实施工具，实施经验+银行数据仓库模型建设经验泛谈
1、teradata：Teradata数据仓库拥有全球领先的技术，其主要软件和硬件产品包括：Teradata数据库、Teradata数据仓库软件、企业数据仓库、动态企业数据仓库、数据仓库专用平台。2.GreenPlum数据库介绍GP(GreenPlum)是业界最快最高性价比的关系型分布式数据库，它在开源的PG(PostgreSql)的基础上采用MPP架构（Massive Parallel Proc
-
DTMO直播预告丨ChunJun 2022年开源规划&支持异构数据源DDL转换与自动执行
DTMODTMO（DTstack Meetup Online）是袋鼠云数栈技术团队2022年的全新开源项目技术分享活动，我们秉承着开源共享的理念，旨在为大家分享大家分享袋鼠云大数据开源项目家族的最新成果与技术实践，我们将以每月1-2场的线上直播，为大家奉上一场场开源盛宴。课程介绍2018年4月，秉承着开源共享理念的数栈技术团队在github上开源了ChunJun（原FlinkX），历经
-
袋鼠云批流一体分布式同步引擎ChunJun（原FlinkX）的前世今生
一、前言ChunJun（原FlinkX）是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具，是袋鼠云一站式大数据开发平台-数栈DTinsight的核心计算引擎，其技术架构基于实时计算框架Flink，打造出“具有袋鼠特色”的实时计算引擎。 开源项目地址： https://github.com/DTStack/chunjunhttps://gitee.co
-
十分钟搭建自己的linux服务器？
搭建自己的linux服务器？
-
Kafka简介
1.概念 Kafka是众多MQ当中的一个，且是开源的应用广泛的组件，是Apache的顶级项目。Kafka是一个分布式发布-订阅消息系统（放信息取信息）和一个强大的队列。使用scala语言编写，非常适合离线（不及时取）和在线（及时取）消息消费。kafka消息保留在磁盘上，并在集群内复制以防止数据丢失。同时它Kafka与Flink，Spark等计算框架组件
-
消息队列概念与作用
消息队列概念与作用
-
实时计算小括
OLTP/OLAP、离线/实时、Lambda架构、实时监控
-
东数西算加快云网与数据融合 天翼云架起云间高速
近日，发改委等部委发布通知，同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏等八地启动建设国家算力枢纽节点，并规划了十个国家数据中心集群。至此，全国一体化大数据中心体系完成总体布局设计。这标志着“东数西算”工程正式全面启动，成为了继“南水北调”、“西气东输”、“西电东送”后的第四个超级工程。
-
Kafka史上最详细原理总结
KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写。
-
智能手环计步API获取
兔盯云获取计步（tsp.steps.get）服务地址GET业务描述根据设备号、时间范围查询设备计步数据请求参数返回参数请求实例Plain Textcurl-X GET-G-H "token:eyJhbGciOiJIUzI1Ni..."-d "page=1"-d "limit=10"-d "start_time=2021-01-0
-
为什么要在工作里共享文件？
为什么要在工作里共享文件？部分人对于各种文件的共享都不会觉得陌生，这个是很值得关注的事情，加上互联网的不断发展，文件的共享效率自然也是可以获得提升了，所以说是可以多加关注各种细节的，而提到了企业网盘的应用，这个网盘的使用主要也是针对各大企业的需求而使用，在使用的价值上可以体现出来的便利性非常高，并且网盘的使用，也能够提供网络共享文件夹的模式，那么这种模式的使用价值在哪里？操作
-
共享文件在办公中的作用？
共享文件在办公中的作用？ 共享文件在办公中的作用？共享文件在企业办公过程中有至关重要的意义，因为每个企业在办公的时候都希望能够把更多的文件存在云服务上，这样通过这个服务就可以对外生成很多分享链接，只需要在这个链接分享给团队当中的用户，就可以通过相关的链接来进行共同连接，那么在网盘共享文件进行实际共享的过程当中，如何做好共享。 文件共享 第一，文件共享 在网盘
-
企业网盘共享的文件安全吗？
企业网盘共享的文件安全吗？企业网盘共享的文件安全吗？现在还有很多优秀的设备都可以获得推广使用的支持了，在使用以后可以带来的稳定性以及可靠性也很多，在这样的基础上，当然也是有很多使用不上的价值的，针对各大企业来说，就有着非常不错的使用支持。企业网盘就是现在使用十分频繁的软件类型，在使用的效率和安全性上，都获得了各大企业的认可，因此现在使用共享文件管理系统的话，也是很常见的行为了，那么这类型的功能在使
-
ElasticSearch启动报错 ERROR: [4] bootstrap checks failed
ElasticSearch启动报错如下：ERROR: [4] bootstrap checks failed[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535][2]: max number of threads [3870] for user [elk
-
centos 7安装部署elasticsearch 7.5.1
环境准备centos 7.7 x86_64 操作系统（操作系统安装部分省略）官网下载 elasticsearch-7.5.1，小编已经把文件放在了云空间，提供下载：链接：https://pan.baidu.com/s/1n9Dv61edh4V77-RhZKw6aA提取码：bo0t下载的文件：elasticsearch-7.5.1-linux-x86_64.tar.gz 放在linux 服
-
Sleuth服务跟踪：整合 Logstash
比如ELK，可以将多台服务器上的日志信息统一收集起来，在出问题的时候我们可以轻松根据 traceId 来搜索出对应的请求链路信息。
