-
袋鼠云产品功能更新报告 02 期丨有亿点点走心！
不知不觉间，2022 年的脚步已经走到了倒数第二个月。临近年末，我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化，例如基线告警、数据服务平台新增 TDengine 数据源支持、行级权限根据用户属性实现动态赋权。以下为袋鼠云产品功能更新报告第二期内容，更多探索，请继续阅读。数栈 DTinsight离线开发平台1. 支持对接 Trino 引擎创建项目时支持对接 Trino 引擎，支持创建和运
-
三分钟带你了解一站式大数据平台运维管家 ChengYing 产品包制作
课件获取：关注公众号 “数栈研习社”，后台私信 “ChengYing” 获得直播课件视频回放：点击这里ChengYing 开源项目地址：github 丨 gitee 喜欢我们的项目给我们点个__ STAR！STAR！！STAR！！！（重要的事情说三遍）__技术交流钉钉 qun：30537511产品包的构成01 产品包制作前置条件在制作产品包之前，我们首先要完成以下 3
-
官宣！Taier1.3 新版本正式发布，新鲜功能抢先体验
2022 年 11 月 7 日，Taier1.3 版本正式发布！Taier 是一个大数据分布式可视化的 DAG 任务调度系统，旨在降低 ETL 开发成本、提高大数据平台稳定性，大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。Taier 自今年 2 月份开源之后，得到了社区开发者的广泛支持，我们
-
袋鼠云陈吉平：深耕国产自研数字化技术与服务，持续为客户创造价值
在经济面临下行压力、疫情反复等不确定因素之下，推动数字化转型就成为了许多企业的 “救命稻草”。然而，较高的数字化转型门槛、不成系统的数据服务，以及缺乏规范的行业标准等都成了企业数字化转型路上的 “绊脚石”。2015 年，袋鼠云成立并毅然投身于具有巨大想象力的数字经济发展浪潮，经过 7 年努力实践，不断完善自己的数字化服务能力，在牢固地基的基础上不断向上搭建应用层，致力于让更多的企业能够一站式完成数
-
hadoop2.7集群初始化之后没有DataNode的问题
修复hadoop2.7集群初始化之后没有DataNode的问题
-
史上最全 Jenkins Pipeline流水线详解
一、什么是流水线jenkins 有 2 种流水线分为声明式流水线与脚本化流水线，脚本化流水线是 jenkins 旧版本使用的流水线脚本，新版本 Jenkins 推荐使用声明式流水线。文档只介绍声明流水线。1.1 声明式流水线在声明式流水线语法中，流水线过程定义在 Pipeline{}中，Pipeline 块定义了整个流水线中完成的所有工作，比如参数说明：agent any：在任何可用的代理上执行流
-
Mac部署hadoop3(伪分布式)
实战Mac部署hadoop3(伪分布式)
-
基于 Prometheus 的监控神器，简单灵活！
众所周知，大数据产品作为底层平台，其运维监控一直是生产实践的痛点难点，且在稳定运行的基础之上往往还需要对性能进行评估优化，所以其监控系统的建设显得尤为重要。Prometheus 作为云原生时代最火的监控软件，很多大数据组件或原生或以第三方插件/exporter 的形式对 Prometheus 做了支持。我使用的大数据平台是基于 K8s 运行的，有部署灵活管理方便的优点，更容易与 Prometheu
-
impala 数据表在集群间迁移方案
登录到神策机器impala-shell -q "use rawdata;SHOW PARTITIONS event_ros_p2(表名);" -B -o event_ros_2_partition.txt倒出表的分区信息，最后一列是数据存放的目录18391 10 -1 1 6.08KB NOT CACHED
-
安装和体验hive
Hive是种基于Hadoop的数据仓库工具，将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，今天来一起部署和体验hive
-
Kubernetes中部署 Hadoop 大数据集群
原文链接：https://www.cnblogs.com/liugp/p/16733030.html一、概述在 Hadoop 2.0.0 之前，一个集群只有一个 Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24 小时可用状态。Ha
-
袋鼠云平台代码规范化编译部署的提效性改进实践
一、前言作为全链路数字化技术与服务提供商，袋鼠云提供了从数据湖、大数据基础平台、离线开发、实时开发、数据服务、数据治理、指标管理、客户数据洞察、数据孪生可视化等全产品体系的服务。围绕着 “行业应用” 及 “通用应用”，袋鼠云聚焦数智提供全维数字解决方案，帮助企业实现降本增效、快捷转型，迄今为止袋鼠云已服务超过 5000 家的客户。面对如此庞大的客户，平台需要不断更新迭代，以适应最新的产品特性，给客
-
赴一场开源盛会丨 10 月 29 日 COSCon'22 开源年会杭州分会场，这里只差一个「你」！
报名地址：https://www.bagevent.com/event/83228772022 年，世界正在改变，开源创造价值。已经办到第七届的开源年会首次来到杭州与开发者们相聚。你眼中的开源是怎样的？对于开源你有没有想要讲述的？「开源」对于很多人而言，其存在的意义早就不止在于源代码的开放汇集，更在于不断加入的开发者们共同协作，生生不息。因此，我们想要在一个特定的时间内，和大家相聚在一起，连接有趣
-
自建数据库太麻烦？华为云数据库GaussDB既省心又省力
在互联网时代飞速发展的今天，企业业务与网络越来越密不可分，同时也就需要功能强大的数据库辅助存储信息，然而传统自建数据库存在周期长，人力成本高，在业务升降过程
-
如何写一个好的测试？总结起来就这两点……
背景在上一个项目上，由于项目成员大部分是新入职的同事，所以对于测试不是很熟悉，这就导致了在项目前期，项目上的很多测试都不太make sense，虽然没有什么定量的东西来描述，但是总结起来就2个点:1.测试的名字比较模糊。2.测试代码不易读。 深入剖析测试名字比较模糊对于这一个问题，是因为很多刚开始写测试的开发脑子里不会快就想到given、when、then这三个词，一般我们写
-
一文读懂：开源大数据调度系统Taier1.2版本新增的「工作流」到底是什么？
一、什么是工作流？在阐述什么是工作流之前，先说一下工作流和普通任务的区别，在于依赖视图。普通任务本身他只会有自己的 dag 图，依赖视图是无边界的，不可控的，而工作流则是把整个工作流都展示出来，是有边界的，可控的，这是工作流的优势。下面为大家介绍工作流的相关功能：01 工作流 — 功能介绍● 虚拟节点虚拟节点，它是不产生任何数据的空跑节点（即调度到该节点时，系统直接返回成功，不会真正执行、不会占用
-
标签评分：海量标签如何进行系统治理？
本篇是「标签画像系列」的第四篇，此前我们已经介绍过了标签画像体系建设方法论、标签体系设计与加工、标签加工与落库，这次我们来介绍一下「标签评分」。标签评分是标签治理的一个重要措施，通过给标签打分，可清晰直观的从各个维度评估标签，掌握标签真实使用情况，进行标签持续优化，助力业务运营。同时，也能帮助数据团队判断哪些标签更应该投入计算与存储资源，合理规划集群资源。一、为何要使用标签评分？经过前期标签体系设
-
开源直播课丨大数据集成框架ChunJun类加载器隔离方案探索及实践
本期我们带大家回顾一下无倦同学的直播分享《ChunJun 类加载器隔离》，ChunJun 类加载器隔离的方案是我们近期探索的一个新方案，这个方案目前还不是非常成熟，希望能借由此次分享与大家一起探讨下这方案，如果大家有一些新的想法欢迎大家在 github 上给我提 issue 或者 pr。一、Java 类加载器解决类冲突基本思想在学习方案之前，首先为大家介绍一下 Java 类加载器解决类冲突的基本思
-
NQI质量基础一站式服务平台打破传统，提高效率
建设国家质量基础设施“一站式”公共服务平台，利用移动互联网、GIS、大数据等技术，实现线上全业务全流程线上办理，大数据精准分析、智能匹配企业需求，推动质量要素资源即时响应、协同服务，为企业提供线上报检、在线咨询、供需对接、专家服务、设备共享等服务，对中小企业实施精准质量帮扶，推动制造业提质升级，实现战略性新兴产业集聚发展。
-
激活数据价值，探究DataOps下的数据架构及其实践丨DTVision开发治理篇
据中国信通院发布，2012 年到 2021 年 10 年间，我国数字经济规模由 12 万亿元增长到 45.5 万亿元，在整个 GDP 中的比重由 21.6% 提升至 39.8%。顺应时代发展新趋势，“数据” 成为新的生产要素已是毋庸置疑的共识。如果说数据中台的崛起代表着企业数字化转型从流程驱动走向数据驱动，从数字化走向智能化。那么 DataOps，则是实现数据中台的一个优秀的理念或方法论。Data
