基于开源大数据调度系统Taier的Web前端架构选型及技术实践
原文链接:基于开源大数据调度系统 Taier 的 Web 前端架构选型及技术实践课件获取:关注公众号 **“数栈研习社”,后台私信 “Taier”** 获得直播课件视频回放:点击这里Taier 开源项目地址:github 丨 gitee上两期,我们为大家分享了 Taier 入门及控制台的介绍,本期我们为大家分享 Taier 的 Web 前端架构介绍。本次分享我们将从 Taier 的前端技术栈选型,
实时开发平台建设实践,深入释放实时数据价值丨 04 期直播回顾
原文链接:实时开发平台建设实践,深入释放实时数据价值视频回顾:点击这里课件获取:点击这里一、实时数仓建设背景随着整体行业的数字化转型不断深入以及技术能力的不断提高,传统的 T+1 式(隔日)的离线大数据模式越来越无法满足新兴业务的发展需求,开展实时化的大数据业务,是企业深入挖掘数据价值的一条必经之路。面对数字化转型下的数据快速产生、“小步快跑” 的精细化运营及实时化和自动化的决策需求,如何提高实时
走好数据中台最后一公里,为什么说数据服务 API 是数据中台的标配?
原文链接:直播预告|走好数据中台最后一公里,数据服务 API 是数据中台的标配一、课程介绍数据服务 API 作为数据统一服务平台建设的最上层,能够将数据仓库数据以服务化、接口化的方式提供给数据使用方,屏蔽底层数据存储、计算的诸多细节,简化和加强数据的使用。随着企业 “互联网化、数字化” 进程的不断深入,越来越多的业务被迁移到互联网上,产生大量的业务交互和对外服务需求,对 API 接口的需求与日
DTMO直播预告|Taier的Web前端架构解析
原文链接:DTMO 直播预告|Taier 的 Web 前端架构解析一、直播介绍上两期,我们为大家分享了 Taier 入门及控制台的介绍,本期我们为大家分享 Taier 的 Web 前端架构介绍。本次直播我们将从 Taier 的前端技术栈选型,到技术实现以及未来规划为大家讲解,通过本次分享,希望大家能对 Taier 有更进一步的了解。二、直播主题Taier 的 Web 前端架构解析三、直播时间时间:
离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾
原文链接:离线数仓建设,企业大数据的业务驱动与技术实现丨 03 期直播回顾视频回顾:点击这里课件获取:点击这里一、离线数仓建设背景离线数据是相对实时数据而言的数据产出,不同于实时数据,离线数据一般是 T+1 天处理,也就是说昨天产生的数据至少要今天才能看到计算结果。离线数据一般应用于对数据时效要求不高,需要基于一段时间的历史数据计算才能得到结果的场景,我们大致可以分为离线数据分析及数据应用两类
袋鼠云数栈基于CBO在Spark SQL优化上的探索
原文链接:袋鼠云数栈基于 CBO 在 Spark SQL 优化上的探索一、Spark SQL CBO 选型背景Spark SQL 的优化器有两种优化方式:一种是基于规则的优化方式 (Rule-Based Optimizer,简称为 RBO);另一种是基于代价的优化方式 (Cost-Based Optimizer,简称为 CBO)。1、RBO 是传统的 SQL 优化技术RBO 是发展比较早且比较成熟
温州大学X袋鼠云:高等人才教育建设,如何做到“心中有数”
2022 年 4 月 16 日,神十三在东风着陆场预定区域成功着陆。接下来从 5 月开始,我国还将进行 6 次飞行任务,在今年内完成中国空间站的在轨建造。而以目前情况推测,在国际空间站退役后,中国空间站将极可能在相当一段时间内,成为世界唯一一个空间站。网友纷纷表示:中国航天太牛了。 中国航天最初并不是 “别人家的孩子”,起步比美国晚了近半个世纪,很长一段时间内,都落在世界航天阵列后面
蛟分承影,雁落忘归 —— 袋鼠云一站式全自动化运维管家 ChengYing(承影)正式开源
原文地址:交流蛟分承影,雁落忘归——袋鼠云一站式全自动化运维管家ChengYing(承影)正式开源技术交流:30537511(钉钉群)我们兴奋的向大家宣布一个好消息DTstackCon新成员袋鼠云一站式全自动化全生命周期运维管家ChengYing(承影)正式开源项目地址Github开源地址:https://github.com/DTStack/chengyingGitee开源地址:ht
玩转集群配置中心,一文带你了解 Taier 控制台
原文地址:玩转集群配置中心,一文带你了解Taier控制台丨DTMO 03期直播回顾(内含视频+课件)课程视频回顾:Taier基础教程(二):Taier1.1新功能详解&控制台介绍_哔哩哔哩_bilibili开源项目交流群:30537511(钉钉)开源项目地址:GitHub - DTStack/Taier: 大数据平台-分布式任务调度系统上期,偷天老师为我们介绍了Taier的入门
DTMO直播预告丨ChunJun 2022年开源规划&支持异构数据源DDL转换与自动执行
DTMODTMO(DTstack Meetup Online)是袋鼠云数栈技术团队2022年的全新开源项目技术分享活动,我们秉承着开源共享的理念,旨在为大家分享大家分享袋鼠云大数据开源项目家族的最新成果与技术实践,我们将以每月1-2场的线上直播,为大家奉上一场场开源盛宴。课程介绍2018年4月,秉承着开源共享理念的数栈技术团队在github上开源了ChunJun(原FlinkX),历经
袋鼠云批流一体分布式同步引擎ChunJun(原FlinkX)的前世今生
一、前言ChunJun(原FlinkX)是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具,是袋鼠云一站式大数据开发平台-数栈DTinsight的核心计算引擎,其技术架构基于实时计算框架Flink,打造出“具有袋鼠特色”的实时计算引擎。 开源项目地址: https://github.com/DTStack/chunjunhttps://gitee.co
ko在数栈中的应用
引言一项技术能得以广泛运用,其中的一个关键点在于工程化。前端从最开始的简单写写网页和样式,发展为需要处理复杂的逻辑,伴随而来的是问题是相关文件越来越多,简单在网页中引用已经解决不了问题,需要相关的工程化工具来处理和优化这个流程。前端社区也涌现了较多的解决方案,例如rollup,parcel,webpack,esbuild等,在不同情况下都能较好的处理问题。这其中webpack因其微内核架构,在核心
X6在数栈指标管理中的应用
一、需求背景产品成立之初,产品的需求是需要对各种指标进行公式运算,组合成一个新的复合指标,供后续使用。当时产品提出的形式是有两种:一种是直接让用户输入,不作任何其他操作,但这种方式带来的问题一个是,需要前端对公式进行复杂的校验,太多不可控的问题,另一个是操作指导性很弱,用户在使用的时候没有任何限制,也并不太能明白如何操作;另一种方式就是让用户通过拖拽的方式,添加运算符,去组成自己需要的公式,比较直
效能时代,数栈专属DevOps跑出加速度
一、浅析DevOps互联网的发展形同潮水,来势汹汹、快而迅猛,企业业务日益庞大的同时伴随着团队规模的扩大,业务的复杂度与关联性显著提升的同时对效能也有了更高的要求,高效协同之间,我们既要追求快速交付,亦要保证产品的质量与稳定,两者之间产生了矛盾。DevOps作为这个矛盾平衡点,其概念最早于2009年被提出,并在近几年受到企业广泛的关注与实践。促使DevOps近年高频出现的原因,我们总结出以下两点:
流批一体技术框架探索及在袋鼠云数栈中的实践
随着移动互联网的发展,数字化营销、个性化推荐、AR场景等业务场景为企业带来机遇的同时也提出了技术上的挑战,各企业开始采取实时化方式处理数据以此满足用户。但是,技术更新迭代快,代码研发周期长,人才招聘难,运维成本高等问题也随之产生。对于企业来说如何快速在数字化经济时代,抓住机遇,搭建一套稳定、可靠、低成本、高效率的大数据平台至关重要。
Form 表单在数栈的应用(下):深入篇
这篇文章的主题为我们对 Form 表单在数栈产品中使用之后理解消化的一个过程,通过介绍一些 Form 表单中常用到的方法,来理解部分设计思想,加深我们对技术的追求。主要介绍 Form 表单的创建和 Form表单双向绑定(getFieldDecorator)。
Form 表单在数栈的应用(上): 校验篇
本文为主题即为 Form 表单在数栈的应用,旨在希望能通过一些在数栈已经应用的实例和笔者整理的小tips来帮助大家更深入的理解Form表单校验、以及联动校验的认知和做法。本文的重点为 Form 表单的校验及在数栈中的应用,偏向于应用总结与心得分享。
关于ant design pro的权限方案设计
访问控制(Access control)是指对访问者向受保护资源进行访问操作的控制管理。该控制管理保证被授权者可访问受保护资源,未被授权者不能访问受保护资源。现实生活中的访问控制可以由付费或者认证达成。例如:进电影院看电影,需要够买电影票,否则检票员就不让你进去。访问控制有很多模型,比如: 自主访问控制模型 (Discretionary Access Control) 强制访问