数智洞见 | 聊聊金融证券场景中定时启停这件「小事」
前言随着近些年来实时技术的不断成熟,越来越多的企业投身到实时业务场景的开发和使用当中,其中证券、保险、银行等金融行业使用的尤为甚之。以证券行业的场景为例,核心的业务场景是围绕业务交易展开。本文将向大家展开证券行业内实时开发的业务场景以及「定时启停」一个简单却又实用的功能介绍,欢迎共同交流探讨。01 实时能做什么?对于实时开发,很多人会有这样的疑问:指标还是那个指标,实时开发只是提高了指标
直播回顾 | Flink Exactly Once & Kafka-connector 算子
精彩直播回顾
浅谈pytest+HttpRunner如何展开接口测试
软件测试有多种多样的方法和技术,可以从不同角度对它们进行分类。其中,根据软件生命周期,针对不同的测试对象与目标,可将测试过程分为4个阶段:单元测试、集成测试、系统测试和验收测试。本文着重介绍了如何借用pytest与httprunner进行接口自动化测试。
10月21日直播预告 | Flink Exactly Once & Kafka-connector 算子
10月21日晚19点,袋鼠云数栈技术研发团队开发工程师——小刀,将会为大家直播分享《Flink Exactly Once & Kafka-connector 算子》。
数智洞见 | 数据中台架构解析及未来展望
互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据,如何存储?如何计算?各大互联网巨头都进行了探索。
Flinkx Logminer性能探测&优化之路
本文对于FlinkX中实时采集的功能,Oracle Logminer数据实时采集的逻辑进行性能测试并分析,分享在测试过程中的测试点与测试方法。
直播回顾丨Flink SQL转换Operator流程及源码解析
《Flink SQL转换Operator流程及源码解析》直播回复
8月18日直播预告 | Flink SQL转换Operator流程及源码解析
8月18日晚19点,袋鼠云数栈技术研发团队开发工程师——修竹,将会为大家直播分享《Flink SQL转换Operator流程及源码解析》。 课程内容主要包括以下两点: 1. Flink SQL转换Operator流程介绍; 2. 源码解析。 通过本次直播,能够熟悉Flink SQL到Operator的转换流程,并可以从源码层面了解该流程。 本次活动将会在钉钉群、微信视频号和B站同步直播,欢迎大家准时参加!
8月18日直播预告 | Flink SQL转换Operator流程及源码解析
8月18日晚19点,袋鼠云数栈技术研发团队开发工程师——修竹,将会为大家直播分享《Flink SQL转换Operator流程及源码解析》。课程内容主要包括以下两点:1. Flink SQL转换Operator流程介绍;2. 源码解析。通过本次直播,能够熟悉Flink SQL到Operator的转换流程,并可以从源码层面了解该流程。本次活动将会在钉钉群、微信视频号和B站同步直播,欢迎大家
技术干货 |看我如何来解Web Terminal假性输入框
编者按写在前面的话在介绍本篇文章的时候,先说一下本篇文章的一些背景。笔者是基于公司的基础建设哆啦 A 梦(Doraemon)(https://github.com/DTStack/doraemon)一些功能背景写的这篇文章。不了解或者有兴趣的同学可以去袋鼠云(https://github.com/DTStack) 的 github 下面了解一下百宝箱哆啦 A 梦。在哆啦 A 梦中可以配置
袋鼠云:基于Flink构建实时计算平台的总体架构和关键技术点
数栈是云原生—站式数据中台PaaS,我们在github和gitee上有一个有趣的开源项目:FlinkX,FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,也可以采集实时变化的数据,是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star!star!star!github开源项目:https://github.com/DTStack/flinkxgitee
袋鼠云加入长沙市信创联盟,携手共建信创产业生态圈
日前,袋鼠云正式加入长沙市信息安全产业技术创新战略联盟,携手共建信创产业生态圈。加速信创生态体系建立,共建信创产业圈长沙市信息安全产业技术创新战略联盟(以下简称长沙市信创联盟),是在长沙市信息安全产业链领导小组及办公室的全面组织和领导下,受长沙市科技局主管,经长沙市民政局登记发证,由中国长城科技股份有限公司、中国电子科技集团公司第四十八研究所、长沙景嘉微电子股份有限公司、湖南国科微电子
上线啦丨FlinkX1.12 Beta版正式在Github开源
万众期待的FlinkX1.12的Beta版今天正式在Github社区开源上线啦!这是FlinkX技术团队潜心打造的新版本的FlinkX,设计文档和使用文档已在社区中推送,大家可以随时下载查阅,喜欢的同学记得给我们点个Star哦~本次上线的FlinkX1.12 Beta版做了以下更新:1、FlinkX与FlinkStreamSQL融合FlinkX作为分布式数据同步工具,FlinkStreamSQL基
6月23日直播预告丨如何自定义Flink LookupTable
数栈是云原生—站式数据中台PaaS,我们在github和gitee上有一个有趣的开源项目:FlinkX,FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,也可以采集实时变化的数据,是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star!star!star!github开源项目:https://github.com/DTStack/flink
数栈技术分享:用短平快的方式告诉你Flink-SQL的扩展实现
数栈是云原生—站式数据中台PaaS,我们在github和gitee上有一个有趣的开源项目:FlinkX,FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,也可以采集实时变化的数据,是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star!star!star!github开源项目:https://github.com/DTStack/flinkxgitee
数栈技术分享:利用 Atomic 构建 React 项目工作流,so easy!
数栈是云原生—站式数据中台PaaS,我们在github和gitee上有一个有趣的开源项目:FlinkX,FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,也可以采集实时变化的数据,是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star!star!star!github开源项目:https://github.com/DTStack/flinkxgitee
Agent生命周期管理框架—EasyAgent正式开源啦
本文整理自:EasyAgent正式开源啦丨开源送“粽”礼2018年,袋鼠云技术团队决定在技术社区上开源项目,为开源社区贡献力量。同年FlinkX、FlinkStreamSQL相继上线,经过三年的发展,Star数分别达到2.2k和1.5k,位列Flink生态领域前茅,获得广泛的社区支持。三年多的时间里,袋鼠云数栈技术团队一直以技术为核心,坚持开源开放、将数字化技术红利回馈社区的理念,不断的为大家分享
数栈技术分享:解读MySQL执行计划的type列和extra列
一、解读type执行计划的type表示访问数据类型,有很多种访问类型。1、system表示这一步只返回一行数据,如果这一步的执行对象是一个驱动表或者主表,那么被驱动表或者子查询只是被访问一次。2、const表示这个执行步骤最多只返回一行数据。const通常出现在对主键或唯一索引的等值查询中,例如对表t主键id的查询:3、eq_refeq_ref类型一般意味着在表关联时,被关联表上的关联列走的是主键
数栈技术分享:开源·数栈-扩展FlinkSQL实现流与维表的join
一、扩展FlinkSQL实现流与维表的join二、为什么要扩展FlinkSQL?1、实时计算需要完全SQL化SQL是数据处理中使用最广泛的语言。它允许用户简明扼要地声明他们的业务逻辑。大数据批计算使用SQL很常见,但是支持SQL的实时计算并不多。其实,用SQL开发实时任务可以极大降低数据开发的门槛,在袋鼠云数栈-实时计算模块,我们决定实现完全SQL化。数据计算采用SQL的优势☑ 声明式。用户只需要
数栈技术分享:产品经理在线官方解答数栈小知识
使用袋鼠云数栈的某教育行业客户,在之前的信息化过程中建设了多个系统,已经意识到自身数据孤立的现状,面对TB级的数据量,需要更高效的方式进行数据治理和分析,为业务方提供高质量数据。其实,数据治理不仅仅是教育行业用户的痛点,同样也是其他行业进行大数据平台建设和数据应用,最亟需解决的难题。针对这一问题,袋鼠云数栈基于十年实践经验沉淀的多种校验规则,打造了完整的全流程数据质量闭环管理机制,同时支持数据迁移