ITPub博客

主数据主要管理多百个业务系统享的重要数据，比如公司组织架度构、物料编号、客户资料等等数据，国知辰机器人的主数据管理系统（MDM）能够道根据公司具体业务情况，回搭建主数据管理系统，实现企业答数据资产管理的信息化。主数据是指用来描述企业核心业务实体的数据，是企业核心业务对象、交易业务的执行主体。是在整个价值源链上被重复、共享应用于多个业务流程的、跨越各个业务部门和系统的、高价值的基础数据，是各业务应用

熟悉市场主流BI产品，包括但不局限于Tableau/帆软/PowerBI/SuperSet等,有Tableau/PowerBI/帆软等产品负责或者技术负责经验者优先；Tableau软件分为 Tableau Public(免费) 和 Tableau Desktop(商业) 两个版本。商业版本，Tableau 是按月按用户数来进行收费，以下是其官网下的一个收费情况截图。产品功能整体上功能模块有数据源、

n 工作职责：1. 负责BI数据平台规划&运维，系统架构和核心开发工作。独立完成需求调研、方案设计以及协调各方资源推动CR上线；2. 关注业界内BI类产品以及数据可视化工具的动态， 提供更高效、更完善的BI产品支持分析决策；3. 承担BI的运维工作，包括系统的Troubleshooting、Bug fix、变更管理、文档整理等环节Ø 负责数据仓库及BI项目的数据模型的逻辑和物理设计工作；Ø

岗位职责：1.支持公司智能风控体系的建设，基于风险类别.规则和指标开发相关模型进行数据的深度分析，为风险策略提供数据解决方案；2.对风控模型的运转以及各类风险指标的动态和周期性变化，通过量化模型和分析工具进行有效监测，并且提供基于数据的多维度分析；3.利用统计分析.数据挖掘和机器学习构建量化模型对数据进行分类.聚类以及关联性分析，提升数据质量和应用性能；4.基于数据分析的反馈和意见，进行相关模型的

不管是离线数仓与实时数仓，建设的时候都少不了架构设计，今天来学习一下常见的架构及发展演变过程。数仓（Data Warehouse）是指一个用于集成和管理大量数据的系统，旨在支持企业的决策制定和分析业务需求。它是一个经过优化设计的数据库，用于存储历史和当前的业务数据，为企业提供一个可靠、安全、稳定的数据源，以支持管理和决策制定。数仓通常由数据提取、转换、加载（ETL）和数据存储等组成，支持在线分析处

DT对数据的支撑是非常重要的：涉及到如下方面：1.数据架构：数据流程，数据模型，数据存储，数据管理一般要和应用架构一起使用。我们从底层开始分析：数据存储，其实就是对应的hbase等存储。数据模型：对应的对应的就是表模型。数据流程主要是对应的数据扭转流程数据管理如下：这里有DMBOK的书籍可以做参考。参考资料：1.https://www.cnblogs.com/jiujuan/p/16871889.

业务的拉扯以及主导设计，告知开发怎么去做。，和业务的拉扯以及主导设计，告知开发怎么去做。首先 需要说的就是系统的错误跟踪问题，开发人员设计数据字典的时候，往往考虑到的业务应该怎样怎样，但是不会考虑到业务如果错了会怎样怎样，如果出错该如何简单定位错误数据，如何简单找出错误日志；其次，是这个数据库的架构在设计中需要考量的因素。 在7*24小时的系统中，数据字典的设计本身是需要考虑到高可用，复制，移植，

一、数据仓库与数据库的区别1、数据仓库是集成的，数据库为单一的业务提供服务。2、BI结构：数据整合层、数据服务层、应用分析层、信息展现层3、数据层库结构    ODS(临时存储层)，一般都是贴源设计、业务数据库是什么，ODS层就是什么PDW/DW(数据仓库层)，将年月日，拆分成年、月、日字段，一般采用Int类型;通过ODS层到DW层的etl脚本对数据进行数据清洗、进行设计。分部

参考资料:：https://blog.csdn.net/ylguoguo6666/article/details/128406855

This playground consists of a long living Flink Session Cluster and a Kafka Cluster.A Flink Cluster always consists of a JobManager and one or more Flink TaskManagers. The Job

EnvironmentSettings settings = EnvironmentSettings.inStreamingMode(); TableEnvironment tEnv = TableEnvironment.create(settings);  tEnv.executeSql("CRE

Fraud Detection with the DataStream API #FraudDetectionJob.javapackage spendreport; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.s

目前主流的流式计算框架有Storm/Jstorm、Spark Streaming、Flink/Blink三种。Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。在Storm中，需要先设计一个实时计算结构，我们称之为拓扑（topology）。之后，这个拓扑结构会被提交给集群，其中主节点（master

入门链接：https://pan.baidu.com/s/12LOGsgU00hVIPI2x--qfkw 提取码：vro22.黑马http://yun.itheima.com/map/65.html 3.https://www.bilibili.com/video/av670725605/ 4.韩XXhttps://blog.csdn.net/star1210644725/article

Navicat 8 for MySQL 转存储SQL文件的时候提示 1146 - Table 'mysql.event' doesn`t existhttps://www.pudn.com/news/624ecebefc37f87c24e7edd1.html

物理备份：数据库操作系统的物理文件（如数据文件，日志文件等）的备份物理备份的方法：冷备份（脱机备份）：是在关闭数据库时候进行的热备份（联机备份）：数据库处于运行状态，依赖于数据库的日志文件温备份：数据库锁定表格（不可写入但可读）的状态下备份操作逻辑备份：对数据库逻辑组件（如：表等数据库对象）的备份完全备份:每次对数据库进行完整的备份 差异备份:备份自从上次完全备份之后被修改过的文件 增

ob和Task有几种不同语境下的区别：spark语境下在Spark中，Task是一个Job进行切割后运行的最小运算单元。一般情况下，一个rdd有多少个partition，就会有多少个Task，因为每一个Task只是处理一个partition上的数据。而Task进行组合分批后，被称为stage。Spark会为不同的stage以及不同的Task设好前后依赖，来保证整个Job运行的正确性和完整性，最后一

由于 MySQL 的 InnoDB 引擎表索引字段长度的限制为 767 字节，因此对于多字节字符集的大字段或者多字段组合，创建索引时会出现该问题。

情况一:sort内存溢出，考虑增加服务器的排序缓冲区(sort_buffer_size)大小 情况二:SQL语句问题

navlicat 导入导出SQL 导出SQL 文件的2G左右的SQL很快就可以到完成了，如果不是的话请检查对应的内存状态，刚开始我的很慢，导入不进去，后来删了文件，速度就快了。导出文件时，导出对应的转存SQL文件即可