ITPub博客

首页 > 架构设计 > 数据架构

关于 “数据架构” 的内容如下:

  • 从库转换成PXC集群的节点

    环境介绍:mysql 5.7版本PXC集群两个节点:10.9.21.17910.9.21.178从节点:10.9.21.115(普通主从,数据库软件为普通版本,非集群版本)现在的目的是要把10.9.21.115转换成PXC集群的节点,采用IST增量同步的方式来减小对PXC主库的影响;疑问:1.PXC 物理备份,可以直接使用普通的数据库软件加载打开吗?可以,我从PXC使用innobackex备份,然

    贺子_DBA时代 数据架构 914 2019-10-26 19:20
  • SQL Server如何配置cdc进行ETL

    企业核心业务系统oltp的数据需要通过ETL同步到数据仓库,原始的ETL流程通过定制化从SQL Server中进行数据抽取,经过生产环境的监控,发现ETL过程的query会对生产系统造成额外负载。于是制定了通过cdc进行增量数据同步的方案:方案选型中比对了SQL server的trigger,CT,CDC, temporary table各种方式,选型对比如下:TriggerCTCDCTempor

    宅慕思_ 数据架构 1781 2019-10-23 10:07
  • 快速开发平台对中小企业的发展有何助力

    所谓快速开发平台,就是以减少项目时间,提高开发效率为目标的基础软件框架,在这个框架中,底层代码逻辑已经搭建完成,个性化功能可以在现有功能的基础上进行增、改、删,部分开发平台可能支持低代码或无代码开发,以求最大程度的缩减开发过程。

    lrtech 数据架构 538 2019-10-12 17:39
  • 记一次SQL调优过程

    环境:Microsoft SQL Server 2016 (SP2-CU3)企业版问题SQL:select  RowNumber = ROW_NUMBER() OVER  (  -- This ordering is from the various Fu

    qextoqoha 数据架构 405 2019-10-10 16:56
  • Thinkphp 反序列化利用链深入分析

    作者:Ethan@知道创宇404实验室时间:2019年9月21日前言今年7月份,ThinkPHP 5.1.x爆出来了一个反序列化漏洞。之前没有分析过关于ThinkPHP的反序列化漏洞。今天就探讨一下ThinkPHP的反序列化问题!环境搭建Thinkphp 5.1.35php 7.0.12漏洞挖掘思路在刚接触反序列化漏洞的时候,更多遇到的是在魔术方法中,因此自动调用魔术方法而触发漏洞。但如果漏洞触发

    酷酷的晓得哥 数据架构 654 2019-09-29 14:55
  • 化学方程绘图绘制软件免费下载,怎么画化学方程绘图

    亿图科学绘图软件能够帮助您轻松绘制各种各样的科学插画,是您在教育和学术方面不可缺少的好帮手。无论是书本插图,学术插图,还是教学资料,亿图科学绘图软件都能帮您轻松解决。亿图界面类似Office, 让您无需学习即可快速上手。里面包含多个学科的图库和大量模板,帮助您快速绘制化学实验仪器插图,力学插图,光学插图,化学公式插图,分子模型插图,数学插图,人体气管插图,细胞图,天文图,电路图,信息图,思维导图,

    落烬繁华 数据架构 803 2019-09-24 10:29
  • ElasticDL: Kubernetes-native 弹性分布式深度学习系统

    9月11日,蚂蚁金服在 Google Developer Day Shanghai 2019 上宣布开源了基于 TensorFlow 2.0 eager execution 的分布式深度学习系统 ElasticDL。基于 TensorFlow 的支持弹性调度的深度学习系统,据我们所知,ElasticDL 是第一个。项目负责人王益和我们分享了 ElasticDL 项目的设计意图和现状,尤其是 ElasticDL 与 TensorFlow 2.0 以及 Kubernetes 的技术关联。

    支付宝技术团队 数据架构 716 2019-09-16 16:33
  • 蚂蚁金服 3 个项目进入 CNCF 云原生全景图 | 开源

    2019 年 6 月 25 日,全球知名开源组织云原生计算基金会 CNCF 宣布,蚂蚁金服正式成为 CNCF 黄金会员,蚂蚁金服表示将持续加大对开源项目的支持,包括 Kubernetes,ServiceMesh,Serverless,安全容器等方向,并发挥自己的力量。SOFAStack 作为蚂蚁金服重要的开源项目,最近也与 CNCF 有故事发生。

    支付宝技术团队 数据架构 955 2019-09-10 10:20
  • 负载均衡的原理(垂直扩展 Scale Up、横向扩展 Scale Out)

    原文链接:https://mp.weixin.qq.com/s/NUFRX51D9Yf9yzRQnPeWlg                转自:码农翻身(微信号:coderising)这是1998年一个普通的上午。一上班,老板就把张大胖叫进了办公室,一边舒服地喝茶一边发难:“大胖啊,我们公司开发的这个网站,现在怎

    书写人生 数据架构 693 2019-09-06 15:58
  • ShardingSphere x Seata,一致性更强的分布式数据库中间件

    日前,分布式数据库中间件 ShardingSphere 将 Seata 分布式事务能力进行整合,旨在打造一致性更强的分布式数据库中间件。

    支付宝技术团队 数据架构 2394 2019-09-04 10:03
  • 车载多传感器融合定位方案:GPS +IMU+MM

    导读高德定位业务包括云上定位和端上定位两大模块。其中,云上定位主要解决Wifi指纹库、AGPS定位、轨迹挖掘和聚类等问题;端上定位解决手机端和车机端的实时定位问题。近年来,随着定位业务的发展,用户对在城市峡谷(高楼、高架等)的定位精度提出了更高的要求。特别是车机端定位,由于定位设备安装在车上,一方面,它可以搭载更丰富的定位传感器来解决特殊场景的问题,另一方面,各个传感器之间相互固连,有利于高精度的

    amap_tech 数据架构 362 2019-08-20 11:16
  • 手撕面试官系列:BAT面试常问85题

    JVM专题(面试题+答案领取方式见个人主页)Java 类加载过程?描述一下 JVM 加载 Class 文件的原理机制?Java 内存分配。GC 是什么? 为什么要有 GC?简述 Java 垃圾回收机制。如何判断一个对象是否存活?(或者 GC 对象的判定方法)垃圾回收的优点和原理。并考虑 2 种回收机制。垃圾回收器的基本原理是什么?垃圾回收器可以马上回收内存吗?有什么办法主动通知虚拟机进行垃圾回收?

    JAVA架构 数据架构 740 2019-08-02 15:03
  • 40道阿里巴巴JAVA研发岗多线程面试题详解,你能答出多少

    1、多线程有什么用?一个可能在很多人看来很扯淡的一个问题:我会用多线程就好了,还管它有什么用?在我看来,这个回答更扯淡。所谓”知其然知其所以然”,”会用”只是”知其然”,”为什么用”才是”知其所以然”,只有达到”知其然知其所以然”的程度才可以说是把一个知识点运用自如。OK,下面说说我对这个问题的看法:(1)发挥多核CPU的优势随着工业的进步,现在的笔记本、台式机乃至商用的应用服务器至少也都是双核的

    JAVA架构 数据架构 634 2019-07-23 21:03
  • 机器人教育和编程教育一样吗 哪个更好学习点

    既然都是为了提升孩子的能力,所以真正的机器人教育从来不是要孩子造一个精美的机器人,写一段完美无BUG的代码,而是重点培养孩子在学习过程中的综合能力提升。

    chhch86 数据架构 1221 2019-07-15 15:11
  • 高并发核心技术 - 幂等性 与 分布式锁

    1.  什么是幂等性幂等性就是指:一个幂等操作任其执行多次所产生的影响均与一次执行的影响相同。用数学的概念表达是这样的: f(f(x)) = f(x).就像 nx1 = n 一样, x1 就是一个幂等操作。无论是乘以多少次结果都一样。2.  常见的幂等性问题幂等性问题经常会是由网络问题引起的,还有重复操作引起的。场景一:比如点赞功能,一个用户只能对同一片文章点赞一次,重复点赞提

    JAVA架构 数据架构 1527 2019-07-08 21:52
  • 干货:阿里大牛浅谈MySQL架构体系

    一 : 数据库和数据库实例 在MySQL的学习研究中,存在两个非常容易混淆的概念,即数据库和数据库实例。在MySQL中,数据库和数据库实例定义如下:数据库:存储数据的集合;数据库实例:操作数据库的集合。如上定义很清楚了,数据库是用来存储数据的,数据库实例是用来操作数据的,从操作系统的角度,数据库实例表现为一个进程,对应多个线程,在非集群数据库架构中,数据库与数据库实例存在一 一对应关系,

    JAVA架构 数据架构 1287 2019-06-27 21:56
  • 阿里最强Dubbo面试28题答案详解:核心功能+服务治理+架构设计等

    1.Dubbo是什么?Dubbo 是一个分布式、高性能、透明化的 RPC 服务框架,提供服务自动注册、自动发现等高效服务治理方案, 可以和 Spring 框架无缝集成。RPC 指的是远程调用协议,也就是说两个服务器交互数据。2.Dubbo的由来?互联网的快速发展,Web应用程序的规模不断扩大,一般会经历如下四个发展阶段。单一应用架构当网站流量很小时,只需一个应用,将所有功能都部署在一起即可。垂直应

    JAVA架构 数据架构 1163 2019-06-26 21:38
  • 淘宝从几百到千万级并发的十四次架构演进之路!

    本文以淘宝为例,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。

    纯洁的微笑 数据架构 1377 2019-06-26 18:00
  • 介绍金融数据分析技术如何应用在银行业营销部门

    第一课:数据分析基本知识复习(2课时)第二课:银行信贷客户的聚类分析-非监督式聚类(2课时)第三课:银行信贷客户的聚类分析-非监督式聚类(续)(2课时)第四课:银行信贷客户的聚类分析-半监督式聚类(2课时)第五课:行为评分卡模型的简介(2课时)第六课:行为评分卡模型的特征构造(2课时)第七课:行为评分卡模型的特征挑选(2课时)

    ii_chengzi 数据架构 1182 2019-06-26 16:48
  • Spring中如何使用设计模式

    关于设计模式,如果使用得当,将会使我们的代码更加简洁,并且更具扩展性。本文主要讲解Spring中如何使用策略模式,工厂方法模式以及Builder模式。1. 策略模式关于策略模式的使用方式,在Spring中其实比较简单,从本质上讲,策略模式就是一个接口下有多个实现类,而每种实现类会处理某一种情况。我们以发奖励为例进行讲解,比如我们在抽奖系统中,有多种奖励方式可供选择,比如积分,虚拟币和现金等。在存储

    JAVA架构 数据架构 900 2019-06-25 21:24
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
ITPUB-饶
扫描二维码联系客服
关于• 广告服务• 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心

关注公众号获取更多技术文章