ITPub博客

一、窗口函数用来干嘛？在日常工作中，经常会遇到需要在每组内排名，比如下面的业务需求：排名问题：每个部门按业绩来排名topN问题：找出每个部门排名前N的员工进行奖励二、怎么用窗口函数窗口函数，也叫OLAP函数（OnlineAnallyticalProcessing，联机分析处理），可以对数据库数据进行

一.数据切分二.分库分表带来的问题三.什么时候考虑切分四.案例分析五.支持分库分表中间件六.参考《Java2019超神之路》《Dubbo实现原理与源码解析——精品合集》《Spring实现原理与源码解析——精品合集》《MyBatis实现原理与源码解析——精品合集》《SpringMVC实现原理与源码解析

作者：黄天元，复旦大学博士在读，热爱数据科学与开源工具（R），致力于利用数据科学迅速积累行业经验优势和科学知识发现，涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等，著有《R语言高效数据处理指南》（《R语言数据高…

读流程Hbase读数据流程图HBase流程具体流程Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息。根据namespace，表明和rowkey在meta表中找到对应的region信息。查找对应的regio

前面提到各种大数据技术的原理与架构，大数据计算通过将可执行的代码分发到大规模的服务器集群上进行分布式计算，以处理大规模的数据，即所谓的移动计算比移动数据更划算。但是这样的计算方式必然不会很快，即使一个规模不太大的数据集上的一次简单计算，MapReduce也可能需要几分钟，Spark快一点，也至少需要

TiDB在遇到死锁时的行为。TiKV如有锁等待逻辑就会造成死锁。TiDB目前采用了全局死锁检测的方式，如果发现当前的等锁行为会形成死锁，就会立刻返回给TiDB告知死锁异常，通过这种方式直接把死锁拒绝在源头。为了保证死锁检测服务的高可用，我们将该服务放在了特定regionleader所在的TiKV实例

​5月26日，一年一度的PG开发者大会PGCon2020如约而至。与往年不同的是，受疫情的影响，今年的PGCon采取了线上会议的方式，虽然没有了面对面的交流，但在组织者Dan Langille等的精心安排下，会议有了更广泛的受众，干货满满。来自Greenplum原厂的Greenplum内核工程师 Hubert Zhang（张桓）与Asim Praveen合作发表了演讲《Distributed S

转自：农业银行数据库使用实践和发展规划-看点快报​kuaibao.qq.com摘要：中国农业银行（以下简称：农行）在信息化系统建设过程中，先是把关系型数据库作为联机交易型数据库使用，后来为满足分析型应用需要开始使用分析型数据库，近几年来随着应用场景细分，对基于Hadoop的大数据生态和新兴起来的No

转自：分布式架构在农业银行的应用实践与展望-专业数据库服务、数据库一体机、SQL审核产品、数据恢复-云和恩墨​www.enmotech.com一般可以将架构分为两类，一类是以垂直扩展（Scaleup）为主的架构，如通过增加单机配置，或者将中低端设备升级成为高端设备，用以提升系统的处理能力，称之为集中

转自：使用开源技术构建有赞分布式KV存储服务​tech.youzan.com背景在有赞早期的时候，当时只有MySQL做存储，codis做缓存，随着业务发展，某些业务数据用MySQL不太合适，而codis由于当缓存用，并不适合做存储系统，因此，急需一款高性能的NoSQL产品做补充。考虑到当时运维和开发

TiDB发布3.0GA版本2019年6月28日，TiDB发布3.0GA版本，对应的TiDBAnsible版本为3.0.0。相比于V2.1，V3.0.0版本在系统稳定性、易用性及性能方面均有显著提升，新功能方面增加了窗口函数、视图（实验特性）、分区表、插件系统、悲观锁（实验特性）、SQLPlanMan

BeatsFamilyOfficialDefinitionofBeats-Beatsistheplatformforsingle-purposedatashippers.TheysenddatafromhundredsorthousandsofmachinesandsystemstoLogstash

ThetermNewSQLwasfirstusedinaresearchpaperin2011,whilediscussingtheemergenceofnewdatabasesystems.Manybusinesssystemssuchasfinancialsectorthathandlehigh

为什么需要NewSQLNoSQL不能完全取代RDBMS单机RDBMS无法满足性能需求使用“单机RDBMS+中间件”方式，在中间件层很难解决分布式事务、高可用问题NewSQL定义针对OLTP的读写，提供与NOSQL相同的可扩展性和性能，同时能支持满足ACID特性的事务即保持NoSQL的高可扩展和高性能

百度云与著名开源NewSQL数据库公司CockroachLabs达成深度战略合作，即将于10月份推出具备高可扩展、高性能、高可用的全新NewSQL云数据库服务--CRDB。近年来，数据库领域最大的趋势之一即：NewSQL数据库的崛起。NewSQL数据库兼具NoSQL和传统关系型数据库的长处，不仅具有

SQL大家再熟悉不过了，不普及了。SQL到底解决了现实中什么问题？在小门店的时候，流水较少，一个简单的账本可以很简单的完成当天甚至当月的流水统计报表，完全hold住的。由于流量少，在客人点餐和结账时客人不需要等待可以直接点餐和结账是可以保障的，后厨的厨师也不用太勤劳，有单就干没单子就歇着。老板很能干

摘要：Google今日宣布了其CloudSpanner云端数据库服务的Beta版测试启动。此次Google将Spanner商业化，也进一步验证了NewSQL作为未来数据库发展方向的正确性。CloudSpanner是构建在GoogleCloudPlatform（GCP）平台上的全球级分布式关系型数据库

InthiseraofDigitalTransformationwhereagrowingnumbersofcompaniesmovetheirapplicationdatatothePubliccloud,NewSQLhasbecomeacenterofattentionduetoitskeyof

有网友反馈，作为一家科技公司的知乎号，平时发文不要太水，还是应该发一些干货类的东西。喏。你看看，干不干。2018年4月20日，苹果宣布开源FoundationDB，一款支持多种数据模型、高性能、高可用、可扩展，且具备ACID事务的分布式KVNoSQL系统。FoundationDB已在苹果公司内部的生

分库分表PKNewSQL数据库！最近与同行科技交流，经常被问到分库分表与分布式数据库如何选择，网上也有很多关于中间件+传统关系数据库（分库分表）与NewSQL分布式数据库的文章，但有些观点与判断是我觉得是偏激的，脱离环境去评价方案好坏其实有失公允。本文通过对两种模式关键特性实现原理对比，希望可以尽可