-
编辑 删除
大数据命令，一文在手，全部都有（送纯净版文档）
前言技术如同手中的水有了生命似的，汇聚在了一起。为了方便大家学习与工作查询资料。现生成大数据命令文档供大家参考。本总结只列举常用的命令，比较多的命令操作。比如linux，kafka命令就比较多，hdfs操作也多。但是对于HBase.....这类框架命令比较少，就不再本篇展示。望周知。其中内容包含以下
-
编辑 删除
干货 | 携程百亿级缓存系统探索之路——本地缓存结构选型与内存压缩
作者简介一十，携程后端开发工程师；振青，携程后端开发专家。一、前言携程酒店查询服务是酒店BU后端的核心服务，主要负责提供所有酒店动态数据计算的统一接口。在处理请求的过程中，需要使用到酒店基础属性信息、价格信息等多维度的数据信息。为了保证服务的响应性能，酒店查询服务对所有在请求过程中需要使用到
-
编辑 删除
听说你们的数据库并发 2 万就跪了？
如果各位看官的SQL数据库真有2W+高并发，那真是要恭喜你。你已经比很多公司的MIS都要前卫得多。2W和2K差别有那么大吗，嗯，真是有的。2K并发的MIS系统也经常有无法访问，timeout的异常，处理这些异常已经够很多朋友苦恼的了。2W+的并发那需要懂的知识框架就更复杂了。笔者曾服务了500W+用
-
编辑 删除
B站大数据质量务实
本期作者郭跃鹏软件工程师01背景数据质量是基于大数据衍生的应用有效与否的重要的前提和保障之一。为了能在大数据上面孵化出更加有深度，更加有竞争力的应用，以及B站高速发展的业务都需要我们数据平台能提供实时的，准确的，可以被信赖的数据。而另一方面，数据平台要向终端用户提供可以信赖的数据，又依赖于整个数据加
-
编辑 删除
百亿级数据 分库分表 后怎么分页查询？
大家好，我是不才陈某~随着数据的日益增多，在架构上不得不分库分表，提高系统的读写速度，但是这种架构带来的问题也是很多，这篇文章就来讲一讲跨库/表分页查询的解决方案。关于分库分表后的其他的问题，请看陈某前一篇文章：聊聊分库分表架构背景笔者曾经做过大型的电商系统中的订单服务，在企业初期时业务量很少，单库
-
编辑 删除
亿级大表分库分表实战总结（万字干货，实战复盘）
分库分表的文章网上非常多，但是大多内容比较零散，以讲解知识点为主，没有完整地说明一个大表的切分、新架构设计、上线的完整过程。因此，我结合去年做的一个大型分库分表项目，来复盘一下完整的分库分表从架构设计到发布上线的实战总结。1.前言为什么需要做分库分表。这个相信大家多少都有所了解。海量数据的存储和访问
-
编辑 删除
百亿级数据分表后怎么分页查询？
当业务规模达到一定规模之后，像淘宝日订单量在5000万单以上，美团3000万单以上。数据库面对海量的数据压力，分库分表就是必须进行的操作了。而分库分表之后一些常规的查询可能都会产生问题，常见的就是比如分页查询的问题。一般我们把分表的字段称作shardingkey，比如订单表按照用户ID作为shar
-
编辑 删除
你管这玩意儿叫高并发？(一)
你好，我是坤哥准备写一个针对高并发的系列，今天我们先聊一下高并发下的网络IO模型设计高并发即我们所说的C10K（一个server服务1w个client）,C10M，写出高并发的程序相信是每个后端程序员的追求，高并发架构其实有一些很通用的架构设计，如无锁化，缓存等，今天我们主要研究下高并发下的网络IO
-
编辑 删除
百亿级数据分表后怎么分页查询？
当业务规模达到一定规模之后，像淘宝日订单量在5000万单以上，美团3000万单以上。数据库面对海量的数据压力，分库分表就是必须进行的操作了。而分库分表之后一些常规的查询可能都会产生问题，常见的就是比如分页查询的问题。一般我们把分表的字段称作shardingkey，比如订单表按照用户ID作为shar
-
编辑 删除
什么叫大数据
.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba
-
编辑 删除
2021最全大数据学习路线（建议收藏）
.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba
-
编辑 删除
大数据分析师就业和发展前景
.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba
-
编辑 删除
史上最全大数据开发学习路线
.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba
-
编辑 删除
Velox 介绍：一个开源的统一执行引擎
•Meta正在引入Velox，这是一个开源的统一执行引擎（unifiedexecutionengine），旨在加速数据管理系统和简化其开发。•Velox正在积极开发中，Meta在2022年超大型数据库国际会议（VLDB）上发表了相关论文，里面详细介绍了Velox如何提高数据管理系统的效率和一致性。•
-
编辑 删除
五分钟解读“大数据”
.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba
-
编辑 删除
Kafka简介
1.概念 Kafka是众多MQ当中的一个，且是开源的应用广泛的组件，是Apache的顶级项目。Kafka是一个分布式发布-订阅消息系统（放信息取信息）和一个强大的队列。使用scala语言编写，非常适合离线（不及时取）和在线（及时取）消息消费。kafka消息保留在磁盘上，并在集群内复制以防止数据丢失。同时它Kafka与Flink，Spark等计算框架组件
-
编辑 删除
消息队列概念与作用
消息队列概念与作用
-
编辑 删除
实时计算小括
OLTP/OLAP、离线/实时、Lambda架构、实时监控
