ITPub博客

星星之火、可以燎原它是站在海岸遥望海中已经看得见桅杆尖头了的一只航船，它是立于高山之巅远看东方已见光芒四射喷薄欲出的一轮朝日，它是躁动于母腹中的快要成熟了的一个婴儿。——毛泽东一、关于Serverless看到如今Serverless在云计算行业喷薄欲出的态势，像极了《星星之火，可以燎原》中的描述：虽

建表：CREATETABLE`table1`(`id`int(11)NOTNULLAUTO_INCREMENT,`name`varchar(6

本文列举Docker常见问题24个及解决方法：▍1.Docker迁移存储目录默认情况系统会将Docker容器存放在/var/lib/docker目录下[问题起因]今天通过监控系统，发现公司其中一台服务器的磁盘快慢，随即上去看了下，发现/var/lib/docker这个目录特别大。由上述原因，我们都知

干货随着数据量持续增长，对合格数据专业人员的需求也会增长。具体而言，对SQL流利的专业人士的需求日益增长，而不仅仅是在初级层面。因此，Stratascratch的创始人NathanRosidi以及我觉得我认为10个最重要和相关的中级到

1整行引用您是否尝试过运行以下语句？‍SELECTmy_tableFROMmy_table;这可能看起来很奇怪，但它所做的是将所有列作为行类型返回到单个列中。现在你为什么要这样做？好吧，您很可能已经以这种方式引用了该表：SELECTtable_a.column,table_b.columnFROMt

一、概述1.1基本概念Docker是一个开源的应用容器引擎，基于Go语言并遵从Apache2.0协议开源。Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似iPho

编辑：数据社全文共3758个字，建议10分钟阅读大家好，我是峰哥，夏天已经来了，小麦马上要丰收了，今天分析一篇关于未来数仓架构发展方向的文章。Linked大佬JayKreps曾发表过一篇博客，简单阐述了他对数据仓库架构设计的一些想法。从Lambda架构的缺点到提出基于实时数据流的Kappa架构。本文

SQL去重是数据分析工作中比较常见的一个场景，今天给大家具体介绍3种去重的方法。在使用SQL提数的时候，常会遇到表内有重复值的时候，比如我们想得到uv（独立访客），就需要做去重。在MySQL中通常是使用distinct或groupby子句，但在支持窗口函数的sql（如HiveSQL、Oracle等等

写在前面：为什么要用ElasticSearch？我们的应用经常需要添加检索功能，开源的ElasticSearch是目前全文检索引擎的首选。它可以快速的存储、搜索和分析海量数据。ElasticSearch是一个分布式搜索框架，提供RestfulAPI，底层基于Lucene，采用多shard（分片）的方

很多大数据计算都是用SQL实现的，跑得慢时就要去优化SQL，但常常碰到让人干瞪眼的情况。比如，存储过程中有三条大概形如这样的语句执行得很慢：selecta,b,sum(x)fromTgroupbya,bwhere…;selectc,d,max(y)fromTgroupbyc,dwhere…;sele

背景最近频繁出现慢SQL告警，执行时间最长的竟然高达5分钟。导出日志后分析，主要原因竟然是没有命中索引和没有分页处理。其实这是非常低级的错误，我不禁后背一凉，团队成员

与以磁盘存储为主的普通数据库相比，内存数据库的数据访问速度可以高出几个数量级，能大幅提高运算性能，更适合高并发、低延时的业务场景。不过，当前大部分内存数据库仍然采用SQL模型，而SQL缺乏一些必要的数据类型和运算，不能充分利用内存的特征实现某些高性能算法。仅仅是把外存的数据和运算简单地搬进内存，固然

导读：在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多SQL语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的SQL就是整个系统性能的瓶颈。SQL优化一般步骤1、通过慢查日志等定位那些执行效率较低的SQL语句2、

概述作为容器引擎，Docker为容器化的应用程序提供了开放标准，使得开发者可以用管理应用程序的方式来管理基础架构，实现快速交付、测试和部署代码。随着容器的大量使用，又产生了如何协调、调度和管理容器的问题，Docker的容器编排应运而生。所谓

在程序员的职业生涯中，总会遇到数据库表被锁的情况，前些天就又撞见一次。由于业务突发需求，各个部门都在批量操作、导出数据，而数据库又未做读写分离，结果就是：数据库的某张表被锁了！用户反馈系统部分功能无法使用，紧急排查，定位是数据库表被锁，然后进行紧急处理。这篇文章给大家讲讲遇到类似紧急状况的排查及解决

作者简介施博文，目前就职于腾讯云PG团队概览PostgreSQL并行框架提供了一系列方便的函数，支持在插件或内核中直接调用相关函数，启动若干个后台进程进行并行操作。目前，PG的并行框架主要用来支持并行查询。本文将介绍并行框架的相关功能，分析其核心逻辑和函数。可能需要了解的前置知识：shm_mq消息队

新手小伙伴平时可能比较少用到变量，其实变量在数据查询过程中经常使用到，而且可以有效提高查询速度。1什么是变量变量其实就是我们定义的一个可变参数，其基本语法如下：--定义一个名称为@I的变量，指定其类型为整数DECLARE@IVARCHAR(20)--对变量@I赋值为SET@I='SQL数据库开发'-

前言公司用的k8s集群是“多环境合一”的方式，集群流量入口也摒弃了常见的traefik和ingress-nginx，直接用了一个国内不常见的底层基于Envoy的APIGateway网关服务。当然还有非常多的其他集群流量入口组件可

作者：暮角编辑：数据社全文共2845个字，建议5分钟阅读大家好，我是一哥，今天跟大家分享一下怎么理解建模方法和分层架构？分层架构很容易在各种书籍和文档中去理解，但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来，我会从数据研发与建模的角度，演进一下分层架构的设计原因与层次的意义。01分层的演

本文介绍了12个优化Docker镜像安全性的技巧。每个技巧都解释了底层的攻击载体，以及一个或多个缓解方法。这些技巧包括了避免泄露构建密钥、以非root用户身份运行，或如何确保使用最新的依赖和更新等。1前言当你是刚开始使用Docker的新手时，你很可能会创建不安全的