ITPub博客

这篇文章主要介绍如何使用Amazon Kinesis和Amazon EMR构建批量数据处理过程，实现Hour+1的数据批量处理分析，并汇入到数仓中。

Amazon Redshift数据仓库是种快速且完全托管的数据仓库服务，让您可以使用标准SQL和现有的商业智能工具经济高效地分析您的所有数据，提供优质的数据仓库解决方案。 在规划Amazon Redshift数据库时，某些关键表的设计对整体查询性能影响很大。这些设计的优化可以减少I/O操作数和尽量减少处理查询所需的内存，因而对存储需求以至查询性能也有很大的影响。

在本文中，我们将共同了解如何在亚马逊云科技的云平台上构建智能湖仓，借此从指数级增长的海量数据中获取洞见，并帮助您快速灵活做出决策。这套智能湖仓方案首先指定中央数据湖，再围绕数据湖建立专用数据服务环，同时提供轻松易行的数据往来移动能力，帮助用户从容运用数据资源以及蕴藏其中的重要价值。

在 Amazon Redshift 的协助下，客户得以顺利完成一系列业务目标，例如从加速现有数据库环境，到提取网络日志以进行大数据分析等等。Amazon Redshift是一套全托管PB级大规模并行数据仓库，拥有极低的上手难度与出色的性能表现。Amazon Redshift还提供开放的标准JDBC/ODBC驱动程序接口，供您直接对接现有商业智能（BI）工具并复用现有分析查询方法。

etcd是kubernetes集群极为重要的一块服务，存储了kubernetes集群所有的数据信息，如Namespace、Pod、Service、路由等状态信息。如果etcd集群发生灾难或者etcd集群数据丢失，都会影响k8s集群数据的恢复。因此，通过备份etcd数据来实现kubernetes集群的

云原生时代为什么还需要本地存储？云原生时代，对于有存储应用的容器化上云，一般的解决思路是“计算存储分离”，计算层通过容器技术实现弹性伸缩，而相应的存储层也需要配合进行“动态挂载”，要实现动态挂载能力，使用基于网络的存储系统可能是

背景事情是这样的，目前我正在参与XXXX项目的搭建，需要与第三方对接接口。在对方的接口中存在几个异步通知，为了接口的安全性，需要对接口的参数进行验签处理。为了方便大家对异步通知返回参数的处理，Z同事提出要将该验签功能进行统一封装，到时候大家只需要关注自己的业务逻辑即可。Z同事的解决方案Z同事选择的是

1.复习pod相关核心结构1.1pod结构pod相当于一个容器，pod有独立的ip地址，也有自己的hostname，利用namespace进行资源隔离，相当于一个独立沙箱环境。pod内部封装的是容器，可以封装一个，或者多个容器（通常是一组相关的容器）1.2pod网络p

K8S服务发现之旅Kubernetes服务发现是一个经常让我产生困惑的主题之一。本文分为两个部分：网络方面的背景知识深入了解Kubernetes服务发现要了解服务发现，首先要了解背后的网络知识。这部分内容相对浅显，如果读者熟知这一部

K8S服务发现之旅Kubernetes服务发现是一个经常让我产生困惑的主题之一。本文分为两个部分：网络方面的背景知识深入了解Kubernetes服务发现要了解服务发现，首先要了解背后的网络知识。这部分内容相对浅显，如果读者熟知这一部分，完全可以跳过，直接阅读服务发现部分。开始之前还有一个需要提醒的事

1.复习pod相关核心结构1.1pod结构pod相当于一个容器，pod有独立的ip地址，也有自己的hostname，利用namespace进行资源隔离，相当于一个独立沙箱环境。pod内部封装的是容器，可以封装一个，或者多个容器（通常是一组相关的容器）1.2pod网络pod有自己独立的IP地址pod内

此次排查发生在2020-11月份,一直没时间写博客描述事情经过,本次正好一起写了吧.具体现象在线上环境中的某个应用出现了接口缓慢的问题!!就凭这个现象,能列出来的原因数不胜数.本篇博客主要叙述一下几次排查以及最后如何确定原因的过程,可能不一定适用于其他集群,就当是提供一个参考吧.排查过程比较冗长,过

Kubernetes(K8s)是我最喜欢的部署平台之一。我花了一个周末的时间在CI管道上连接集群。先决条件在我们开始之前，我们需要设置一些工具，比如在GKE中注册。许多其他工具只要支持k8，也可以做同样的事情。你可以随意使用其他选项，但要确保在你遵循这篇文章的时候调整

中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件

最近，关于数据科学家的工作应该包含哪些，有许多激烈的讨论。许多公司都希望数据科学家是全栈的，其中包括了解比较底层的基础设施工具，如Kubernetes（K8s）和资源管理。本文旨在说明，虽然数据科学家具备全栈知识有好处，但如果他们有一个良好的基础设施抽

我想你肯定遇到过这样一类程序员：他们无论是写代码，还是写文档，又或是和别人沟通，都显得特别专业。每次遇到这类人，我都在想，他们到底是怎么做到的？随着工作时间的增长，渐渐地我也总结出一些经验，他们身上都保持着一些看似很微

‍‍

这周收到一个sentry报警，如下SQL查询超时了。select*fromorder_infowhereuid=5837661orderbyidasclimit1执行showcreatetableorder_info发现这个表其实是有加索引的CREATETABLE`order_info`(`id`b

来自：我的小米粥分你一半链接：https://corvo.myseu.cn/2021/03/23/2021-03-23-记一次Kubernetes中严重的安全问题/近期遇到了一次我们自建Kubernetes集群中某台机器被入侵挖矿，后续也找到了原因，所幸只是用来挖矿…网络安全是个严肃的问题，它总是在

2021 DTCC 专场21-人工智能与大数据应用（下）（PPT）