基于OSS+DataLakeAnalytics+QuickBI的Serverless的查询分析和可视化BI
基于OSS的数据查询分析和可视化BI报表数据存储在OSS后,有多种查询分析的方法,包括阿里云MaxCompute、DataLakeAnalytics产品等Severless查询分析服务,也可以自建Spark、Presto、Imapla应用来分析OSS上的数据。本文,介绍基于OSS+DataLakeAnalytics+QuickBI,实现对数据的存储、Serverless化的Ad-hoc查询、可视化
Data Lake Analytics中OSS LOCATION的使用说明
前言Data Lake Analytic(后文简称 DLA)可以帮助用户通过标准的SQL语句直接对存储在OSS、TableStore上的数据进行查询分析。在查询前,用户需要根据数据文件的格式和内容在DLA中创建一张表。Data Lake Analytics + OSS数据文件格式处理大全 一文中介绍了如何定义表的SERDE和ROW FORMAT。本文将以存储在OSS上的文件为例详细介绍如
威胁快报|首爆,新披露Jenkins RCE漏洞成ImposterMiner挖矿木马新“跳板”
简介阿里云安全于近日捕获到一起使用Jenkins RCE漏洞进行攻击的挖矿事件。除挖矿外,攻击者还曾植入具有C&C功能的tsunami木马,也预留了反弹shell的功能,给用户带来极大安全隐患。由于攻击者直接复制了Jenkins系列漏洞发现者(Orange.tw)在博客上公布的poc,攻击payload含有"Orange.tw"字样,可能被误认为是漏洞发现者在进行测试,
MongoDB负载信息一目了然 阿里云HDM重磅发布MongoDB监控和诊断功能
混合云数据库管理(HDM)的统一监控、告警、诊断功能新增了对MongoDB的支持。通过直观的方式将MongoDB多个维度的负载信息统一整合,不仅可以清晰的查看实时负载信息,也可以方便的确认历史负载情况,同时也支持自定义性能监控大盘。通过该功能,专业的DBA可以减少信息收集和处理的事件,提升效率,非专业人士也能快速检测问题。典型使用场景直观地确认数据库负载情况数据库诊断和优化过程具有相当的复杂性、专
信用算力基于 RocketMQ 实现金融级数据服务的实践
导读:微服务架构已成为了互联网的热门话题之一,而这也是互联网技术发展的必然阶段。然而,微服务概念的提出者 Martin Fowler 却强调:分布式调用的第一原则就是不要分布式。纵观微服务实施过程中的弊端,可以推断出作者的意图,就是希望系统架构者能够谨慎地对待分布式调用,这是分布式系统自身存在的缺陷所致。但无论是 RPC 框架,还是 REST 框架,都因为驻留在不同进程空间的分布式组件,而引入了额
云数据库将进入企业级百万IOPS时代
IOPS (Input/Output Operations Per Second),即每秒进行读写(I/O)操作的次数,以衡量存储每秒可接受多少次主机发出的访问。数据库,特别是关系型数据库由于需要处理实时业务,因此几乎所有变化的数据都必须完成落盘写入,以实现ACID的各项要求,特别针对持久性。因此更高的IOPS对于数据库整体性能提升有着至关重要的意义。ESSD云盘是阿里云全新推出的超高性能云盘,基
如何利用 Webshell 诊断 EDAS Serverless 应用
本文主要介绍 Serverless 应用的网络环境以及 Serverless 应用容器内的环境,了解背景知识以及基本的运维知识后可以利用 Webshell 完成基本的运维需求。Webshell 简介用户可以通过阿里云控制台直接获取 ECS 的 Shell,从而完成自己的运维需求。如果 ECS 内开启了 SSH 服务,且 ECS 存在弹性公网 IP,那么用户也可以在本地通过 SSH 服务获取 ECS
好玩又实用,阿里巴巴开源混沌工程工具 ChaosBlade
减少故障的最好方法就是让问题经常性的发生。在可控范围或环境下,通过不断重复失败过程,持续提升系统的容错和弹性能力。那么,实施一次高效的混沌工程实验,需要几步呢?答案:2 步。① 登陆 ChaosBlade② 下载 release 版本,打造故障演练专属工具高可用架构是保障服务稳定性的核心。阿里巴巴在海量互联网服务以及历年双11场景的实践过程中,沉淀出了包括全链路压测、线上流量管控、故障演
寻找 K8s 1.14 Release 里的“蚌中之珠”
摘要: K8s 1.14 发布了,Release Note那么长,我们该从何读起?本文由张磊、心贵、临石、徙远、衷源、浔鸣等同学联合撰写。Kubernetes 1.14.0 Release 已经于3月25日正式发布。相信你也已经注意到,相比于1.13 和 1.12 版本,这次发布包含的重要变更非常多,其对应的Release Note 的篇幅长度也创下了“新高”。面对这样一份“海
阿里云对象存储OSS支持版本管理特性
阿里云对象存储OSS现已经全面支持“对象版本管理”特性。该功能适用于所有的存储类型以及区域。当Bucket启用该特性后,“对象版本管理”功能可以保护和恢复误删除、误覆盖的数据。对象存储OSS“版本管理”具有如下特点:提供“应用级”数据保护,可防止文件意外覆盖:当Bucket开启版本管理特性后,该Bucket内对象的每次修改、删除操作,OSS都会生成对应的历史版本。授权的用户可以通过控制台、API、
Spark in action on Kubernetes - Spark Operator的原理解析
前言在上篇文章中,向大家介绍了如何使用Spark Operator在kubernetes集群上面提交一个计算作业。今天我们会继续使用上篇文章中搭建的Playground进行调试与解析,帮助大家更深入的理解Spark Operator的工作原理。所以如果没有浏览过上篇文章的同学,可以通过传送门直达,先配置好Playground的环境。Spark Operator的内部实现在深入解析Spark Ope