MaxCompute Mars开发指南
Mars 算法实践人脸识别Mars 是一个基于矩阵的统一分布式计算框架 ,而且 Mars 已经在 GitHub 中开源。当你看完 Mars 的介绍可能会问它能做什么,这几乎取决于你想做什么,因为 Mars 作为底层运算库,实现了 numpy 70% 的常用接口。这篇文章将会介绍如何使用 Mars 完成你想做的事情。奇异值分解 (SVD)在处理纷繁的
基于MaxCompute的数仓数据质量管理
声明本文中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导。参考文献《大数据之路——阿里巴巴大数据实践》——阿里巴巴数据技术及产品部 著。背景及目的数据对一个企业来说已经是一项重要的资产,既然是资产,肯定需要管理。随着业务的增加,数据的应用越来越多,企业在创建的数仓过程中对数据的管理也提出了更高的要求,而数据质量也是数仓建设过程不容忽视的环节。本文针对MaxCompute数仓建设过程中如
十年磨一剑,王坚自研的MaxCompute如何解决世界级算力难题
摘要: 2009年这项关于大数据的技术长征开始。王坚带队,目标是自研大数据计算平台MaxCompute统一阿里巴巴内部的数据和大数据计算体系。大数据时代,随着企业数据规模的急剧增长,传统软件已无法承载,这也推动了大数据技术的发展,Google、AWS、微软等硅谷巨头纷纷投入大数据技术的研发;而在国内,王坚也在十年前带领阿里云团队研发MaxCompute,率先在国内开启大数据计算平台的自研
干货|Spring Cloud Bus 消息总线介绍
继上一篇 干货|Spring Cloud Stream 体系及原理介绍 之后,本期我们来了解下 Spring Cloud 体系中的另外一个组件 Spring Cloud Bus (建议先熟悉 Spring Cloud Stream,不然无法理解 Spring Cloud Bus 内部的代码)。Spring Cloud Bus 对自己的定位是 Spring Cloud
SaaS加速器II 能力中心:互利互补 共享商业红利
摘要: 通过丰富的阿里集团和三方的业务能力API,缩短业务从0-1构建的周期和降低成本,我们希望能够把阿里巴巴在电商、金融、物流、高德以及其他领域沉淀出来商业最佳实践、商业能力,通过阿里云的渠道输出,赋能合作伙伴,让合作伙伴构建行业和领域业务系统时,直接利用这些能力,让合作伙伴能够具备像阿里巴巴一样做生意的能力。本文作者:茜莹原文链接本文为云栖社区原创内容,未经允许不得转载。
提供SaaS Launchkit,快速定制,一云多端等能力,一云多端将通过小程序云实现
摘要: SaaS加速器的技术中心能力中,将提供SaaS Launchkit,快速定制,一云多端等能力,加速应用上云迁移、降低应用开发和定制的门槛,提升效率。其中非常关键的一云多端能力将通过小程序云实现。演讲主题:SaaS加速器 III技术中心:聚合开放 高效强大技术中心定义:阿里云以聚合开放的姿势,提供一个高效强大的技术开发平台技术中心中提到的企业应用典型开发场景,最主要的受众是开发者。
发布SaaS加速器:我们不做SaaS,我们只做SaaS生态的推进者和守护者
摘要: 此次阿里云推出的SaaS加速器,涵盖商业中心、能力中心、技术中心三大板块,是阿里巴巴商业、能力和技术的一次合力输出:技术能力在这里沉淀为一个个模块,ISV和开发者只要通过简单的操作,写很少的代码、甚至不写代码,就可以快速搭建一个SaaS应用,实现规模化、快速复制。上午的演讲过程当中,大家都听到了,整个阿里云的战略是不做SaaS坚持被集成。如何让合作伙伴以及客户来集成阿里云,关键是
MaxCompute SQL 使用正则表达式选列
编辑MaxCompute SQL 时,经常会需要在某个表N个列中指定一些列。若需要指定的列比较少,编写SQL时一个个输入既可。当遇到列多的时候,一个个输入就会非常费劲。本文将介绍如何在编写MaxCompute SQL时通过正则表达式表达列(column),从而提升编码效率。首先用一个简单的示例介绍正则表达式的使用方法:SELECT `abc.*` FROM t;--查
MaxCompute如何对SQL查询结果实现分页获取
由于MaxCompute SQL本身不提供类似数据库的select * from table limit x offset y的分页查询逻辑。但是有很多用户希望在一定场景下能够使用获取类似数据库分页的逻辑,对查询结果进行分页/分批获取结果,本文将介绍几种方法,来实现上述场景。1. 借助row_number()函数作为递增唯一标识进行过滤查询select * from
阿里云异构计算发布:轻量级GPU云服务器实例VGN5i
阿里云发布了国内首个公共云上的轻量级GPU异构计算产品——VGN5i实例,该实例打破了传统直通模式的局限,可以提供比单颗物理GPU更细粒度的服务,从而让客户以更低成本、更高弹性开展业务。适用于云游戏、VR/AR、AI推理和DL教学等轻量级GPU计算场景,更细粒度的GPU计算服务。轻量级GPU云服务器是什么?轻量级GPU云服务器是一种新的GPU云服务器规格族,是通过公共云的GPU虚拟化技术将分片虚拟
单颗GPU计算能力太多、太贵?阿里云发布云上首个轻量级GPU实例
摘要: 阿里云发布了国内首个公共云上的轻量级GPU异构计算产品——VGN5i实例,该实例打破了传统直通模式的局限,可以提供比单颗物理GPU更细粒度的服务,从而让客户以更低成本、更高弹性开展业务。在硅谷举办的2019年NVIDIA GPU技术大会(GTC)上,阿里云发布了国内首个公共云上的轻量级GPU异构计算产品——VGN5i实例,该实例打破了传统直通模式的局限,可以提供比单颗物理GPU更
勒索攻击猖獗,在云上如何应对这位“破坏分子”?
借助比特币等数字货币的匿名性,勒索攻击在近年来快速兴起,给企业和个人带来了严重的威胁。阿里云安全中心发现,近期云上勒索攻击事件持续发生,勒索攻击正逐渐成为主流的黑客变现方式。一、近期勒索行为数据分析1.云主机被勒索事件上涨阿里云安全中心发现,近期被勒索病毒攻击成功的受害主机数持续上涨。造成勒索事件上涨趋势的原因主要有以下三个方面:越来越多的勒索病毒集成了丰富的攻击模块,不再只是传统地弱口令,而是具
“龙井”开箱评测 |Alibaba Dragonwell 新手上路指南
作者|阿里云智能事业群 高级技术专家 陆传胜阿里巴巴有着最丰富的 Java 应用场景,覆盖电商,金融,物流等众多领域,是世界上最大的 Java 用户之一。 2019 年 3 月 21 日,阿里巴巴在北京阿里云峰会上正式宣布开源了 Alibaba Dragonwell 8 产品,并建立了 Alibaba Dragonwell 社区来为全球 Java 用户,特别是中文社区的 Java 用户提供长期支持
使用Data Lake Analytics读/写RDS数据
Data Lake Analytics 作为云上数据处理的枢纽,最近加入了对于RDS(目前支持 MySQL , SQLServer ,Postgres 引擎)的支持, 这篇教程带你玩转 DLA 的 RDS 支持。我们文章中会以 MySQL 的介绍为主,最后会简要介绍下 SQLServer 与&nbs
使用Data Lake Analytics从OSS清洗数据到AnalyticDB
前提必须是同一阿里云region的Data Lake Analytics(DLA)到AnalyticDB的才能进行清洗操作;开通并初始化了该region的DLA服务;开通并购买了AnalyticDB的实例,实例规模和数据清洗速度强相关,与AnalyticDB的实例资源规模基本成线性比例关系。整体执行流程示意图:步骤 1:在AnalyticDB中为DLA开通一个VPC访问点DLA在上海region的
释放百万IOPS性能!阿里云数据库下一代存储介质ESSD云盘来了!
阿里云数据库首个跨入IOPS百万时代的云盘——ESSD,单盘IOPS高达100万,比上一代SSD云盘最高测试数据快40倍,这是阿里云迄今为止性能最强的企业级数据库存储介质。搭配阿里云RDS云数据库,ESSD可提供单盘高达100万IOPS的随机读写能力和4000MB吞吐量,单路时延低至0.1毫秒,单台云服务器整体存储性能提升了500%。虽然最高100万的IOPS比SSD云盘提升了40倍之多,但阿里云
云数据库RDS存储能力进化解析!
数据库是企业IT系统的核心,其性能表现会直接影响整体业务系统的性能表现,而影响数据库性能因素包括系统架构设计、应用程序业务SQL语句、数据库参数优化配置、数据库运行的资源能力。系统架构设计和应用程序业务SQL语句都属于数据库外围,需要从整体业务上去设计优化;数据库的参数配置,核心是要根据数据库上的业务和硬件特点细调参数,丰富的DBA经验对此项影响很大,归属于软件配置内容且随时可调整。数据库的硬件资
Nginx 外的另一选择,轻量级开源 Web 服务器 Tengine 发布新版本
新版发布近日,轻量级开源 Web 服务器 Tengine 发布了2.3.0版本,新增如下特性:ngx_http_proxy_connect_module,该模块让 Tengine 可以用于正向代理场景,支持对 CONNECT 方法请求的处理;HTTP2 Server粒度控制 新增 HTTP2指令,可针对 listen 相同端口的 server 进行个性化开启与关闭 HTTP2;Strea
阿里云区块链共创会:BaaS正式商业化 广邀合作伙伴共建生态
摘要: 阿里云宣布区块链服务Hyperledger Fabric版正式商业化,并发布生态合作伙伴计划。2019年3月29日,阿里云区块链于深圳召开正式商业化共创会,宣布区块链服务Hyperledger Fabric版正式商业化,同时宣布大力招募合作伙伴,发布生态合作伙伴计划。阿里云区块链服务的定位是提供安全、稳定的技术平台,构建可信的企业协作网络,链接可信数据。基于这一平台,阿里云区块链
PB 级数据处理挑战,Kubernetes如何助力基因分析?
摘要: 一家大型基因测序功能公司每日会产生 10TB 到 100TB 的下机数据,大数据生信分析平台需要达到 PB 级别的数据处理能力。这背后是生物科技和计算机科技的双向支撑:测序应用从科研逐步走向临床应用,计算模式从离线向在线演进,交付效率越来越重要。作者李鹏,原文首发于InfoQ,《容器混合云,Kubernetes 助力基因分析》引言James Watson 和 Francis Cr