使用DataX同步MaxCompute数据到TableStore(原OTS)优化指南
概述现在越来越多的技术架构下会组合使用MaxCompute和TableStore,用MaxCompute作大数据分析,计算的结果会导出到TableStore提供在线访问。MaxCompute提供海量数据计算的能力,而TableStore提供海量数据高并发低延迟读写的能力。将 MaxCompute内数据导出至TableStore,目前可选的几种主要途径包括:自己编写工具:使用MaxComp
阿里云Kubernetes服务上使用Tekton完成应用发布初体验
Tekton 是一个功能强大且灵活的 Kubernetes 原生开源框架,用于创建持续集成和交付(CI/CD)系统。通过抽象底层实现细节,用户可以跨多云平台和本地系统进行构建、测试和部署。本文是基于阿里云Kubernetes服务部署Tekton Pipeline,并使用它完成源码拉取、应用打包、镜像推送和应用部署的实践过程。Tekton Pipeline中有5类对象,核心理念是通过定义yaml定义
Knative Tracing 介绍
前言为了实现系统组件的水平扩展、敏捷开发、CD(持续集成)、解耦等各种诉求,现代的大型软件架构往往都是微服务架构。 微服务架构本身会面临一系列诸如:后台错误原因分析、各个微服务组件的调用情况诊断等。所以需要有一个 Tracing 系统解决这些问题。除了微服务以外 Serverless 应用也面临同样的问题。一个完整的业务实现想要基于 Serverless 模型来开发的话可能会分解成多个 Serve
不断被取代的传统职业:快速发展的智能交互
前记我们身边有很多鲜为人知的职业,有些你可能知道,有些你可能不知道,更有一些,你或许听过,却从不明白它到底是做什么的。速录师,就是这样的一个职业。很多人觉得这个职业简单,只要会打字就行,其实不然。要做一名合格的速录师,不仅需要具备文化素质、心理素质、速度素质,更需要经过考核。心理和能力的考核+300字/分的速度+97%以上的准确率,再加上考虑口述言语间的逻辑关系,这样加起来的速录,你还会觉得简单么
从分布式一致性算法到区块链共识机制
引言分布式一致性是一个很“古典”的话题,即在分布式系统中,如何保证系统内的各个节点之间数据的一致性或能够就某个提案达成一致。这个问题想必对于很多技术同学而言并不陌生,几乎在所有的分布式系统中都会遇到,比如hdfs、mq、zookeeper、kafka、redis、elasticsearch等。然而这个问题却历久弥新,随着分布式网络的蓬勃发展与复杂化,对于该问题解法的探索也一直在进行中。而近年来,随
Nacos Committer 张龙:Nacos Sync 的设计原理和规划
与你同行,抬头便是星空。本文整理自Nacos Committer 张龙的现场分享,阿里巴巴中间件受权发布。随着 Nacos 1.0.0 稳定版的发布,越来越多的企业开始在测试/预演/生产环境中逐步部署 Nacos。目前,除了部分企业已处于转型分布式架构的过程中,会考虑直接使用 Nacos 上生产,但仍有不少企业会考虑一些比较现实的问题:存量用户如何迁移注册中心到 Nacos?多区域注册中心之间如何
MaxCompute Studio使用心得系列7—作业对比
在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题,但是对比作业时需要同时打开两个studio 的tab页,或者两个Logview页,不停切换进行对比,使用起来非常的不方便。MaxCompute Studio从3.1.0版本开始支持作业对比,可以在一个页面同时比较两个作业,并且能自动标注出作业的差异点。本文我以查找同个作业执行两次用时差别很大的原因为例,通过M
阿里云MaxCompute 2019-4月刊
您好,MaxCompute 2019.4月刊为您带来产品最新动态和丰富的产品技术内容,欢迎阅读。导读【功能发布】4月产品新功能发布【文档更新】4月重要产品文档更新推荐【干货精选】4月精选技术文章推荐【活动预告】5月重要活动预告【文档更新】4月产品新功能发布MaxCompute预付费套餐(含计算资源、存储资源)发布上线 查看详情 >>MaxCompute projec
DDoS攻击新趋势:海量移动设备成为新一代肉鸡
近期,阿里云安全团队观察到数十起大规模的应用层资源耗尽式DDoS攻击(应用层CC攻击)。阿里云DDoS高防实现智能防护全程自动化检测并清洗,未对用户侧业务产生任何影响,这类攻击存在一些共同的特征,阿里云安全团队对此做了跟踪分析。几经溯源发现,这些攻击事件源于大量用户在手机上安装了某些伪装成正常应用的恶意APP,该APP在动态接收到攻击指令后便对目标网站发起攻击。根据阿里云安全团队监测的数据显示,近
胡喜:从 BASIC 到 basic ,蚂蚁金服技术要解决两个基本的计算问题
5 月 6 日,蚂蚁金服副 CTO 胡喜在 2019 年 QCon 上做了《蚂蚁金服十五年技术架构演进之路》的演讲。借此机会,也和大家深入讨论了一下蚂蚁金服对金融科技未来的判断,并首次对外曝光了蚂蚁金服技术人才培训体系以及 BASIC College 项目。主要观点蚂蚁金服过去十五年,通过技术重塑了支付和微贷业务。Blockchain (区块链)、ArtificialIntelligence(人工
阿里开发者招聘节 | 面试题14:如何实现两金额数据相加(最多小数点两位)
为帮助开发者们提升面试技能、有机会入职阿里,云栖社区特别制作了这个专辑——阿里巴巴资深技术专家们结合多年的工作、面试经验总结提炼而成的面试真题这一次将陆续放出(面试题官方参考答案将在专辑结束后统一汇总分享,点此进入答题并围观他人答案)。并通过这些笔试真题开放阿里巴巴工作机会,让更多的开发者加入到阿里这个大平台。这一次,不仅是知识的收获,还将间接地与技术大牛们做了直观的沟通,了解他们的出题思路与考察
大侦探福老师——幽灵Crash谜踪案
闲鱼Flutter技术的基础设施已基本趋于稳定,就在我们准备松口气的时候,一个Crash却异军突起冲击着我们的稳定性防线!闲鱼技术火速成立侦探小组执行嫌犯侦查行动,经理重重磨难终于在一个隐蔽的角落将其绳之以法!幽灵Crash问题要从闲鱼Flutter基础设施上一次大规模升级说起。2018年我们对闲鱼的Flutter基建作了比较大的重构,目标在于提高基建的稳定性和可扩展性。这个过程当然是挑战重重,在
阿里云安全肖力:安全基础建设是企业数字化转型的基石
企业在享受数字化转型带来利好的同时,其面临的安全问题也愈发复杂。一方面,外部威胁不断升级,近期利用海量移动设备发起DDoS攻击的案例表明,黑灰产作案手法也在随着时代的发展而不断演进;另一方面,内部安全隐患层出不穷,员工自带设备办公增加企业攻击面,因开发者不小心泄露的访问凭证等问题时有发生。“安全基础建设变得更为关键,将成为企业数字化转型过程中的安全基石。而云的原生能力将帮助企业构建更高等级的基础安
阿里云BaaS:降低区块链应用门槛,用技术构建商业互信
5月8日,阿里云召开区块链服务(BaaS)商业化发布会,会上对BaaS产品、业务应用场景及生态策略进行了全面解读。对于广大IT服务商和开发者而言,构建区块链应用存在三大痛点问题:成本高,研发投入大、区块链技术平台维护成本高;效益低,企业客户触达困难、解决方案难中标;标准差,没有标准化支撑产品,难以大范围应用到其他客户。对于众多企业而言,对于全面拥抱区块链存在三大困惑:场景不清,无法清晰明确哪些业务
阿里云IPv6 DDoS防御被工信部认定为“网络安全技术应用试点示范项目
近日,阿里云数据中心骨干网IPv6 DDoS网络安全防御被工业和信息化部认定为“网络安全技术应用试点示范项目”,本次评选由工业和信息部网络安全管理局发起,从实用性、创新性、先进性、可推广性等维度展开,阿里云成为唯一一家入选IPv6 DDoS防护类项目的云服务商。响应国家号召,率先布局IPv62019年,工信部签发《工业和信息化部关于开展2019年IPv6网络就绪专项行动的通知》,从网络基础设置、应
挖矿蠕虫肆虐,详解云防火墙如何轻松“制敌”
根据阿里云安全团队发布的《2018年云上挖矿分析报告》显示,过去一年中,每一波热门0 Day的出现都伴随着挖矿蠕虫的爆发性传播,挖矿蠕虫可能因为占用系统资源导致业务中断,甚至还有部分挖矿蠕虫同时会捆绑勒索病毒(如XBash等)给企业带来资金与数据的损失。如何提升企业的安全水位,抵御挖矿蠕虫的威胁成为每个企业都在思考的问题。本文以云上环境为例,从挖矿蠕虫的防御、检测和入侵后如何迅速止血三方面来阐述阿
阿里云智能数据构建与管理 Dataphin公测,助力企业数据中台建设
阿里云智能数据构建与管理 Dataphin (下简称“Dataphin”)近日重磅上线公共云,开启智能研发版本的公共云公测!在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化构建企业数据中台,不仅大幅度提升大数据研发效率,实现数据资产的标准化管理,更通过数据服务体系让数据智能驱动业务。经过半年时间准备,Dataphin已于2019年4月23
区块链服务的四大应用场景,深度解读中!
5月8日,阿里云召开区块链服务(BaaS)商业化发布会,会上再次表明阿里云BaaS只做平台基础设施,并欢迎更多生态伙伴共创垂直行业解决方案。区块链技术具备不可篡改的分布式账本,确保了信息的透明与共享,从而使得商业活动中点对点之间建立信任、达成共识的成本大幅下降。阿里巴巴集团学术委员会曾鸣提到过,区块链提供了“网状协同”的底层技术支持,这是未来十年最重要的创新和价值创造的动力。发布会深度解读了供应链
弹性计算双周刊 第24期
【最新动态】4月10日,创新产品团队举办网络直播vGN5i新产品发布会本次发布会引导访问人数20638,引导交叉新购买用户数1679。现场请到两位客户嘉宾,新颖的demo方式和科技对话吸引了大量对云游戏和虚拟VR的有兴趣的客户。轻量级GPU云服务器是一种新的GPU云服务器规格族,是通过公共云的GPU虚拟化技术将分片虚拟化后的GPU资源以虚拟GPU的形式安装在GPU云服务器实例中。与常规GPU云服务
【阿里云新品发布·周刊】第8期:数字化风暴已经来临!云+区块链,如何颠覆未来科技?
新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多内容,了解更多最新发布区块链服务BaaS发布会2019年5月8日15时,阿里云 区块链服务(Blockchain as a Service,简称BaaS)是企业级区块链平台服务,支持Hyperledger Fabric、蚂蚁金服自研区块链技术、以及企业以太坊Quorum,为您构建更安全稳定的区块链环境,简化部署运维及开发流程,