快速搭建 Serverless 人脸识别离线服务
快速搭建 Serverless 人脸识别离线服务简介首先介绍下在本文出现的几个比较重要的概念:函数计算(Function Compute):函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。函数工作流(Function Flow):函数工作流是一个用来协
移植 Python 量化交易 TA-Lib 库到函数计算
TA-Lib,全称“Technical Analysis Library”, 即技术分析库,是 Python 金融量化的高级库,涵盖了 150 多种股票、期货交易软件中常用的技术分析指标,如 MACD、RSI、KDJ、动量指标、布林带等等。TA-Lib 可分为 10 个子板块:Overlap Studies(重叠指标)Momentum Indicators(动量指标)Volume Indicato
从零开始入门 K8s | Kubernetes 调度和资源管理
Kubernetes 调度过程首先来看第一部分 - Kubernetes 的调度过程。如下图所示,画了一个很简单的 Kubernetes 集群架构,它包括了一个 kube-ApiServer,一组 Web-hook Controllers,以及一个默认的调度器 kube-Scheduler,还有两台物理机节点 Node1 和 Node2,分别在上面部署了两个 kubelet。我们来看一下,假如要向
2020将至,谈谈中小企业创业的那些事儿
2019正迎来尾声,在创业这场轰轰烈烈的旅途中,有的人名利双收,有的人饱受非议。一入创业深似海,在创业赛道上,很多公司完成了从0到1,却死在从1到100的路上。而小程序的出现,让移动互联网创业走向低门槛。正如小程序权威机构阿拉丁的创始人史文禄在2019全球小程序生态大会所说,“2019年至少有23家小程序的DAU突破了1千万,在2020年至少会有100家小程序单日DAU突破1千万。” 小程序首次进
在 Flink 算子中使用多线程如何保证不丢数据?
分析痛点笔者线上有一个 Flink 任务消费 Kafka 数据,将数据转换后,在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api,即:每 50 条数据请求一次第三方接口,可以通过批量 api 来提高请求效率。由于调用的外网接口,所以每次调用 api 比较耗时。假如批次大小为 50,且请求接口的平均响应时间为 50ms,使用同步 ap
日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践
导读:当今生活节奏日益加快,企业面对不断增加的海量信息,其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化,企业 App 中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验,甚至引发了用户流失。在此背景下,友信金服公司推行全域的数据体系战略,通过打通和整合集团各个业务线数据,利用大数据、人工智能等技术构建统一的数据资产,如 ID-Mapping、用户标签等。友信金服用户画像项目正
【科普】TLS1.3如此强大!我们如何迎接它?
HTTPS 时代已经来临,而新一代安全传输协议TLS1.3的普及会大大提升HTTP连接速度的性能,消除HTTPS使用性能上的担忧,助推HTTPS进一步应用落地。早在去年,阿里云CDN HTTPS就已经全面支持TLS1.3,鼓励用户逐步升级到更安全、性能更佳的TLS1.3,帮助终端获得更好的访问体验。本文由阿里云CDN技术专家林胜恩(啸坤)为你详细揭秘TLS1.3的发展历程、特性以及应用。一、TLS
Struct复杂数据类型的UDF编写、GenericUDF编写
一、背景介绍:MaxCompute 2.0版本升级后,Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型,同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型,以及Writable参数。Java UDF使用复杂数据类型的方法,STRUCT对应com.aliyun.odps.data.Struct。com.aliyun.odp
明厨亮灶上云 | 看阿里云智能视觉平台如何保护舌尖上的安全?
中国有句古话:“民以食为天”,人们对饮食的看重始终贯穿于中国文明发展的历史长河。但近年来,食品安全事件频发,餐饮业“后厨重地”合规性问题逐渐走上公众舆论的焦点,成为政府重点监管的所在。那么,面对“食品安全大过天”这一社会诉求,云计算、大数据、人工智能技术又能发挥怎样的作用呢?“明厨亮灶”有何难言之隐?从2015年起,国家食品药品监督管理局提出的“明厨亮灶”工程已经在全国范围内推广。目的是让餐饮企业
万字干货 | 每秒7亿次请求,阿里新一代数据库如何支撑?
导读Lindorm,就是云操作系统飞天中面向大数据存储处理的重要组成部分。Lindorm是基于HBase研发的、面向大数据领域的分布式NoSQL数据库,集大规模、高吞吐、快速灵活、实时混合能力于一身,面向海量数据场景提供世界领先的高性能、可跨域、多一致、多模型的混合存储处理能力。目前,Lindorm已经全面服务于阿里经济体中的大数据结构化、半结构化存储场景。注:Lindorm是阿里内部HBase分
可闭环、可沉淀、可持续的企业级数据赋能体系
以下内容根据演讲视频以及PPT整理而成。本次分享主要围绕以下两个方面:一、构建可闭环、可沉淀、可持续的企业级数据赋能体系的背景二、开发者数据银行一、构建可闭环、可沉淀、可持续的企业级数据赋能体系的背景1.数据“四化”如何让属于企业自己的不同触点的数据快速形成一个闭环,沉淀串联这些零散的数据能够快速应用去赋能业务?这涉及到四个关键词,一是业务数据化,企业所有触点是否为真,是否被打通。第二是数据资产化
案例解读|迁云的灵魂3问,降多少本,增多少效,真平滑否?
近年来,在线教育产业发展十分迅速,在线教育真正打破了时间和空间的限制,使得学员可以随时随地学习,预期2020年将有超过3000亿的市场规模。随着行业不断成熟,国家政策的规范发展使得在线教育的发展进入调整期,烧钱获客的模式不再持续,在兼顾业务发展的同时要注意成本控制。那就需要注意两大问题。一是服务器资源作为IT基础设施支出的头部预算,如何合理利用服务器资源,按需扩容,节省人力维护成本是关键。第二点是
State Processor API:如何读取,写入和修改 Flink 应用程序的状态
过去无论您是在生产中使用,还是调研Apache Flink,估计您总是会问这样一个问题:我该如何访问和更新Flink保存点(savepoint)中保存的state?不用再询问了,Apache Flink 1.9.0引入了状态处理器(State Processor)API,它是基于DataSet API的强大扩展,允许读取,写入和修改Flink的保存点和检查点(checkpoint)中的状态。在这篇
阿里云叔同:以容器为代表的云原生技术,已成为释放云价值的最短路径
2019 年阿里巴巴 双11 核心系统 100% 以云原生的方式上云,完美支撑了 54.4w 峰值流量以及 2684 亿的成交量。随着阿里巴巴经济体云原生技术的全面升级,容器性能、稳定性及在线率也得到了全面提升。本文作者将从云计算时代容器的发展路径为出发点,剖析阿里云的容器技术演进历程,借此探析整个行业的发展趋势。以容器为代表的云原生技术,成为云时代释放云价值的最短路径过去我们常以虚拟化作为云平台
Flink SQL 如何实现数据流的 Join?
无论在 OLAP 还是 OLTP 领域,Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言,经过数据库领域多年的积累,Join 语义以及实现已经十分成熟,然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。其中最为关键的问题在于 Join 的实现依赖于缓存整个数据集,而 Streaming SQL Join 的对象却是无限的数据流,
MaxCompute - ODPS重装上阵 第六弹 - User Defined Type
MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。MaxCompute基于ODPS2.0新一代的SQL引擎,显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出MaxCo
Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频)
如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。查看FFA大会视频。本次分享主要分为四个方面:Lyft 的流数据与场景准实时数据分析平台和架构平台性能及容错深入分析总结与未来展望重要:文末「阅读原
基于MaxCompute InformationSchema进行血缘关系分析
一、需求场景分析在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。二、方案设计思路MaxCompute I
边缘计算和“寒武纪”有什么关系?阿里云资深专家刘强如是说
12月12日,第六届DEAS数字娱乐产业年度高峰会于厦门隆重召开,阿里云边缘计算产品首席架构师刘强受邀参会,并在“开启5G元年新场景”主题板块中发表《边缘计算驱动科技“寒武纪”时代》演讲,分享边缘计算在当下企业办公、安防、物流等城市场景的关键作用。“寒武纪”时代带来的启发什么是“寒武纪”时代?“寒武纪”是6亿年前的一个时代,这个时代之前没有太多的复杂生物,但是由于“寒武纪”时代地球温度逐渐上升,为
阿里云荣获最佳智能边缘计算技术创新平台
12月11日, 2019亚太内容分发大会暨CDN峰会在广州如期召开,大会围绕“边缘计算”为主题,探讨新技术下,全球互联网产业发展趋势。会上,国内第一,全球前三的阿里云凭借在边缘计算领先的技术布局与创新方案,荣获“最佳智能边缘计算技术创新平台”奖项。边缘计算因5G万物智联的快速发展而备受关注。据Gartner预测,2021年将有40%的大型企业在项目中纳入边缘计算原则。阿里云是国内最早布局边缘计算的