【精彩视频】数据分析与价值变现(算法模型)— 张粤磊
目前,大数据、云计算、人工智能等属于IT最火的词汇,随着这些技术在企业中的落地实践,大数据作为数据应用分析的基础技术未来将会变的越来越重要,大数据为人工智能提供基础物料,为企业决策者提供数据支撑,如何通过数据进行更好的变现?如何让企业的数据更有价值?
【精彩视频】数据分析与价值变现(价值度量)— 张粤磊
“过去企业需要安排多名专职客服,以人肉机械的方式的筛选处理评价信息。现在用云+ 超级店长应用的大数据分析技术,实现语义自动识别产品各类评价并进行归类,减少客服 工作量,可以为企业节省30-50%客服成本。-JACK & JONES “当时我们这个旗舰店运营得很不错,后来服务市场的小二向我们提出建议,能不能给类似创 维这样的家电企业来做代运营服务?”经过商谈,我们和创维真的合作了,并且给它带来的变
【精彩视频】数据分析与价值变现(应用场景)— 张粤磊
目前,大数据、云计算、人工智能等属于IT最火的词汇,随着这些技术在企业中的落地实践,大数据作为数据应用分析的基础技术未来将会变的越来越重要,大数据为人工智能提供基础物料,为企业决策者提供数据支撑,如何通过数据进行更好的变现?如何让企业的数据更有价值?
【精彩视频】数据分析与价值变现(自我介绍)— 张粤磊
2005年毕业于中国科技大学信息管理院,有十多年的一线生产制造信息化与智能制造项目经验。曾供职于YKK,惠普中国,中国平安支付的数据部门,历任高级开发工程师,大数据架构师,部门开发经理等职务。2016年以来每年都以高级专家和咨询顾问身份深入参与大数据人工智能技术在行业的落地应用。
flink实战-聊一聊flink中的聚合算子
这些内容都是自己在工作和学习中的一些学习总结,如果大家觉得有帮助,原创不易,希望帮忙点个赞,由于笔者水平有限,也难免有错误,也请大家不吝赐教,同时也欢迎关注我的微信公众号:[大数据技术与应用实战],一起成长。自定义source自定义聚合函数自定义结果输出函数主流程前言今天我们主要聊聊flink中的一
大数据Flink学习系列文章(快学)---02 Flink基本概念及架构
Flink笔记02--Flink基本概念及架构1、基本概念无界和有界数据。任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录,所有这些数据都形成一种流。数据可以被作为无界或者有界流来处理。无界流有定义流的开始,但没有定义流的结束。它们会无休止地产
阿里为何选择Flink?IT从业20年大佬分11章讲解Flink从入门到实践
前言ApacheFlink是德国柏林工业大学的几个博士生和研究生从学校开始做起来的项目,之前叫做Stratosphere。他们在2014年开源了这个项目,起名为Flink。ApacheFlink已经被业界公认是最好的流计算引擎。然而Flink其实并不是一个仅仅局限于做流处理的引擎。ApacheFli
大数据Flink学习系列文章(快学)---01 初识Flink
这是一套完整详细且持续更新的Flink系列教程、文档,旨在帮助开发者快速融入Flink开发,或作为工具文档参阅。Flink笔记01--初识Flink1、前言这将是一套持续更新的、完整的原创Flink系列学习文档,主要参考Flink官方文档,包含各种实例详解、运行原理的讲解,旨在帮助开发者快速学习Fl
Flink On K8S终极实现方案
Flink作为新一代的大数据处理引擎,不仅是业内公认的最好的流处理引擎,而且具备机器学习等多种强大计算功能,用户只需根据业务逻辑开发一套代码,无论是全量数据还是增量数据,亦或者实时处理,一套方案即可全部解决。K8S是业内最流行的容器编排工具,与docker容器技术结合,可以提供比Yarn与Mesos
企业应用的Flink面试题
1、面试题一:应用架构问题:公司怎么提交的实时任务,有多少JobManager?解答:1.我们使用yarnsession模式提交任务。每次提交都会创建一个新的Flink集群,为每一个job提供一个yarn-session,任务之间互相独立,互不影响,方便管理。任务执行完成之后创建的集群也会消失。线上
【论文笔记】分布式数据流中的轻量异步快照算法
GlobalStateSnapshot流处理系统的一个基本挑战是处理潜在的失败。现有的方法是提供全局状态快照(GlobalStateSnapshots)来恢复失败的计算任务。但是这种方法有两个问题:降低处理性能快照中包含一些无用的信息流式系统提供:端到端的低延时保证高吞吐容错exactly-once
Flink 完美搭档:数据存储层上的 Pravega
文章整理:加米谷大数据本文将从大数据架构变迁历史,Pravega简介,Pravega进阶特性以及车联网使用场景这四个方面介绍Pravega,重点介绍DellEMC为何要研发Pravega,Pravega解决了大数据处理平台的哪些痛点以及与Flink结合会碰撞出怎样的火花。大数据架构变迁Lambda架
Streaming Systems (三)
到目前为止,我们一直在从pipeline开发者的角度研究流处理,第二章介绍了watermarks,回答了计算什么时间范围内的数据以及什么时候将处理结果物化等基本问题。在本章中,我们将从流处理系统的底层机制的角度来看同样的问题。研究这些机制将帮助我们理解和应用有关watermarks的概念。我们将讨论
PyFlink 社区扶持计划正式上线!
简介:作为Dataflow模型的最早采用者之一,ApacheFlink在流批一体特性的完成度上在开源项目中是十分领先的。本文将基于社区资料和笔者的经验,介绍Flink目前(1.10)流批一体的现状以及未来的发展规划。自GoogleDataflow模型被提出以来,流批一体就成为分布式计算引擎最为主流的
直播 | 即将发版的 Flink 1.11 有哪些重大变更?
简介:6月14日,大数据+AIMeetup在线直播!ApacheFlinkCommitter,阿里巴巴技术专家李劲松(之信)将现场分享《Flink1.11Table&SQL深度解读》,还有快手春晚项目的独家实践、网易云音乐Flink+Kafka的生产落地等。6月14日,计算平台事业部与阿里云
Flink 与 Hive 的磨合期
简介:在上篇文章中,笔者使用的CDH版本为5.16.2,其中Hive版本为1.1.0(CDH5.x系列Hive版本都不高于1.1.0,是不是不可理解),Flink源代码本身对Hive1.1.0版本兼容性不好,存在不少问题。为了兼容目前版本,笔者基于CDH5.16.2环境,对Flink代码进行了修改,
【PPT 下载】数据分析与价值变现 —张粤磊
🌟主题简介: 目前,大数据、云计算、人工智能等属于IT最火的词汇,随着这些技术在企业中的落地实践,大数据作为数据应用分析的基础技术未来将会变的越来越重要,大数据为人工智能提供基础物料,为企业决策者提供数据支撑,如何通过数据进行更好的变现?如何让企业的数据更有价值?
如何从 0 到 1 参与 Flink 社区?
简介: 本文首先介绍为何要参与开源社区以及在参与开源社区的过程中需要注意什么,然后重点介绍如何参与 Flink 社区以及在社区里面提交 PR 的整个流程。 主要内容如下: 参与开源社区的意义 参与开源社区的原则 如何参与 Flink 社区 如何提交第一个 PR Tips:点击下方链接可回顾更多社区成长类教程~
flink的基础介绍
Flink学习资料官方文档:https://flink.apache.orgFlink中文社区视频课程:https://github.com/flink-china/flink-training-courseFlink中文社区:https://www.slidestalk.com/FlinkChin
Apache Flink - Network Buffer 相关知识
Flink中NetworkBuffer相关知识。问题如果你是带着以下问题来到这里的,那么我相信这篇文章可以给你答案。NetworkBuffer、或者NetworkSegment的作用是什么?在很多地方看到这个名词但是不知道是做什么用的NetworkBuffer占用的内存是哪一块?应该如何去调整这一块