ETL调度系统及常见工具对比:Azkaban、Oozie、数栖云
其实,类似于像 Kettle 这样开源的工具,已经覆盖了大部分日常工作所需的功能了,直接部署一套就能够解决企业基本的需求。但在实际使用的过程中我们也会发现,kettle 如同是一个出场自带电话短信功能的智能手机,少了功能各异的智能 App 的配合,和只能接打电话的老年机也没什么…
你的编程能力从什么时候开始突飞猛进?
分享一个今天看到的知乎的帖子开始看英文技术文档和使用Google的时候。以前学前端和后端的知识都是看w3cschool、菜鸟教程、慕课网、国内人写的一些书或收藏大量读起来并不那么好理解的文章和博客,很多知识学得比较基础而零散,知识点都是靠死记硬背强行理解的而没有动手实战。当开始阅读英文技术文档之后,
51年被发现9次,陶哲轩证明的公式成了重复造轮子?事情并没有这么简单
晓查栗子发自凹非寺量子位报道|公众号QbitAI在科学探索的过程中,“重复造轮子”从来就不新鲜。最知名如牛顿和莱布尼茨,各自独立发明了微积分;而计算机领域,也有图灵和邱奇先后提出通用计算机理论。就在近期,天才数学家陶哲轩也经历了类似事件。今年8月,3位物理学家与陶哲轩共同在Arxiv上发表了一篇研究
2018年你需要了解的15个人工智能统计数据
人工智能(AI)每天都在以惊人的速度增长,并且与此同时,围绕着各行业的统计数据也在发生变化。该技术在简化医疗保健行业工作流程方面取得了巨大成功,减少了教育部门行政任务的工时,同时也降低了制造业的管理成本。这么看来,好像一个新的AI创业公司每天都会出现,目的是改变我们思考、互动和日常工作的方式。为了纪
OpenCV 实例解读:深度学习的计算与加速
OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,有进行物体识别、图像分割、人脸识别、动作识别等多种功能,可以在Linux、Windows、Android、MacOS等操作系统上运行,以轻量级、高效著称,且提供多种语言接口。今年加入了深度学习DNN模块,那么如何理解,它的加入又带来了
遇见山河 预见空间大数据移动互联时代!
6月15日,由成都山河空间信息技术有限公司(SUNVO)举办的“空间大数据+移动互联”峰会——山河空间·掌图专场在WGDC2018年舞台上首次惊艳亮相。在峰会上,山河空间发布了两款具有里程碑意义的空间大数据移动互联产品—“掌图个人版”和“智飞地图个人版”,并围绕产品设计理念、功能解读以及行业应用等方
我从零开始构建MySQL数据处理系统(用Python)学到这7个教训!
作者:GalinaOlejnik在撰写这篇文章之前,我首先需要说的是,我并不认为自己是一名优秀的数据科学家或机器学习工程师。但我有一些有趣且不可思议的(对我而言)工作经历,我仅仅是想分享从中学到的一些见解。我是一名自然语言处理/机器学习科学家,而我不认为具有良好的计算机科学背景就能够成功地在这个领域
创建telegram爬虫机器人
猪突猛进 猪突猛进 猪突猛进~~~~前言aiotg 可以通过异步调用telegram api的方式来构建bot,因为决定开发一个爬虫功能的bot,所以网络请求阻塞是比较严重的性能障碍。而asyncio的异步非阻塞特性能够完美的解决这一问题。这篇文章在记录如何使用aiotg进行tele…
#行业解读#粉丝经济
1.没看报告之前,觉得应该是明星效应会比较吸引眼球,结果都是普通人,说明人们内心深处最为关注的还是接地气的身边人,现在一些厂商选择达人类的kol除了价格便宜,另一方面也是人们或许觉得明星的产品就代表着普通人用不起,用了也不会像明星那样长期使用,有团队专业指导,所以并不是特别相信。有趣的是前面的形容词
快上车!“正经”文章告诉你如何“构建与使用快速响应的分布式中间件平台实践”
文:徐海峰徐海峰首先,请相信我:这是一篇技术文章,正不正经,那就只有看完才能知道了!前几天,一则“前沿数控因使用腾讯云而数据全部丢失”的新闻震惊了整个IT圈。当我看到这新闻的时候,突然的想法是这样的:不过在我们这个业务为王的特殊环境下确实也不是大新闻。过几天,换个话题就都过去了。但是作为一个技术人,
为什么你的十年代码之路,比不上别人一年的对“症”学习?
很多人在学习的过程中,努力的方向方式有问题,朝着错误前进,努力亦是无用;收藏了几个T的学习资料包,然后它们在你的云盘里岁月静好;看完书的时候觉得自己是知识的王思聪,应用的时候才发现其实是知识的穷光蛋···相信,很多人都参加了不少类型的技术大会,例如,参加ITPUB组织的SACC架构师大会和DTCC数
请查收 | SACC2019架构师大会PPT合集
老师,您好,非常感谢您出席本次SACC2019第11届中国系统架构师大会!今年是SACC架构师大会,连续举办的第11个年头,十年间,SACC大会见证并铭记了,国内众多企业的架构设计的变迁历程,同时,也见证了众多技术专家的成长历程。这是大会的PPT各分会场下载链接pc下载:主场:核心业务系统架构设计点
2019SACC专场六:金融行业架构设计(上)( PPT下载)
平安云数据库服务系统架构设计演讲简介:本次分享从平安对云数据库服务的思考切入,讲述平安在丰富的数据库产品、架构、弹性套餐、管理功能,以及复杂的底层资源管理需求面前,如何构建自己的易扩展、可管理、易伸缩的云数据库服务系统的。并重点从微服务分层架构、服务拆分、服务治理平台、编排框架、资源管理引擎等多个方
2019SACC专场四:可视化管理(下) PPT下载
贝壳数据可视化分析平台实践演讲简介:为提升数据分析效率,实现数据驱动业务,贝壳打造自己的数据可视化分析平台。本次分享贝壳在可视化分析平台搭建和如何快速支撑业务过程中面临的挑战,以及我们在安全、多数据源支持、高性能查询等关键技术环节的实践经验。最后会介绍一下,贝壳数据可视化平台现在面临的问题,以及后续
2019SACC 专场十一:云架构与网络接入(PPT下载)
专场十一:云架构与网络接入新浪&微博CDN多云调度的实践、挑战及思考目前越来越多的公司,选择接入多家CDN云服务商,以期在质量、成本、可用性等方面获得最佳收益。新浪和微博CDN同样经历了从1(自建)到N(云)+1(自建)的演进,特别是微博各类突发爆点事件及IPV6的推进,更是给我们的CDN多
2019SACC 专场十:金融行业架构设计(下)(PPT下载)
构建金融生态圈--银行开放生态体系建设演讲简介:中国工商银行开发生态体系建设,是我行当前ECOS智慧银行和e-ICBC3.0两大战略的背景下提出的,两大战略都共同聚焦了我行未来打造开放、合作、共赢金融生态圈的建设愿景,也充分契合了全行上下创新服务模式、加快场景融合和金融能力输出,提升获客、黏客、活客
2019SACC 专场九:数据架构设计(PPT下载)
数据蜂巢-轻量级数据处理平台演讲简介:批量与实时的数据加工同步系统,支持join,union,where和用户自定义逻辑同步,支持从MySQL到MySQL、ES、Cassandra、JDQ、JMQ等目标端的同步。平台使用分布式架构,具有高可用及负载均衡等特点。贺思远京东物流架构师嘉宾介绍:2015年
2019SACC 专场八:企业安全合规实践(PPT下载)
网络安全等级保护2.0实施建议演讲简介:网络安全等级保护基本要求等4个标准将于12月1日正式开始实施,主要介绍网络安全等级保护与信息系统等级保护的区别、及在基于对抗理念下的网络安全、数据安全的要求及态势感知平台建设的一些建议。邵国安国家信息中心高级工程师嘉宾介绍:现为国家信息中心高级工程师;长期从事
2019SACC 专场七:基于大数据平台应用实践(PPT下载)
万亿级消息背后:小米在消息队列的实践演讲简介:Talos是小米基于HDFS自研的分布式消息队列,一方面作为消息队列支持大数据、有品、推送、信息流等在线业务,另一方面也作为小米内部数据集成平台的总线,支撑数据检索,OLAP分析,模型训练等离线业务。随着业务的发展,数据量也爆发,突破2万亿条/天,Tal
2019SACC专场7:基于大数据平台应用实践
万亿级消息背后:小米在消息队列的实践演讲简介:Talos是小米基于HDFS自研的分布式消息队列,一方面作为消息队列支持大数据、有品、推送、信息流等在线业务,另一方面也作为小米内部数据集成平台的总线,支撑数据检索,OLAP分析,模型训练等离线业务。随着业务的发展,数据量也爆发,突破2万亿条/天,Tal