flink入门实战总结
随着大数据技术在各行各业的广泛应用,要求能对海量数据进行实时处理的需求越来越多,同时数据处理的业务逻辑也越来越复杂,传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在这种形势下,新型流式处理框架Flink通过创造性地把现代大规模并
各个大厂的机器学习平台概述
机器学习的核心是“使用算法解析数据,从中学习,然后对世界上的某件事情做出决定或预测”。这意味着,与其显式地编写程序来执行某些任务,不如教计算机如何开发一个算法来完成任务。有三种主要类型的机器学习:监督学习、非监督学习和强化学习,所有这些都有其特定的优点和缺点。人工智能正成为企业转型过程中的关键组成部
MySQL 四种事务隔离级别详解及对比--转
http://www.jb51.net/article/100183.htm接的隔离级别。它的语法如下:1SET[SESSION|GLOBAL]TRANSACTIONISOLATIONLEVEL{READUNCOMMITTED|READCOMMITTED|REPEATABLEREAD|SERIALI
记住,永远不要在MySQL中使用“utf8”-转
http://www.infoq.com/cn/articles/in-mysql-never-use-utf8-use-utf8最近我遇到了一个bug,我试着通过Rails在以“utf8”编码的MariaDB中保存一个UTF-8字符串,然后出现了一个离奇的错误:Incorrectstringval
mongodb索引--1亿条记录的查询从55.7秒到毫秒级别<补充版>
从头开始,验证mongodb的索引的好处。(window7环境下)下载mongodb服务器,并解压到d盘,并使用以下命令启动mongod--dbpathD:\mongodb\datamongo客户端Robo3T去官网下载,安装准备数据,条数为1亿publicstaticvoidmain(String
数据库新秀 postgresql vs mongo 性能PK
前几天看了一篇文章<HighPerformanceJSONPostgreSQLvs.MongoDB>发布在PerconaLiveEurope2017作者是<DominicDwyerWeiShanAng>,作者的观点是PostgreSQL更好,恰巧没有玩过postgresql,
mysql真的不能做搜索引擎吗?
家都对电商的商品查询并不陌生,比如我们想根据商品名称查询所有商品信息。有些技术的童鞋第一念头是搜索引擎;有些技术的童鞋第一念头是模糊查询,如like?(如果商品信息存放到mysql里,我们一般使用like查询)我们都知道,不同的场景决定了不同技术的使用场景也不同,那我们该如何选择呢?那我们先做个实验
spring boot多数据源配置(mysql,redis,mongodb)实战
使用SpringBootStarter提升效率虽然不同的starter实现起来各有差异,但是他们基本上都会使用到两个相同的内容:ConfigurationProperties和AutoConfiguration。因为SpringBoot坚信“约定大于配置”这一理念,所以我们使用Configurati
由mysql分区想到的分表分库的方案
在分区分库分表前一定要了解分区分库分表的动机。对实时性要求比较高的场景,使用数据库的分区分表分库。对实时性要求不高的场景,可以考虑使用索引库(es/solr)或者大数据hadoop平台来解决(如数据分析,挖掘,报表等)或者混合使用(如es+hbase/mongodb)。...分区解决冷热数据分离的问
如何在windows上玩转redis的最新特性?
想要了解redis的最新特性,可是windows下的可以安装的版本最高为3.2,想要验证redis的诸如stream特性的话,就无能为力了。解决方法之一在windows上安装虚拟机,然后再虚拟机上安装linux操作系统,如centos,ubuntu等,然后再其上面安装redis最新版本。如果从零开始
为什么delete后磁盘空间没有释放而truncate会释放?
背景因项目需求,需要清理一批旧数据,腾出空间给新数据,让同事负责这件事。料想会很顺利,但很快找到我,并告知在postgresql中把一张大的数据表删除掉了,查询表的size并没有改变。我震惊了,问他怎么删除数据表的数据的,他告诉我使用"DELETEFROMtable",然后使用下面的语句进行查询--
漫谈架构师之路的修仙之法
从小有一个武侠梦,长大从事了IT,空闲时间看了很多修仙小说。就萌生了一个想法:把IT之路和修仙之路联系到一起。于是参照<凡人修仙传>的各个修仙阶段,对比IT之路进行了对照,才有了这篇文章。无图无真相。大图太大,不易看清楚,下面分阶段展示一下:1.初入书院说明:1.1入门人的精力有限,总的
漫谈九品中正制和现阶段阶层分层
九品中正制产生的背景九品中正制是魏晋南北朝时期一种重要的官吏选拔制度。又名九品官人法,分为九个等级,作为政府选用官吏的依据。这一制度创始于曹魏,发展成熟于两晋,衰落于南北朝时期,废除于隋朝,随之科举制形成。现阶段的分层(自我娱乐),分为9层3大类引申程序员的9品,也可以这样分总结:哈佛大学著名政治学
匆忙--一个大龄十年老程序员战战兢兢的应对中年危机的2019年总结与2020年展望
背景2019年对一个大龄十年老程序员来说,是艰难的一年,不知道是不是整个it环境的普遍不景气,还是仅仅我们自己,反正架构调整和优化一直是主旋律,整个2019年都是战战兢兢,如履薄冰。为了应对大龄化和惨遭被优化,老猿只好做好本职工作的同时,可以探索一些新的可能,希望我的探索能对其他的程序员有一些借鉴。
RabbitMQ Management HTTP API--官方文档
IntroductionApartfromthishelppage,allURIswillserveonlyresourcesoftypeapplication/json,andwillrequireHTTPbasicauthentication(usingthestandardRabbitMQus
RabbitMQ Management HTTP API--官方文档
IntroductionApartfromthishelppage,allURIswillserveonlyresourcesoftypeapplication/json,andwillrequireHTTPbasicauthentication(usingthestandardRabbitMQus
common-httpclient 用户名密码认证示例
importjava.io.IOException;importjava.util.ArrayList;importjava.util.List;importorg.apache.commons.httpclient.DefaultHttpMethodRetryHandler;importorg.a
How To Cluster Rabbit-MQ--reference
ForewordThisexplanationofclusteringRabbit-MQassumesthatyou’vehadsomeexperiencewithRabbit-MQ.AtleasttothepointofbeingabletogetRabbit-MQupandrunningandp
RabbitMQ和kafka从几个角度简单的对比--转
业界对于消息的传递有多种方案和产品,本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比,在应用场景方面,RabbitMQ,遵循AMQP协议,由内在高并发的erlanng语言开发,用在实时的对可靠性要求比较高的消息传递上。kafka是Linkedin于2010年12月份
详解 Spring 3.0 基于 Annotation 的依赖注入实现--转载
使用@Repository、@Service、@Controller和@Component将类标识为BeanSpring自2.0版本开始,陆续引入了一些注解用于简化Spring的开发。@Repository注解便属于最先引入的一批,它用于将数据访问层(DAO层)的类标识为SpringBean。具体只