微服务为什么要使用网关服务
客户端直接与各个微服务通信的架构,会有哪些问题? 使用网关服务有哪些优点,可以对 API 做什么控制?
微服务简介
1.单体应用架构存在的问题 2.微服务架构解决单体应用问题 3.微服务架构优点与挑战
Scrapy 的初步认识
Scrapy 是一个高级的 Python 爬虫框架,它不仅包含了爬虫的特性,还可以方便的将爬虫获取的数据保存到 csv、json 等文件中。
Kafka常见问题总结
1.会不会丢消息? 2.Offset 怎么保存? 3.Consumer 重复消费问题怎么处理? 4.如何保证消息的顺序? 5.数据倾斜怎么处理? 6.一个 Topic 分配多少个 Partiton 合适以及修改 Partiton有哪些限制?
Flume案例——日志分析采集系统
大数据平台每天处理业务系统产生的大量日志数据,这些系统需要具有以下特征: 1.构建业务系统和日志分析系统的桥梁,并将它们之间的关联解耦; 2.支持近实时的在线分析系统和类似于 Hadoop 之类的离线分析系统; 3.具有高可扩展性;
Flume安装及配置
Flume 提供了大量内置的 Source、Channel 和 Sink 类型。而且不同类型的 Source、Channel 和 Sink 可以自由组合—–组合方式基于配置文件的设置,非常灵活。
Flume核心概念
Flume是一个分布式、可靠、高可用的服务,能够将不同数据源的海量数据进行高效收集、移动,最后存储到一个中心化数据存储系统(HDFS、 HBase等)中,适应各种方式日志收集并支持 failover 和负载均衡。
Kafka进阶
1.Message delivery guarantee 分场景进行可能性的描述 2.Partition的重要性及在什么情况下会Rebalance 3.Kafka Stream介绍 4.Kafka Stream WordCount的demo
Spark快速入门-3-Spark的算子总结
Spark的核心算子认识
Spark快速入门-2-Spark的编程模型
Spark的编程模型
Spark on Yarn Job的执行流程简介
Spark系统开始~
Scala快速入门系列
Scala是运行在JVM上一门语言。开发效率非常高、语法丰富简洁,三两行Scala代码能搞定Java要写的一大坨代码。
Scala快速入门-11-常用集合操作
常用集合操作
Scala快速入门-10-模式匹配与样例类
模式匹配与样例类
Scala快速入门-9-高阶函数
在Scala中,函数是“头等公民”
Scala快速入门-8-特质
特质使Scala的类更灵活、强大
Scala快速入门-7-继承
继承类 extends 重写方法时必须用override 只有主构造器可以调用超类的主构造器 重写字段 抽象类
Scala快速入门-6-单例对象及伴生对象
类可以有一个同名的伴生对象
Scala快速入门-5-类定义
每个类都有一个主构造器,这个构造器和类的定义“交织”在一起,它的参数直接成为类的字段,主构造器执行类体中所有的语句
Scala快速入门-4-常用映射和元组操作
常用映射和元组操作