全量同步 Elasticsearch 方案之 Canal
Canal 是阿里的一款开源项目,纯 Java 开发。基于数据库增量日志解析,提供增量数据订阅 & 消费,目前主要支持了 MySQL(也支持 mariaDB)。Canal 除了支持 binlog 实时 增量同步 数据库之外也支持 全量同步 ,本文主要分享使用 Canal 来实现从 MySQL 到 Elasticsearch 的全量同步;可通过使用 adapter 的 REST 接口手动触发 ETL 任务,实现全量同步。
ClickHouse 性能优化?试试物化视图
ClickHouse 是一个用于联机分析 (OLAP) 的列式数据库管理系统 (DBMS);目前我们使用 CH 作为实时数仓用于统计分析,在做性能优化的时候使用了 物化视图 这一特性作为优化手段,本文主要分享物化视图的特性与如何使用它来优化 ClickHouse 的查询性能。
第三方 API 对接如何设计接口认证?
在与第三方系统做接口对接时,往往需要考虑接口的安全性问题,本文主要分享几个常见的系统之间做接口对接时的认证方案。
如何基于 Security 实现 OIDC 单点登录?
OIDC 是 OpenID Connect 的简称,OIDC=(Identity, Authentication) + OAuth 2.0。它在 OAuth2 上构建了一个身份层,是一个基于 OAuth2 协议的身份认证标准协议。我们都知道 OAuth2 是一个授权协议,它无法提供完善的身份认证功能,OIDC 使用 OAuth2 的授权服务器来为第三方客户端提供用户的身份认证,并把对应的身份认证信息传递给客户端,且完全兼容 OAuth2。
Spring Boot 如何热加载 jar 实现动态插件?
本文介绍的插件化实现思路通过 共用 ClassLoader 和 动态注册 Bean 的方式,打通了插件与主程序之间的类加载器和 Spring 容器,使得可以非常方便的实现插件与插件之间和插件与主程序之间的 类交互,例如在插件中注入主程序的 Redis、DataSource、调用远程 Dubbo 接口等等。
Hyperledger Fabric 2.x 环境搭建
Hyperledger Fabric 是一个是开源的,企业级的,带权限的分布式账本解决方案的平台。Hyperledger Fabric 由模块化架构支撑,并具备极佳的保密性、可伸缩性、灵活性和可扩展性。Hyperledger Fabric 被设计成支持不同的模块组件直接拔插启用,并能适应在经济生态系统中错综复杂的各种场景。
Hyperledger Fabric 2.x 动态更新智能合约
在上一篇文章中分享了智能合约的安装与使用,如果业务有变更代码需要修改怎么办呢?本文分享如何对已安装的合约进行版本更新。
Hyperledger Fabric 核心概念
区块链网络主要有三种类型:公共区块链、联盟区块链,以及私有区块链;我们熟知的比特币、以太坊这些数字货币其实就是属于公共区块链平台;而今天要介绍的 Fabric 则是属于联盟链类型的;Fabric 是一个企业级的分布式账本技术平台,也是目前应用最广泛的区块链项目。
联盟链 Hyperledger Fabric 应用场景
这样整个过程使用目前传统技术来实现的话,相互之间的数据是 不透明 的,每个平台所产生的数据都只是保存在 各自 的数据库里面;例如淘宝保存的是订单数据,支付宝保存了支付记录,银行记录了扣款记录和余额;对于整条链路上的每个参与者来说数据是不透明的。
隐私计算 FATE - 多分类神经网络算法测试
二分类算法:是指待预测的 label 标签的取值只有两种;直白来讲就是每个实例的可能类别只有两种 (0 或者 1),例如性别只有 男 或者 女;此时的分类算法其实是在构建一个分类线将数据划分为两个类别。多分类算法:是指待预测的 label 标签的取值可能有多种情况,例如个人爱好可能有 篮球、足球、电影 等等多种类型。常见算法:Softmax、SVM、KNN、决策树。
隐私计算 FATE - 模型训练
本文分享基于 Fate 自带的测试样例,进行 纵向逻辑回归 算法的模型训练,并且通过 FATE Board 可视化查看结果。本文的内容为基于《隐私计算 FATE - 概念与单机部署指南》中部署的环境。
区块链Hyperledger Fabric 2.x 自定义智能合约
为了持续地进行信息的更新,以及对账本进行管理(写入交易,进行查询等),区块链网络引入了智能合约来实现对账本的访问和控制;智能合约在 Fabric 中称之为 链码,是区块链应用的业务逻辑。本文分享如何使用 Java 语言开发智能合约,以及合约的安装与使用。
Hyperledger Fabric 2.x Java 区块链应用
本文将使用 Java 代码基于 fabric-gateway-java 进行区块链网络的访问与交易,并集成 SpringBoot 框架。 Fabric Gateway SDK 实现 Fabric 的编程模型,提供了一系列简单的 API 给应用程序与 Fabric 区块链网络进行交互;
区块链隐私计算 FATE - 核心概念与单机部署
与传统数据使用方式相比,它不需要聚合各方数据搭建 数据仓库,联邦学习在联合计算建模的过程中,多方机构之间的数据是不会进行共享的,实现数据的 可用不可见;本文主要分享隐私计算平台 Fate 的相关基本概念,以及基于 Docker 的单机部署。
区块链隐私计算 FATE - 离线预测
Fate 的模型预测有 离线预测 和 在线预测 两种方式,两者的效果是一样的,主要是使用方式、适用场景、高可用、性能等方面有很大差别;本文分享使用 Fate 基于 纵向逻辑回归 算法训练出来的模型进行离线预测实践。