导读：本文将为大家分享联邦学习在城市应用实战的一些经验。

主要内容包括：

联邦学习与隐私计算是什么
联邦学习架构
联邦学习在城市中的案例
现状与未来

分享嘉宾｜吕长彬京东科技软件开发工程师

编辑整理｜李晓网易

出品社区｜DataFun

01

联邦学习与隐私计算是什么

1. 隐私计算

隐私计算是一种在数据不可见的情况下，让信息进行有价值流通的工程体系。

隐私计算应用分为可信计算环境、多方安全计算、联邦学习三个主要的流派。

可信计算环境：主要是硬件方面的技术。其性能、通用性和安全性都比较高，但缺点是开发部署困难，需要硬件厂商的支持。
多方安全计算：在无可信第三方情况下，通过多方安全完成某种协同计算，也就是参与者各完成计算的一部分，最后的结果是由部分参与者掌握或公开的共享，主要优点是安全性高，通用性高，但计算和通信的开销比较大。多方安全计算包含了秘密分享、不经意传输、混淆电路、零知识证明、同态加密等技术，各项技术的优缺点可以参考上图中的表格。
联邦学习：结合了密码学和分布式计算，基于可信环境实现多方协作的机器学习，在人工智能领域开辟了新的天地。联邦学习是综合运用多方安全计算、差分隐私、同态加密方法，用于 AI 模型训练和预测。联邦学习在性能、通用性和安全性上都是中等，可信方可以采用可信计算环境。

2. 联邦学习

通过一个业务场景来说明联邦学习是什么。数据公司 A 与数据公司 B 共同合作提升风控模型精度。合并方式包括线下合并和线上联合建模。

模型训练：

02

联邦学习架构

1. 联邦学习的功能架构

应用场景：主要包括信用、金融、营销、公安。
数据服务：是对上层应用的支撑，包括特征库、模型库、画像库、标签库、指标库。
跨域应用：包括跨域训练、跨域推理、跨域分析、数据共享。
安全加密：涉及到全链路加密、硬件加密，以及安全多方计算。
联邦算法：支持联邦 Boosting、联邦森林、联邦神经网络、联邦隔离森林、联邦极端森林、联邦逻辑回归、联邦线性回归、混合算法。
特征工程：主要是对相关算法的支撑与抽取，包括 ID Mapping、联邦数据清洗、联邦数据采样、联邦特征分箱、联邦特征转换、联邦特征选择、OneHot Encoder。
数据接入：底层数据包括本地、MySQL、API、Oracle、HDFS 等多种数据源的支撑。
项目管理：包括创建成员角色等基础管理。
模型生命周期管理：在模型整个训练周期内，包括验证报告、模型发布、版本管理、推断记录、部署等功能。
训练任务周期管理：包括状态同步、状态启停、实时日志、流量监控。

2. 联邦学习的技术架构

联邦学习的技术架构包括应用层、服务层、任务训练层、算法层、数据预处理、数据源、运行环境。

应用层：包含地块打分、信用评级、受灾应急、金融服务、安全交换服务等服务场景，有联邦查询、联邦数字网关和联邦知识融合提供支撑。
服务层：包含从应用模型，到推理，再到数据共享服务。
任务训练层：包括多方协同、组件通讯、任务管理、信息仲裁、监控和日志。底层有调度系统来支撑。
算法层：支持八大基础联邦算法。
数据预处理层：包括数据源的管理、元数据、数据 ETL，到数据异构交换，最后输入计算引擎进行存储和计算。
数据源：支持所有主流数据源。
运行环境：适配云主机、物理机、虚拟机和容器云平台等环境。

3. 联邦学习——数据流转

我们还是通过一个具体场景去了解一下联邦学习数据流转的过程。

数据公司 A 和数据公司 B 进行风控模型的联合训练。黄色网关节点 A就是数据公司 A，蓝色网关节点 B 是数据公司 B。仲裁节点是对相应的数据进行整体的对齐，包括数据交换。为什么要独立出仲裁节点？主要的目的是为了安全，因为数据对齐和数据交换存在一些隐含的数据保密的安全措施，有一些做法是把仲裁节点合并到网关节点 A，由它进行联合训练。网关节 A 相当于主节点进行训练，把网关节点 B 收集到节点 A 上。而我们把仲裁节点独立出来，可以交给第三方托管去安全的运行。

第一步，数据导入，网关节点 A 和网关节点 B 同时把数据导入到本地节点计算框架，交由模型进行处理。第二步，对发送的数据进行预处理对齐，以及对训练梯度的保存。第三步，模型通过 SDK 操作函数，之后进行加密传输。第四步，交换数据临时加密存储。第五步，到达仲裁节点，进行交换数据的存储，储存之后仲裁节点会把相应的数据导入本地分布式计算进行存储与计算。第六步，把相应的数据通过 SDK 再加密传回网关节点 A 和网关节点 B。第七步，它们会进行相关的加密数据存储。最后是把相应的结果数据存储都保存在对象层进行数据存储。存储的文件可以作为推理或数据共享的方式出去。

4. 联邦学习——安全策略

（1）传输安全

多种加密策略：

普通模式：OAuth2，RSA+动态 AES
加强模式：金融级加密（ACES 内部自研）、支持国密算法，任务级别隔离
HTTPS 协议进行网络安全通信传输
IP 白名单校验

（2）硬件安全

SGX 硬件级安全技术，模型存放于可信执行环境，免受软件攻击和内存访问攻击。

（3）数据存储和计算安全

数据计算过程加密混淆，即用即销
数据存储静态加密，生命周期完成及时删除

（4）数据安全

HASH+随机码+RSA安全数据对齐方式，采用支持同态加密、差分隐私、混淆电路等多种、安全多方计算加密方式。

（5）部署安全

一键部署：安装包混淆，目录摘要与授权。
MD5 进行一致性比较，防止部署过程中篡改。

03

联邦学习在城市中的案例

1. 城市中案例——应用场景

城市中的案例主要包括信用打分、精准营销、风险管理、智能选址等场景。从上图中可以看出更多的典型应用通过联邦学习打破数据孤岛，实现联合建模。

2. 城市中案例——风控场景

金融业务运作中，风控是必不可少的，如果风控模型不完善，坏账则会增加造成损失，联邦学习对不同平台的多维度数据学习完善模型，达到更精准目的。城市中的风控场景针对金融业务运作流程如下图所示。

3. 城市中案例——智能选址

智能选址项目是京东和运营商联合建模，进行地块智能打分的实际场景。运营商对营业厅的选址是基于经验和成本，为了让营业厅选址更加合理，京东的综合物流等数据，可以与运营商形成知识互补和模式互补。原始数据都保留在本地，交互的只是相关的梯度模型，共同对地址打分。通过与运行商合作，帮助运营商有效的对地块进行评估，多维度完成选址。

4. 城市中案例——信用城市

每个城市都包括居民衣食住行的数据，企业投贷融价的数据，以及政府医批企政数据，这些数据是比较多的。政府企业税务数据与企业数据进行联邦学习，通过信用卡评分的模型来达到企业信用的输出。通过在城市中部署城市操作系统，根据城市的信用数据，对企业信用进行评估，完成打分，帮助城市有效利用信用分。

04

现状与未来

1. 现状

（1）联邦学习的框架和标准化制定

IEEE 联邦学习标准项目，首批核心成员单位制定标准。
国内最早进行联邦学习技术研究、产品化落地的企业之一。

（2）联邦学习平台产业化建设

联邦数字网关是智能城市操作系统联邦学习平台。

（3）对多方安全计算的积极探索

支持同态加密、差分隐私、混淆电路等多种、安全多方计算加密方式。

IEEE 联邦学习标准项目是国际上首个针对人工智能协同技术框架订立标准的项目。我司团队作为国内最早进行联邦学习技术研究、产品化落地的企业之一，作为首批核心成员单位制定标准。

我们的关键技术自主研发，包括：

底层通信协议
联邦学习算法
11 项专利申请、3 篇国际论文、1 项软著、1 项安全资质

2. 未来展望

丰富的数据资源是联邦学习最大的基石
打破传统企业机构的数据边界，利用联邦学习达到数据知识共享
发现用户需求并将联邦学习产业应用落地
达成各行业联手，共建全行业的联邦学习生态

ITPub博客

联邦学习城市应用实战指南

最新文章