“同盾相信,随着相关产品和产业标准不断发展、完善,隐私计算在保护用户数据隐私、满足合法合规的基础上进行机器学习,提供强有力的技术支持。希望我们一起携手努力,围绕数字经济与人工智能技术,共同创造AI无限想象的商业化未来生态”,同盾科技人工智能研究院联邦学习算法专家表示。
近日,由DataFun主办的DataFunSummit“智能风控技术峰会”成功举办。峰会邀请了来自业界的40余位嘉宾,从风控系统的架构到智能风控核心算法,再到内容、金融、交易、反作弊等实践场景,进行深入的交流与探讨。
在联邦学习论坛上,同盾科技人工智能研究院联邦学习算法专家以“隐私计算之联邦三部曲”为题,分享了同盾在隐私计算领域最新研究理论与成果。隐私计算技术的热潮吸引了来自国内外产学研领域的广泛关注,来自光大科技、腾讯云、阿里等知名机构专家受邀演讲,与超过3000名现场听众及数万名线上观众交流观点。
行业痛点
随着大数据技术的发展,人们每天的活动产生了大量的数据,这些数据被很多平台收集和使用。而在价值产生的过程中,需要对数据进行严格保护。但数据分布在不同的企业、机构,形成了一个个的数据“孤岛”。为挖掘数据中蕴藏的巨大价值,消除行业数据孤岛现象,让数据相互之间联合协作,必然是未来发展趋势。隐私计算应运而生,成为数据协作过程中保护多方数据权益,以及解决跨机构间的数据孤岛问题的标准解决方案。
隐私计算的商业化落地中,因不同厂商技术方案和平台化产品的差异,数据呈现出由“孤岛”转向“数据群岛”的现象。联邦学习作为隐私计算的重要分支,随着联邦平台产品的不断增加,未来的联邦生态网络中将呈现一个百花齐放、百家争鸣的状态,进而也会导致数据从“孤岛”转变成“群岛割裂”局面。目前,市场中的开源框架、主流研究聚焦在联邦算法层级的研发,并不能彻底解决群岛割裂的瓶颈。
什么是联邦三部曲?同盾如何应用落地
为解决不同联邦系统的互联互通问题,以及在更大范围内建立联邦生态网络,同盾科技人工智能研究院提出“开放联邦系统互联参考模型”,即FIRM (open Federated system Interconnection/Reference Model),该系统分为四层:通信层、数据交换层、算法层和应用层。
FIRM将每层的功能定义与实现细节区分开来,使它具有普遍的适应能力。理论上,FIRM中每一层都建立在它的下层之上,向它的上一层提供一定的服务,而把如何实现这一服务的细节对上一层加以屏蔽。为此,需要针对每一层定义标准化的协议规范,并在协议中详细描述该层所提供的服务和动作,以保证提供有效的服务。
例如,2020年同盾科技人工智能研究院发布并开源的联邦数据安全交换(FLEX)协议是FIRM体系中数据交换层的一种实现范例;同时,我们也即将发布FIRM体系算法层和应用层的参考实现:Caffeine和SAFE。
在FIRM理论体系的工业化落地过程中,同盾科技人工智能研究院逐步形成以协议、算法、应用共同组成的“联邦三部曲”方法论,即联邦协议、联邦算法和联邦应用,三者之间内部独立,又相互关联。
※联邦协议
联邦协议包括FIRM理论体系中的通信层、数据交换层,是参与方进行安全数据交换的基础。
联邦协议FLEX(Federated Learning EXchange)是一套标准化的联邦通信协议。FLEX协议约定了联邦过程中参与方之间数据交换顺序,以及在交换前后采用的数据加解密方法。就像HTTP协议承载了我们今天看到的极度丰富的互联网应用一样,联邦协议也是建立联邦学习应用所必不可少的基础协议,有了这个协议才能使得联邦学习应用得以标准化,使得联邦学习过程中的数据安全、模型性能得到有效的保障。
※联邦算法
有了底层的联邦协议的支持,就可以构建对应联邦算法来解决实际的问题了。这些算法通常都是比较经典的机器学习模型,例如逻辑回归、决策树等模型的联邦化版本。联邦算法在功能上,可以实现联邦计算、联邦共享、联邦学习、联邦预测及联邦推理。具体来说,联邦算法通过算子库提供丰富的算子,支撑在信息层、模型层、认知层和知识层这四个层次的联邦。
※联邦应用
联邦应用是为快速接入业务而设计,对应着FIRM体系中的应用层,包括了专家经验、场景模版等模块,并支持开发者模式,还可以为客户需求专门定制功能。
联邦应用面向业务场景,封装了满足业务场景所需的联邦算子模块,并对联邦算子模块进行串联,形成完整的业务流,服务于联邦业务各场景。
联邦学习需要用到相对复杂的密码学运算,其计算和通信开销会超过实际应用能承受的范围,导致无法实现在大规模数据上的应用。提升其计算和通信效率是当下技术演进的主流方向。
针对引起联邦通信与学习效率瓶颈的因素(包括网络和通信协议、密文的数据规模、密文的处理速度、加密解密的速度),同盾自主研发了离子键 Ionic Bond轻量级高速的联邦通信框架。该框架在保证信道安全可靠前提下,有效解决隐私计算的通信效率瓶颈。支持GB级别的数据传输,既能保证服务的快速,又能保持服务的稳定和弹性。并且,可以适配丰富的联邦学习通讯模式,针对性不同模式进行优化,为算法提供足够支撑。经过实验验证,采用Ionic Bond相较于开源组件的效率上可提高2-6倍,实现了提升联邦算法通信效率安全与性能的平衡双赢。
同盾科技“智邦知识联邦平台”是联邦三部曲的商业化平台产品,是基于FIRM理论体系的理念设计的。目前,该平台已在金融、保险、政务等领域投入使用,如同盾与电网企业通过智邦平台合作,在保护数据隐私的基础上分析企业的电力使用情况,为中小微企业提供征信判断依据,帮助银行做好中小微企业的信用风险分析;保险金融营销领域,帮助某银行从海量客群中挖掘潜在保险用户,有效提升银保营销转化率,提高保险销量产品和渠道的多样性。
相比成熟的理论体系和丰富的技术实现框架,隐私计算在实际生产的应用还处于初始发展状态。但同盾相信,随着相关产品和产业标准不断发展、完善,隐私计算在保护用户数据隐私、满足合法合规的基础上进行机器学习,提供强有力的技术支持。希望我们一起携手努力,围绕数字经济与人工智能技术,共同创造AI无限想象的商业化未来生态。