617 浏览无线通信网络中的联邦学习架构与算法设计
摘要：大数据时代背景下,机器学习（Machine Learning,ML）的兴起推动了人工智能技术的进一步发展、普及和应用。而随着数据量的指数级增长、神经网络（Neural Network,NN）规模的膨胀及用户对数据隐私重视程度的与日俱增,传统集中式学习框架的弊端逐渐显现,致使其无法满足实际场景对于算力、运力等多方面的需求。联邦学习（Federated Learning,FL）的应运而生则有效缓解了上述困境,其在充分保障用户数据隐私的前提下,可通过促使多方设备协同合作高效地完成相应学习任务下模型的训练过程。但与此同时,一方面,受用户偏好等因素影响,FL系统内数据往往以非独立同分布（Non-Independent and Identical Distribution,Non-IID）形式散布于各用户设备（User Equipment,UE）上,致使其训练所得全局模型易出现收敛偏差;另一方面,考虑到系统内有限频谱资源与大量用户群体之间的矛盾,在无线通信网络中部署大规模FL系统将面临巨大的通信压力,使其难以被实际应用。基于上述背景,本文针对无线通信网络中FL系统所面临的各种挑战,就其架构与算法设计开展研究,我们的主要研究内容如下:首先,我们结合FL系统中的Non-IID问题及通信问题,设计了一种由宏基站（Macro Base Station,MBS）-小基站（Small Base Station,SBS）-UE组成的分级FL架构,其通过引入簇内局部模型融合与小区内全局模型融合两级模型融合机制可大大减少各用户与中心端MBS频繁通信的需求。同时,该架构通过联合优化系统内模型训练的学习增益与通信时延,可大幅提升FL系统的整体训练效率。其次,针对分级FL系统部分遗留问题,我们设计了一种基于强化学习（Reinforce-ment Learning,RL）的模型融合策略,用以解决FL系统内联合训练域与目标数据域不匹配的问题。在对相关问题进行数学建模后,通过引入深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）网络,并结合FL系统特性对RL训练过程中各项参数进行合理设计,我们提出了由UE端和基站（Base Station,BS）端组成的两级学习架构,用以有效提升训练所得全局模型在目标数据域上的泛化能力。最后,考虑到FL系统内的异构性,我们设计了一种基于异步更新的FL系统和其相应的训练机制。为解决异步式系统中常见的信息过时问题（Staleness Issue）,一方面,我们通过在BS端引入超参数控制系统执行全局更新的时机,以进一步达到调控系统异步程度的目的;另一方面,我们针对该异步式FL架构设计了专门的中心端模型融合算法,其在充分保障全局模型泛化能力得以持续提升的同时,通过平衡各用户对全局模型的影响占比和其样本占比之间的关系可有效避免模型出现收敛偏差等问题。综上所述,我们提出的同步式及异步式FL架构,均联合考虑了如何提升全局模型最终的表现性能以及如何降低系统在训练过程中所引入的通信代价。针对本文所设计的每一个FL架构及算法,我们均通过进一步的仿真实验将其与相关工作进行了横向对比,以充分验证其设计合理性与有效性。
关键词：联邦学习;无线通信网络;
文章目录
致谢
摘要
Abstract
缩略语表
1 绪论
1.1 课题研究背景及意义
1.2 国内外研究现状
1.2.1 FL架构及算法概述
1.2.2 Non-IID挑战
1.2.3 通信挑战
1.3 论文主要内容和结构安排
2 基于自适应分簇的分级FL系统
2.1 引言
2.2 分级FL系统建模
2.3 优化问题构造
2.3.1 学习损失构造
2.3.2 通信损失构造
2.3.3 优化算法设计
2.4 仿真分析
2.4.1 采样算法性能评估
2.4.2 模型收敛性能评估
2.5 本章小结
3 基于RL的FL模型融合算法设计
3.1 引言
3.2 系统建模
3.3 RL算法设计
3.3.1 DDPG背景介绍
3.3.2 DDPG参数设计
3.4 仿真分析
3.4.1 环境状态s~t合理性分析
3.4.2 模型收敛性能分析
3.5 本章小结
4 基于异步更新的FL系统设计
4.1 引言
4.2 异步式FL系统模型及流程设计
4.2.1 异步式FL框架训练流程
4.2.2 全局更新的先决条件
4.2.3 异步式FL系统时延建模
4.3 全局模型融合算法设计与优化
4.3.1 问题构造
4.3.2 信息分布矩阵构建
4.3.3 融合权重优化
4.4 仿真分析
4.4.1 R及 N_(th)影响分析
4.4.2 用户计算性能异构性影响分析
4.5 本章小结
5 总结与展望
5.1 工作总结
5.2 研究展望
参考文献
[1]Federated Learning: Challenges, Methods, and Future Directions[J] . Tian Li,Anit Kumar Sahu,Ameet Talwalkar,Virginia Smith. IEEE Signal Processing Magazine . 2020 (3)
[2]Federated Learning via Over-the-Air Computation[J] . Yang Kai,Jiang Tao,Shi Yuanming,Ding Zhi. IEEE Transactions on Wireless Communications . 2020 (3)
[3]FedHealth: A Federated Transfer Learning Framework for Wearable Healthcare[J] . Yiqiang Chen,Xin Qin,Jindong Wang,Chaohui Yu,Wen Gao. IEEE Intelligent Systems . 2020 (99)
[4]A Secure Federated Transfer Learning Framework[J] . Yang Liu,Yan Kang,Chaoping Xing,Tianjian Chen,Qiang Yang. IEEE Intelligent Systems . 2020 (99)
[5]SAFA: a Semi-Asynchronous Protocol for Fast Federated Learning with Low Overhead[J] . Wentai Wu,Ligang He,Weiwei Lin,Rui Mao,Carsten Maple,Stephen A. Jarvis. IEEE Transactions on Computers . 2020 (99)
[6]Robust and Communication-Efficient Federated Learning From Non-i.i.d. Data.[J] . Sattler Felix,Wiedemann Simon,Muller Klaus-Robert,Samek Wojciech. IEEE transactions on neural networks and learning systems . 2019 (9)
[7]Privacy-preserving cloud computing on sensitive data: A survey of methods, products and challenges[J] . Josep Domingo-Ferrer,Oriol Farràs,Jordi Ribes-González,David Sánchez. Computer Communications . 2019
[8]Adaptive Federated Learning in Resource Constrained Edge Computing Systems.[J] . Shiqiang Wang,Tiffany Tuor,Theodoros Salonidis,Kin K. Leung,Christian Makaya,Ting He 0001,Kevin Chan 0001. IEEE Journal on Selected Areas in Communications . 2019 (6)
[9]Federated Learning-Based Computation Offloading Optimization in Edge Computing-Supported Internet of Things.[J] . Jianji Ren,Haichao Wang,Tingting Hou,Shuai Zheng,Chaosheng Tang. IEEE Access . 2019
[10]Lifelong Federated Reinforcement Learning: A Learning Architecture for Navigation in Cloud Robotic Systems.[J] . Boyi Liu,Lujia Wang,Ming Liu 0001. IEEE Robotics and Automation Letters . 2019 (4)
