643 浏览基于强化学习的无线网络通信计算资源调配理论与方法
摘要：当前,移动终端和网络数据流量爆炸式增长,各类新兴业务不断涌现。为应对这些趋势带来的挑战,异构无线网络受到广泛关注。随着边缘计算、人工智能和网络功能虚拟化等技术的发展,未来异构网络将呈现云边协同、内生智能、网络可重构等特征。为充分发挥未来异构网络的性能潜力,本文对其中的资源调配问题进行了深入研究,主要工作和创新包括:针对云边异构无线网络场景,为克服通信、计算和缓存资源紧密耦合导致资源优化问题难求解的挑战,提出了基于联盟博弈和多智能体强化学习的多维资源联合调配方法。首先,对云边异构网络中考虑业务缓存的计算卸载场景进行了建模,接着考虑到缓存资源相比通信和计算资源在更大的时间尺度上进行调整,构建了两时间尺度资源优化问题。其中,在大时间尺度上通过优化业务缓存最小化用户时延的期望和网络缓存成本的加权和,而在小时间尺度上则对通信和计算资源分配进行优化。为求解该问题,提出了固定业务缓存下的基于联盟博弈的通信计算资源调配方法以及基于多智能体强化学习的缓存资源优化方法。后者可克服长期优化问题无显示形式且缓存变量非连续的挑战,实现时延和缓存成本的良好折中。此外,本文对所提方法的复杂度、收敛性和最优性进行了严谨分析,并通过仿真展示了所提方法的优越性以及关键参数对系统性能的影响。针对开放式异构无线网络场景,考虑到软定义基站功能在云边间的划分对网络资源调配具有潜在影响,提出了基于匹配理论和多智能体强化学习的基站功能划分和通信计算资源联合优化方法。首先,考虑到基站功能划分和通信计算资源调配的时间尺度差异性,构建了两时间尺度优化问题,其中在小时间尺度上优化通信和计算资源以最小化用户时延和系统能耗的加权和,而在大时间尺度上则对基站功能划分进行优化,目标为最小化用户时延和系统能耗加权和的期望。接着提出了固定基站功能划分下基于匹配理论的低复杂度通信和计算资源调配方法,然后利用多智能体强化学习确定基站功能在云边间的长期划分方案。通过对回报函数的合理设计,该方法可实现对用户动态业务请求和信道状态的自适应。最后,通过仿真展示了灵活开放异构无线网络架构相比纯集中式和纯分布式架构的性能优势。综上,本文针对不同异构网络场景下的资源调配问题进行了研究,提出了强化学习和博弈理论相结合的资源调配方法,为利用机器学习技术提升未来异构网络性能提供了一定的理论基础。
关键词：资源调配
文章目录
摘要
ABSTRACT
第一章 绪论
1.1 研究背景
1.2 国内外研究现状
1.2.1 通信资源调配
1.2.2 计算资源调配
1.2.3 多维资源联合调配
1.2.4 现有研究的不足
1.3 论文主要内容与结构安排
1.3.1 论文主要工作及创新点
1.3.2 论文结构安排
第二章 相关理论方法介绍
2.1 强化学习
2.1.1 多智能体强化学习
2.1.2 随机学习自动机算法
2.2 博弈论
2.2.1 联盟博弈
2.2.2 匹配博弈
第三章 云边异构无线网络中考虑业务缓存的资源调配
3.1 引言
3.2 系统模型和问题构建
3.2.1 系统模型
3.2.2 优化问题构建
3.3 基于联盟博弈的通信和计算资源联合调配方法
3.3.1 算法设计
3.3.2 算法特性分析
3.4 基于多智能体强化学习的缓存资源调配方法
3.4.1 算法设计
3.4.2 算法特性分析
3.5 仿真结果与分析
3.5.1 基本仿真设置
3.5.2 通信和计算资源调配算法仿真
3.5.3 缓存资源调配算法仿真
3.6 本章小结
第四章 开放式异构无线网络中考虑基站功能划分的资源调配
4.1 引言
4.2 系统模型和问题构建
4.2.1 时延模型
4.2.2 能耗模型
4.2.3 优化问题构建
4.3 基于匹配理论的通信和计算资源联合调配方法
4.3.1 算法设计
4.3.2 算法特性分析
4.4 基于多智能体强化学习的基站功能划分方法
4.4.1 算法设计
4.4.2 算法特性分析
4.5 仿真结果与分析
4.5.1 基本仿真设置
4.5.2 通信和计算资源调配算法仿真
4.5.3 基站功能划分算法仿真
4.6 本章小结
第五章 总结和展望
5.1 主要工作及创新点
5.2 未来研究展望
参考文献
[1]基于5G小基站的无线接入网开放架构及分析[J]. 刘洋,杨涛,刘海涛,杨峰义. 移动通信. 2020(04)
[2]Artificial Intelligence-Empowered Resource Management for Future Wireless Communications: A Survey[J]. Mengting Lin,Youping Zhao. 中国通信. 2020(03)
[3]O-RAN:致力于ICDT融合 打造开放与智能的无线接入网[J]. 崔春风,段然,王桂珍. 通信世界. 2019(07)
