723 浏览面向下一代移动通信网络的智能频谱共享机制与算法研究
摘要：自上世纪七十年代以来,移动通信技术发展迅猛,从仅能承载语音信息的第一代移动通信技术发展到现今已全面改变人们生活及工作方式的第五代移动通信技术,为人们带来了前所未有的便捷。当前,各类智能移动终端快速普及,新兴移动应用层出不穷,导致流量需求爆炸式增长,进而对移动通信网络带来了巨大挑战。与此同时,移动通信所依赖的频谱资源却变得越发稀缺与昂贵,无法通过使用更多的频谱来增加网络容量。越来越大的供需缺口产生了严重的频谱赤字问题。为了解决这一问题,频谱共享技术应运而生,其主要思想是打破传统的频谱固化配置模式,让多个网络通过灵活的频谱接入、资源调度等手段来共享相同的频谱,从而大幅提高频谱利用率和整体网络容量。然而,共享频谱通常会造成复杂的网络间干扰,令用户服务质量（Quality of Service,Qo S）变得难以保障,也增加了无线资源管理的难度。随着移动通信网络朝着业务多样化和组网异构化的方向发展,用户Qo S的不确定性以及进行复杂资源配置所需的高昂开销正成为实现频谱共享的两大障碍。本文从Qo S保障和资源配置的高效决策两方面入手,利用近年来快速发展的人工智能技术,深入开展面向下一代移动通信网络的智能频谱共享机制与算法研究,主要包括以下四部分内容:（1）面向Qo S保障的非授权频段频谱接入机制与跨层资源协同;（2）基于强化学习的非授权频段异构网络分布式资源协同;（3）基于频谱特征学习的非授权频段频谱接入策略;（4）基于深度强化学习（Deep Reinforcement Learning,DRL）的终端直通异构网络分布式干扰协调。具体研究内容及创新点概括如下:首先,本文研究了非授权频段中面向Qo S保障的频谱接入机制与跨层资源协同。针对蜂窝网络与另一现存网络共享使用非授权频段的场景,本文首先为蜂窝网络设计了先听后发（Listen Before Talk,LBT）的频谱接入机制,然后通过将频谱竞争接入过程建模成马尔科夫链,从速率和时延两方面对不同网络的用户Qo S指标进行了量化分析。本文进而定义了一个跨层资源协同问题,通过为有Qo S需求的用户精确地配置关联策略、介质访问控制（Medium Access Control,MAC）层的传输时间以及物理层的子载波分配和发送功率,来最大化蜂窝网络可接入并满足Qo S需求的用户数。本文最终提出了集中式协作的跨层资源协同算法来求解该问题。仿真结果证实了该算法能够为用户提供有效的Qo S保障,并且也揭示了各Qo S指标之间存在的折中关系,为实际的网络部署提供参考。其次,考虑到集中式协作的频谱共享方案容易产生较大的计算及信令开销,本文继而面向频谱公平共享与高效利用问题,针对非授权频段异构网络开展了基于强化学习的分布式资源协同研究,提出了一个具有主从层次结构的双层分布式智能资源协同框架。在该框架内,本文将蜂窝基站和用户建模成智能体,利用强化学习对传输时间和用户关联策略进行分布式决策和优化,以保证频谱共享公平性的同时,最大化非授权频段的归一化速率。仿真结果表明,本文提出的基于强化学习的分布式资源协同算法能够快速收敛并逼近最优性能,且可以跟随网络环境变化进行自适应调整。再次,考虑到非授权频段异构网络在实际中可能存在难以进行直接协作的场景,本文研究了基于频谱特征学习的频谱接入策略。首先,本文为蜂窝网络设计了轮询的频谱接入机制,将复杂的频谱共享问题转变为简单的传输时间优化问题。接着,通过分析蜂窝网络的传输时间与现存网络的流量需求对频谱特征的影响,本文提出使用频谱特征来间接表征现存网络的流量情况。最后,本文将蜂窝基站建模成智能体,设计了基于DRL的算法来学习和分析频谱特征的变化规律以及与之关联的隐含信息,从而能够智能地决策传输时间,在最大化蜂窝网络的归一化速率的同时,满足现存网络的流量需求。仿真实验证实了该算法能够动态跟踪现存网络的流量需求并据此优化决策合适的频谱接入策略,其性能接近理想协作下的最优穷搜算法性能。最后,本文针对更为典型的终端直通异构网络在有限协作下的频谱共享问题,设计了基于DRL的分布式干扰协调方案。具体地,本文设计了一个分布式决策与信息获取框架,令各个用户能够在实际的信令交互时延与开销限制下获得局部和过时的网络信息。通过将各个用户建模为自主决策的智能体,本文设计了基于DRL的分布式干扰协调算法,让各个智能体使用DRL来学习和分析自身无线环境的变化规律以及信息的相关性,从而能够仅用自身的有限信息作出面向网络整体目标的最优决策。仿真结果证实了该算法的有效性,其性能接近理想协作下基于分式规划的传统最优化算法的性能。同时,仿真结果也揭示了所提算法的信令开销与可达性能之间的折中关系。
关键词：频谱共享;资源优化;
文章目录
摘要
abstract
缩略词表
第一章 绪论
1.1 研究背景
1.2 频谱共享技术概况
1.2.1 协作频谱共享
1.2.2 非协作频谱共享
1.3 国内外研究现状
1.3.1 蜂窝异构网络频谱共享技术
1.3.2 非授权频段频谱共享技术
1.4 研究动机与意义
1.5 主要研究内容
1.6 主要贡献与创新点
1.7 本文组织结构
第二章 基础理论知识
2.1 最优化理论
2.1.1 原始-对偶方法
2.1.2 分式规划
2.2 强化学习
2.2.1 马尔科夫决策过程
2.2.2 无模型强化学习
2.2.3 深度强化学习
2.2.4 多智能体强化学习
第三章 面向QoS保障的非授权频段频谱接入机制与跨层资源协同
3.1 引言
3.2 系统模型
3.2.1 系统介绍
3.2.2 现存网络MAC协议
3.2.3 蜂窝网络MAC协议
3.3 QoS指标量化
3.3.1 马尔科夫链分析
3.3.2 速率
3.3.3 时延
3.4 问题定义
3.5 跨层资源协同算法
3.5.1 给定用户关联策略的资源优化配置
3.5.2 用户关联策略优化
3.5.3 算法设计及复杂度分析
3.6 仿真实验与结果分析
3.6.1 MAC层仿真与QoS指标折中分析
3.6.2 算法仿真与性能分析
3.7 本章小结
第四章 非授权频段异构网络中基于强化学习的分布式资源协同
4.1 引言
4.2 系统模型
4.2.1 系统介绍
4.2.2 MAC协议介绍
4.3 速率分析与问题定义
4.3.1 速率分析
4.3.2 问题定义
4.3.3 问题分析
4.4 基于强化学习的分布式资源协同算法
4.4.1 用户关联策略优化
4.4.2 传输时间优化
4.4.3 双层分布式智能资源协同框架
4.5 仿真实验与性能分析
4.6 本章小结
第五章 基于频谱特征学习的非授权频段频谱接入策略
5.1 引言
5.2 系统模型
5.2.1 系统介绍
5.2.2 MAC协议设计
5.2.3 流量模型
5.3 问题定义与分析
5.4 基于频谱特征学习的频谱接入策略
5.4.1 基本原理
5.4.2 基于LID的深度强化学习算法设计
5.4.3 基于LIE的深度强化学习算法设计
5.5 仿真实验与结果分析
5.5.1 基准算法介绍
5.5.2 仿真环境设置
5.5.3 DNN模型选择
5.5.4 保护间隔的影响
5.5.5 算法性能验证
5.6 本章小结
第六章 终端直通异构网络中基于深度强化学习的分布式干扰协调
6.1 引言
6.2 系统模型
6.2.1 系统介绍
6.2.2 帧结构及信号模型
6.3 问题定义
6.4 基于分式规划的干扰协调算法
6.5 基于深度强化学习的分布式干扰协调算法
6.5.1 分布式决策与信息获取框架
6.5.2 分布式干扰协调算法设计
6.5.3 分布式干扰协调的优势
6.6 仿真实验与结果分析
6.6.1 仿真环境设置
6.6.2 仿真结果分析
6.7 本章小结
第七章 总结与展望
7.1 本文总结
7.2 后续研究展望
致谢
参考文献
[1]5G非授权频段组网技术[J]. 徐珉,胡南,李男. 电信科学. 2019(07)
[2]面向5G通信网的D2D技术综述[J]. 钱志鸿,王雪. 通信学报. 2016(07)
[3]Matched Filter Based Spectrum Sensing When Primary User Has Multiple Power Levels[J]. ZHANG Xinzhi,GAO Feifei,CHAI Rong,JIANG Tao. 中国通信. 2015(02)
