19、雾网络中基于强化学习的资源分配
雾网络中基于强化学习的资源分配
1. 引言
在物联网 - 雾 - 云系统中，资源分配和任务调度是实现系统高效运行的关键问题。强化学习（RL）作为一种强大的技术，为解决这些问题提供了新的思路和方法。本文将介绍基于强化学习的雾计算资源分配算法，包括资源共享、任务调度和任务卸载与重新分配等方面，并探讨相关的挑战和开放问题。
2. 基于强化学习的资源分配算法
2.1 资源共享
在车联网（IoV）中，基于车辆雾计算（VFC）的时间延迟问题可以通过联合优化车辆调度、比特率选择以及频谱/计算资源分配来解决，将其建模为马尔可夫决策过程（MDP）。采用基于最高熵框架的软演员 - 评论家（soft actor - critic）深度强化学习算法来求解该 MDP。
在另一个 VFC 应用中，提出了一种支持任务卸载的资源共享方案。该方案通过动态定价激励车辆共享闲置计算资源，综合考虑任务优先级、服务可用性和车辆移动性。为任务卸载制定 MDP 图，旨在最大化任务的平均延迟感知利用率。基于深度强化学习（DRL）方法，开发软演员 - 评论家算法来最大化熵策略和预期奖励。此外，还考虑了移动网络运营商（MNO）偏好和切换问题，提出基于双深度 Q 网络（DQN）的切换策略，以降低每辆车的长期平均成本，并保证可靠性和延迟性能。
2.2 任务调度
在物联网 - 雾 - 云系统中，任务调度是指决定哪些任务由物联网层、雾层或云层处理，以实现目标设计目标。大多数应用中，调度算法的主要目标是最小化任务执行延迟，同时高效的调度设计还可以改善其他系统性能指标，如降低能耗和平衡工作负载分布。