技术点评
论文针对 IEEE 802.11bn 标准（Wi-Fi 8）中的多接入点协同（Multi-Access Point Coordination, MAPC）调度问题，提出了基于深度强化学习（Deep Reinforcement Learning, DRL）的调度方案，旨在优化高密度 Wi-Fi 环境下的最坏时延性能。
研究的整体思路是将 MAPC 调度抽象为序列决策问题，通过近端策略优化（PPO）算法训练智能体，使其能够根据实时网络观测（队列状态、时延、信道质量等）选择最优的空间复用（Spatial Reuse, SR）组进行并发传输。
核心技术要点
- 序列决策建模
- 将 MAPC 调度问题视为马尔可夫决策过程（MDP），状态包括所有 STA 的延迟、队列长度和信道系数；动作为空间复用组的选择；奖励函数结合了即时奖励塑形与长期延迟优化。
- Gymnasium 兼容仿真环境
- 将 802.11 模拟器与 Gymnasium 接口集成，允许 DRL 智能体直接与网络环境交互。
- 动作掩码机制
- 在线与离线掩码结合，避免选择不可行或低效的 SR 组，显著减少动作空间，加快收敛速度。
- PPO 算法优化
- 使用 PPO 演员-评论家架构训练策略网络，配合余弦退火学习率、并行环境加速收敛。
- 性能对比与评估
- 与三种经典启发式调度器（MNP、OP、TAT）对比，DRL 调度器在多种负载场景下实现了更低的 99% 分位延迟，提升幅度最高可达 30%。
创新亮点
- 奖励塑形策略
在延迟敏感的 Wi-Fi 调度任务中引入奖励塑形，有效缓解了稀疏奖励问题，加速了早期策略学习。 - 泛化能力强
ML-G（General）智能体在未见过的拓扑与流量模式下依旧保持优越性能，证明了训练策略的迁移性。 - 可扩展性验证
在用户数量从 8 增加到 20 的不同密度场景中，DRL 调度器的性能优势持续存在，适合未来大规模 Wi-Fi 8 部署。
潜在不足
- 仿真环境假设
信道模型假设周期内静态，不考虑快速衰落和动态干扰，实际部署中可能影响泛化效果。 - 训练成本高
DRL 训练步骤达到 10⁷ 级别，计算资源消耗大，缺乏在线快速自适应机制。 - 只考虑下行链路
未涉及上行或双向流量调度，实际网络部署中需更复杂的多方向协同。
未来可挖掘方向
- 引入多链路操作（MLO）与功率控制，进一步优化频谱利用与干扰管理。
- 动态信道环境下的自适应训练，提升模型在快速变化网络中的稳健性。
- 多目标优化，同时考虑吞吐、能耗与公平性，而非单纯最坏时延。
- 分布式多智能体 DRL，在去中心化 MAPC 场景下提升可扩展性与容错性。
wifi+ns3
SaaS