移动边缘计算环境下基于DRL的能耗感知任务卸载方法   0    0

本发明公开移动边缘计算环境下基于DRL的能耗感知任务卸载方法。本发明设计多eNB MEC环境下任务卸载问题的状态空间、行动空间和奖励函数。采用actor‑critic框架作为整个DRL‑E2D算法的基础结构，即主要包含actor和critic两个神经网络。同时将MD在环境下所观察到的状态作为actor输入，将actor输出的动作和状态作为critic网络输入。本发明结合强化深度学习相关知识并将截止时间约束考虑到奖励函数中，使得MD可以根据系统状态在限定任务期限的情况下做出能将其任务卸载给多个eNB的最优决策。

1.移动边缘计算环境下基于DRL的能耗感知任务卸载方法，其特征在于包括以下步骤：
步骤(1)、构建出多eNB MEC环境下任务卸载场景；
步骤(2)、构建多eNB MEC环境下任务卸载场景在截止时间约束下的联合奖励函数，具体如下：
(2.1)定义在每个时间段MD本地执行任务和卸载任务至eNB的能量总消耗E(τ)为：
其中 表示MD本地执行β0(τ)个任务消耗的能量， 表示αi(τ)个
任务卸载给eNBi的总传输能量消耗；n表示MEC中eNBs的个数；β0(τ)表示MD在τ时间段所处理完成的任务数量；
(2.2)考虑任务截止时间约束，定义MD和所有基站的总效用U(τ)为：
其中n表示MEC中eNB的个数；T(tj)表示第j个任务tj的等待时间或者执行时间，TDL表示任务的截止时间；β0(τ)表示MD在τ时间段所处理完成的任务数量，αi(τ)表示第i个基站eNBi在τ时间段所处理完成的任务数量，u表示MD成功完成任务能获得的效用；
(2.3)如果一个任务错过了截止期限，则认为此任务超时，将会被系统丢弃，因此会产生损失，定义损失函数：
其中d0(τ)表示MD所丢弃的任务数量，di(τ)表示eNBi所丢弃的任务数量；
(2.4)根据步骤(2.1)‑(2.3)，定义本场景下的任务卸载的优化问题模型：
Max:R(τ)＝U(τ)‑P(τ)‑E(τ)            (a)
其中ηi(τ)表示第i个基站eNBi的数据传输速率；W表示任务的工作负荷；D表示任务的数据大小；R(τ)：表示在τ时间段所有的奖励；ηi(τ)：表示在τ时间段从MD发往eNB的数据传输速率；Tslot：表示每个时间段的持续时间；ci(τ)：表示MD或eNB的计算容量；
步骤(3)、多eNB MEC环境下任务卸载场景下以所有eNBi和MD的τ时间段任务处理队列、MD发往所有eNBi的数据传输速率、MD所到达的任务总数为输入状态sτ，以任务卸载的解决方案、MD的计算容量为动作空间，以任务卸载的解决方案为输出，以公式(a)目标奖励函数作为奖励，构建actor‑critic深度强化学习网络框架；
所述τ时间段的状态sτ＝[L0(π)，L1(τ)，...,Li(τ)，...,Ln(τ)，η1(τ)，...,ηi(τ)，...,ηn(τ)，z(τ)]；
其中L0(π)表示MD上任务处理队列，Li(τ)表示eNBi上任务处理队列，i＝1,2，……，n；ηi(τ)表示MD与eNBi之间的数据传输速率，z(τ)表示MD所到达的任务总数；
所述动作空间的各动作的向量形式为aτ＝[a0(τ)，...,ai(τ)，...,an(τ)，c0(τ)]，即每个动作都包含MD本地保留任务数a0(τ),卸载到各个eNBi上的任务ai(τ)以及MD的计算容量c0(τ)；
步骤(4)、采用actor‑critic深度强化学习网络框架对步骤(2)任务卸载的联合奖励函数进行优化求解，得到最佳任务卸载的解决方案。

2.根据权利要求1所述的移动边缘计算环境下基于DRL的能耗感知任务卸载方法，其特征在于步骤(1)具体如下：
多eNB MEC环境下任务卸载场景的整体架构主要包括单个MD和n个基站eNBs；其中MD用于将指定任务发送至各个基站上进行卸载，并同时可在本地执行任务；
(1.1)将系统时间划分为等间隔的各个时间段，假设在每个时间段开始时有z(τ)个任务到达MD，将其认为是独立且同分布的序列，并且每个到达的任务都有恒定的数据D和执行工作负载W；
(1.2)定义第τ个时间段从MD发往第i个基站eNBi的数据传输速率ηi(τ)：
ηi(τ)＝Bilog2[1+SNRi(τ)]            (1)
其中Bi表示eNBi分配到MD的带宽， 表示信噪比， 表示MD的传输
2
功率，σ表示高斯白噪声，gi(τ)表示信道增益，定义为 和θ分别表示路径
损耗常数和路径损耗指数，di(τ)表示eNBi在τ时间段与MD的路径距离；
(1.4)定义eNBi的第τ+1个时间段任务处理队列Li(τ+1)：
Li(τ+1)＝max{Li(τ)‑βi(τ),0}+αi(τ)             (2)
其中αi(τ)表示所有卸载到eNBi的任务，βi(τ)表示eNBi第τ个时间段内所处理完成的任务；
定义MD的第τ+1个时间段任务处理队列L0(τ+1)：
L0(τ+1)＝max{L0(τ)‑β0(τ),0}+α0(τ)            (3)
其中,α0(τ)为MD的本地任务,β0(τ)为MD第τ个时间段内所处理完成的任务；
(1.5)由于任务可分别在MD或eNB上执行，分别定义其执行时间 和能力消
耗

3.根据权利要求2所述的移动边缘计算环境下基于DRL的能耗感知任务卸载方法，其特征在于步骤(1.5)具体如下：
(1.5.1)对于任务在MD本地执行的情况，定义其执行时间以及能量消耗为:
其中 表示具备M核CPU的MD的计算能力，定义为 其中 表示与芯
片架构有关的常数；F(τ)表示M核CPU的工作频率；M表示M核；c0(τ)表示MD的计算容量，表示为c0(τ)＝MF(τ)；W表示任务的工作负荷；
(1.5.2)对于MD将任务卸载到eNBi执行的情况，需分别考虑其数据传输时间和执行时间；定义数据传输时间为：
θx
Ti (τ)＝D/ηi(τ)          (6)
同时，可定义其数据传输所消耗的能量为：
其中D表示任务的数据大小； 表示MD的传输功率；
当eNBi接受到任务后，会将任务按照先到先得的规则放入其自身任务处理队列Qi(τ)中；定义任务执行时间为：
θx
Ti (τ)＝W/ci(τ)        (6)
其中W表示任务的工作负荷；ci(τ)表示eNBi的计算容量。

4.根据权利要求1所述的移动边缘计算环境下基于DRL的能耗感知任务卸载方法，其特征在于步骤四具体如下:
μ Q
(4.1)随机初始化actor网络和critic网络的权重θ和θ，将权重分别复制到目标actor网络和目标critic网络，并设置经验回放池容量为D，D>0，同时清空经验回放池；
μ′ μ Q′ Q
θ ←θ，θ ←θ；
μ′ Q′
其中θ 、θ 分别表示目标actor网络和目标critic网络的权重；
(4.2)当前回合下，初始化MD系统环境并向MD分配任务获取初始状态值；
(4.3)运行actor‑critic深度强化学习网络框架对每一时间段下状态获取最优值动
作。

5.根据权利要求4所述的移动边缘计算环境下基于DRL的能耗感知任务卸载方法，其特征在于步骤(4.2)具体如下:
4.2.1初始化MD系统环境，并初始化生成一个随机噪声发生器N；
4.2.2为MD分配z(τ)任务，此时τ＝0表示初始时间段；
4.2.3获得MD从系统环境中观察到的最初状态值,即任务未运行时的MD本地状态并且
由于此时MD并未卸载任务到eNB，所以当τ＝0时,MD本地状态为：
sτ＝[L0(π),η0(τ),z(τ)]         (5)。

6.根据权利要求4所述的移动边缘计算环境下基于DRL的能耗感知任务卸载方法，其特征在于步骤(4.3)具体如下:
4.3.1actor网络根据当前时间段状态sτ输出原型动作，并进入嵌入层进行映射，并利用KNN算法提取k个最近邻值动作；
4.3.2critic网获取步骤(3.2.2.1)所获得的所有最近邻值动作，筛选获得最优值动
作；MD执行该最优值动作后保存当前状态至经验回放池；
4.3.3更新网络参数；
4.3.4重复步骤4.3.1‑4.3.3直到达到最大回合次数，以得到稳定的模型参数。

7.根据权利要求6所述的移动边缘计算环境下基于DRL的能耗感知任务卸载方法，其特征在于步骤(4.3.1)具体如下：
4.3.1.1状态sτ输入actor网络，actor网络根据输入策略π得到输出 并且为了增
加学习的随机性，添加探索噪点Nτ得到原型动作ap，即
4.3.1.2为了将连续空间下的动作值ap映射到离散空间下的动作值ap'，在actor和
critic之间设置嵌入层，将上述得到的ap输入嵌入层，输出d个映射后的ap'；将映射后的d个动作值ap'利用KNN算法提取K个邻值集合Ak，其度量方式为动作之间的欧氏距离，即Ak＝knn(ap')。

8.根据权利要求1所述的移动边缘计算环境下基于DRL的能耗感知任务卸载方法，其特征在于步骤(4.3.2)具体如下：
4.3.2.1将Ak个动作分别输入到critic当前网络中，critic根据策略函数 输出当前
状态下不同行为动作Ak所对应的价值，从中选取具有最大价值的ax作为MD的预测输入动作，即
4.3.2.2MD根据动作aτ执行任务卸载决策，根据动作执行结果得到回报rτ，并观察到新的状态sτ+1，形成新的向量样本[sτ，aτ，rτ，sτ+1]，并存入经验回放池。

9.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1‑8任一所述的方法。

10.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1‑8任一所述的方法。