如何解决如何有效地终止剧集强化学习
我正在尝试针对优化问题实施RL。我正在实施Deep Q学习，以找到“下一个最佳操作”，即RL算法提供的最佳延迟。我正在针对预定义的延迟进行优化，以下是我的数据格式。
Layer,device1_Latency,device2_latency,Data_Size
layer1 1584 893 3.01
layer2 5821 3498 64.22
layer3 1332 942 64.22
layer4 2051 720 16.05632
layer5 3997 1297 32.11264
layer6 261 270 32.11264
关于上述问题，我有几个问题首先与结束剧集有关。按行选择的一个完整组合，例如layer5 3997,1297,32.11是RL算法提供的最小延迟，我认为这是一个完整的情节，或者有另一种方法来结束此情节。
我的第二个问题是没有针对此问题的操作，针对此问题的操作是针对预定义的延迟值提供最低延迟的层号，例如对于该问题第6层而言，它是最佳的。那么，对于该问题，我将如何表示行动者，代理人将如何知道一个选择就是一个行动，并且必须移至下一个情节（观察，行动和奖励）？
class Environment1:
def __init__(self,data,max_ticks=300):
self.data = data
self.application_latency=1342
self.reward = 0
self.done = False
def step(self,act):
self.take_action(action)
reward = self.get_reward()
ob = self.get_state()
return ob,reward,self.done
def get_state(self):
def createGenerator(self):
obs_data = [tuple(x) for x in self.data[['device1_Latency','device2_latency']].to_numpy()]
for obs in obs_data:
yield obs
return obs
def get_reward():
#check if current latency is greater than the application latency then penalize
def createGenerator(self):
obs_data = [tuple(x) for x in self.data[['device1_Latency','device2_latency']].to_numpy()]
for obs in obs_data:
yield obs
total_latency=obs.device1_Latency + obs.device2_latency
if total_latency < self.application_latency:
reward -= 2
#everything fine - reward up
else:
reward += 2
return reward
def reset(self):
'''
Reset the state of the environment and returns an initial observation.
Returns
-------
observation (object): the initial observation of the space.
'''
self.ticks = 0
self.reward_ = 0
return self.get_state()
def take_action(self,action):
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
