如何解决前馈神经网络总是输出随机但相似的值
我最近根据 this 在线书籍和 Sebastian Lague 在 youtube 上关于神经网络的简短系列编写了一个神经网络。我尽可能忠实地将其编码为原始代码，但最终没有奏效。我试图用它解决一个简单的 XOR 问题，但它似乎总是给我随机但相似的值。我什至试过复制粘贴作者的代码，不做任何改动，但还是不行。
class NeuralNetwork:
def __init__(self,layer_sizes,rate):
weight_shapes = [(a,b) for a,b in zip(layer_sizes[1:],layer_sizes[:-1])]
self.weights = [np.random.standard_normal(s)/s[1]**0.5 for s in weight_shapes]
self.biases = [np.zeros((s,1)) for s in layer_sizes[1:]]
self.rate = rate
def predict(self,a):
for w,b in zip(self.weights,self.biases):
z = np.matmul(w,a) + b
a = self.activation(z)
return a
def backprop(self,a,o):
o = np.array(o)
self.zCollection = []
# Forward Propogation
for w,a) + b
self.zCollection.append(z)
a = self.activation(z)
# Output error
error = (a - o) * self.activationPrime(self.zCollection[-1])
self.weights[-1] += np.matmul(error,self.activation(self.zCollection[-2]).T) * self.rate
self.biases[-1] += error * self.rate
# Looping through layers
for i in range(2,len(self.weights)):
error = np.multiply(self.weights[-i+1].T * error,self.activationPrime(self.zCollection[-i]))
self.weights[-i] = np.add(self.weights[-i],np.matmul(error,self.activation(self.zCollection[-i-1]).T) * self.rate)
self.biases[-i] = np.add(self.biases[-i],error * self.rate)
@staticmethod
def activation(x):
return 1/(1+np.exp(-x))
@staticmethod
def activationPrime(x):
activation = lambda x : 1/(1+np.exp(-x))
return activation(x) * (1 - activation(x))
if __name__ == "__main__":
inp = [[0,0],[1,[0,1],1]]
out = [[0],[1],[0]]
# Reformating arrays
inp = np.array([np.array(i) for i in inp])
inp = np.array([i.reshape((len(i),1)) for i in inp])
out = np.array([np.array(i) for i in out])
out = np.array([i.reshape((len(i),1)) for i in out])
layer_sizes = (2,2,1)
nn = NeuralNetwork(layer_sizes,0.001)
print("start")
for j in range(100):
for i,o in zip(inp,out):
nn.backprop(i,o)
print("done")
for i in inp:
print(f"{[list(j) for j in i]} >> {nn.predict(i)[0,0]}")
我自己做了一些调查，发现权重的更新值在每次迭代中总是很小且恒定。我不知道为什么，但看起来权重没有改变。我相信这可能是原因，因为当我在脚本开头设置种子时，输出值与大约 4dp 非常相似，但我不确定。我测试了前向传播，所以这不是问题。我还尝试随机化输入、改变学习率、不同的层大小和数量。我还尝试了一个感知器可以解决的不同问题集。这个问题是预测两个数字的总和是否大于其他数字。那也没有用。当我在各个时期绘制输出误差图时，它看起来像 this。正如您通过粗线看到的那样，该值正在振荡且似乎在下降。然而，当我测试它时，它给出了完全错误的结果。
以下是我使用不同参数得到的一些输出：
学习率：100
layer_sizes : (2,1)
时代：10000
[[0],[0]] >> 1.70366026492168e-23
[[1],[0]] >> 4.876567289343432e-20
[[0],[1]] >> 2.4579325136292694e-24
[[1],[1]] >> 9.206132845755066e-21
学习率：1
layer_sizes : (2,5,[0]] >> 0.9719657241512317
[[1],[0]] >> 0.9724187979341556
[[0],[1]] >> 0.9736236543859843
[[1],[1]] >> 0.9739884707274225
学习率：1
layer_sizes : (2,1)
时代：100
[[0],[0]] >> 0.3912836914268991
[[1],[0]] >> 0.49042088270977163
[[0],[1]] >> 0.4499482050352108
[[1],[1]] >> 0.5324205501065111
解决方法
我好像修好了。我做了三个主要的改变：
-
我在输出层误差计算中切换了 a 和 o，然后看起来像这样：
error = (o - a) * self.activationPrime( self.zCollection[-1] )。 -
更新我替换的权重和偏差时
self.weights[-1] += np.matmul(error,self.activation(self.zCollection[-2]).T) * self.rate self.biases[-1] += error * self.rate与
self.weights[-1] = np.add(self.weights[-1],np.matmul(error,self.activation(self.zCollection[-2]).T) * self.rate) self.biases[-1] = np.add(self.biases[-1],error * self.rate)我在 for 循环中做了同样的事情。要查看该代码，请参考帖子中的代码。
-
尽管这些更改在少数时期内不起作用，但我将它们增加到 100000，这有效。但是，当降低学习率时，我不得不再次增加 epoch 数。
通过这些新参数和更改，我得到了以下示例：
学习率：1
layer_sizes : (2,2,1)
时代：100000
[[0],[0]] >> 0.0024879823892047168
[[1],[0]] >> 0.9970151468472171
[[0],[1]] >> 0.996966687356631
[[1],[1]] >> 0.003029227917616288
我很确定这些问题（如果您甚至可以这样称呼它们）与我的代码无关，而只是前馈神经网络的一个特征。
我花了一段时间，但在算法中发现了第四个问题。在 backprop 方法中的第二个 for 循环中，error 计算不正确。该行实际上应为 error = np.multiply(np.matmul(self.weights[-i+1].T,error),self.activationPrime(self.zCollection[-i]))
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。