如何解决python 中的简单 NN 不起作用,可能是反向传播算法的问题?
我尝试使用具有 2 个输入、2 个隐藏神经元和 1 个输出神经元的 NN(使用随机梯度下降)来编写经典的 XOR 问题。但是无论我做什么,我的神经网络都不能正常工作,仍然得到错误的输出,我真的不知道问题出在哪里,我认为在反向传播中,也许我以错误的顺序乘以它,我真的不知道。我用于更新输出权重的公式是 LEARING_RATE * ERROR * (OUTPUT * (1 - OUTPUT) * HIDDEN_OUTPUT.T 隐藏权重的公式是 LEARING_RATE * HIDDEN_ERROR * (HIDDEN_OUTPUT * (1 - HIDDEN_OUTPUT) * INPUT。 我想知道我的代码中的问题出在哪里,我将不胜感激您能提供的任何帮助:)
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def sigmoid_derivative(y):
return np.exp(y) * (1 - np.exp(y))
inp = np.array([ [[0,0]],[[0,1]],[[1,1]] ])
w_ih = np.random.uniform(size=(2,len(inp[0][0]))) # weights from input to hidden
bias_hidden = np.random.uniform(size=(1,len(w_ih)))
w_ho = np.random.uniform(size=(1,len(w_ih))) # weights from hidden to output
bias_output = np.random.uniform(size=(1,len(w_ho)))
des_output = [[0,1,0]]
r = 0.1 # learning rate
for i in range(10000):
index_sample = random.randint(0,len(inp) - 1)
# Forward propagation
hidden = sigmoid(np.dot(w_ih,inp[index_sample].T) + bias_hidden.T)
output = sigmoid(np.dot(w_ho,hidden) + bias_output)
# Calculating error
output_error = output - np.array(des_output).T[index_sample]
hidden_error = np.dot(w_ho.T,output_error)
# Back propagation
output_gradient = output_error * sigmoid_derivative(output)
w_ho += np.dot(output_gradient,hidden.T) * r
bias_output += np.sum(output_gradient,axis=0,keepdims=True) * r
hidden_gradient = hidden_error * sigmoid_derivative(hidden)
w_ih += np.dot(hidden_gradient,inp[index_sample]) * r
bias_hidden += np.sum(np.array(hidden_gradient),keepdims=True) * r
test = np.array([ [[0,1]] ])
for i in test:
h1_test = sigmoid(np.dot(w_ih,np.array(i).T) + bias_hidden.T) # testing neural newtwork
output_test = sigmoid(np.dot(w_ho,h1_test) + bias_output)
print(output_test,i)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。