感知器中的决策边界不正确

如何解决感知器中的决策边界不正确

我正在为讲座准备一些代码并重新实现了一个简单的感知器：2 个输入和 1 个输出。目标：线性分类器。

这是创建数据、设置感知器和训练它的代码：

from ipywidgets import interact
import numpy as np
import matplotlib.pyplot as plt

# Two randoms clouds
x = [(1,3)]*10+[(3,1)]*10
x = np.asarray([(i+np.random.rand(),j+np.random.rand()) for i,j in x])

# Colors
cs = "m"*10+"b"*10
# classes
y = [0]*10+[1]*10



class Perceptron:
    def __init__(self):
        self.w = np.random.randn(3)
        self.lr = 0.01

    def train(self,x,y,verbose=False):
        errs = 0.

        for xi,yi in zip(x,y):
            x_ = np.insert(xi,1)
            r = self.w @ x_

            ######## HERE IS THE MAGIC HAPPENING #####
            r = r >= 0
            ##########################################

            err = float(yi)-float(r)

            errs += np.abs(err)

            if verbose:
                print(yi,r)

            self.w = self.w + self.lr * err * x_

        return errs

    def predict(self,x):
        return np.round(self.w @ np.insert(x,1,1).T)

    def decisionLine(self):
        w = self.w
        slope =  -(w[0]/w[2]) / (w[0]/w[1])
        intercept = -w[0]/w[2]
        return slope,intercept

p = Perceptron()

line_properties = []
errs = []

for i in range(20):
    errs.append(p.train(x,True if i == 999 else False))
    line_properties.append(p.decisionLine())

print(p.predict(x)) # works like a charm!



@interact
def showLine(i:(0,len(line_properties)-1,1)=0):
    xs = np.linspace(1,4)
    a,b = line_properties[i]

    ys = a * xs + b

    plt.scatter(*x.T)
    plt.plot(xs,ys,"k--")

最后，我正在计算决策边界，即线性方程。将 0 类和 1 类分开。但是，它似乎关闭了。我尝试过反转等，但不知道出了什么问题。有趣的是，如果我将学习规则更改为

self.w = self.w + self.lr * err / x_

即除以 x_，它正常工作 - 我完全困惑。有人有想法吗？

真正解决

现在我向感知器添加了一个我刚刚忘记的小但非常重要的部分（也许其他人也可能忘记了）。您必须进行阈值激活！ r = r >= 0 - 现在它以 0 为中心，然后它确实起作用了 - 这基本上就是下面的答案。如果你不这样做，你必须改变类以重新获得0的中心。目前，我更喜欢使用 -1 和 1 类，因为这样可以提供更好的决策线（居中），而不是非常靠近数据云之一的线。

之前：

现在：

解决方法

您正在创建目标为 0 和 1 的线性回归（不是逻辑回归！）。您绘制的线是模型预测为 0 的线，因此它应该理想地穿过云标记为 0 的点，如您的第一个图中。

如果您不想为逻辑回归实现 sigmoid，那么至少您会希望显示对应于 0.5 而不是 0 值的边界线。

至于反转权重以提供看起来像您想要的图，我认为这只是这些数据的巧合。