这个向量映射神经网络是否属于局部最优解？我怎么跳出来？ (Pytorch)

如何解决这个向量映射神经网络是否属于局部最优解？我怎么跳出来？ (Pytorch)

我正在为矢量映射任务构建一个简单的全连接神经网络 str_features (3202 X 100) 是网络的输入，sem_features (3202 X 1903) 是我需要比较的向量，in_size 是 100 dim，out_size 是 1900 dim。网络代码和优化函数如下：

    ```
    net = torch.nn.Sequential(torch.nn.Linear(in_size,128),torch.nn.ReLU(),torch.nn.Linear(128,out_size)).to('cuda:0')
    optimizer = torch.optim.Adam(net.parameters(),lr=0.01)
    loss_func = torch.nn.MSELoss()

    for epoch in range(100):
        net.train()
        logits = net(str_features)
        loss = loss_func(logits[train_idx],sem_features[train_idx])

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    ```

我试过很多参数调优方法，比如激活函数（试过：ReLU、Tanh、Leaky Relu）、层数（试过：3、4、5）、隐藏单元的数量（试过：64,128,500,1000)、损失函数（试过：MSELoss、SmoothL1Loss、CosineEmbeddingLoss、Cosinesimilarity）、训练epoch数等。但是，每次收敛到一个大约0.5的测试值（取值范围[-1,1]) 经过 100 次训练。

这是否被困在局部最优解中，我该如何跳出？任何帮助表示赞赏。