Tensorflow是否等效于Pytorch的向后？尝试将梯度发送回TF模型以反向传播

如何解决Tensorflow是否等效于Pytorch的向后？尝试将梯度发送回TF模型以反向传播

我正在尝试实现拆分学习模型，其中我在客户端上的TF模型接收数据并产生中间输出。该中间输出将发送到运行Pytorch模型的服务器，该服务器将其作为输入并最大程度地减少损失。然后，我的服务器会将客户端渐变发送回TF模型，以供TF模型更新权重。

如何获取我的TF模型以从服务器发送回的渐变来更新其权重？

# pytorch client
client_output.backward(client_grad)
optimizer.step()

使用PyTorch，我可以只执行client_pred.backward(client_grad)和client_optimizer.step()。

如何使用Tensorflow客户端实现相同的目的？我已经用tape.gradient(client_grad,model.trainable_weights)尝试了GradientTape，但它却给了我None。我认为这是因为磁带上下文中没有计算，而client_grad只是一个持有渐变的Tensor，并且未连接到模型的图层？

我可以用tf的apply_gradients（）或compute_gradients（）来做到这一点吗？

我只有客户端最后一层的渐变（由服务器发送）。我正在尝试为客户端计算所有梯度并更新权重。

谢谢。

class TensorflowModel(tf.keras.Model):
        def __init__(self,D_in,H,D_out):
            super(TensorflowModel,self).__init__()
            self.d1 = Dense(H,activation='relu',input_shape=(D_in,))
            self.d2 = Dense(D_out)

        def call(self,x):
            x = self.d1(x)
            return self.d2(x)

tensorflowModel = TensorflowModel(D_in,D_out)
tensorflowOptimizer = tf.optimizers.Adam(lr=1e-4)

serverModel = torch.nn.Sequential(
        torch.nn.Linear(10,50),torch.nn.ReLU(),torch.nn.Linear(50,10)
    )
loss_fn = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(serverModel.parameters(),lr=1e-4)

for t in range(N):
    // let x be minibatch
    // let y be labels of minibatch

    client_pred = tensorflowModel(x)

    client_output = torch.from_numpy(client_pred.numpy())
    client_output.requires_grad = True

    y_pred = serverModel(client_output)
    loss = loss_fn(y_pred,y)  
    optimizer.zero_grad()
    loss.backward()
    optimizer.step() // update server weights

    // now retrieve client grad for last layer
    client_grad = client_output.grad.detach().clone().numpy()
    client_grad = tf.convert_to_tensor(client_grad) // change to tf tensor

    // now compute all client gradients and update client weights
    // HOW DO I DO THIS? 

我应该如何更新客户权重？如果客户端是pytorch模型，则可以执行client_pred.backward（client_grad）和client_optimizer.step（）。我不确定如何使用渐变磁带来计算渐变，因为client_grad是在服务器上计算的，并且是将pytorch张量转换为tf张量的

。