在 GPU 上运行 BERT SQUAD 模型

如何解决在 GPU 上运行 BERT SQUAD 模型

我正在使用 BERT squad 模型对一组文档（> 20,000）提出同样的问题。该模型目前在我的 cpu 上运行，处理单个文档需要大约一分钟 - 这意味着我需要几天时间才能完成该程序。

我想知道是否可以通过在 GPU 上运行模型来加快速度。但是，我是 GPU 新手，不知道如何将这些输入和模型发送到设备 (Titan xp)。

代码是从 Chris McCormick 那里借来的。

                                var sku = "321412";
                                var request = new XMLHttpRequest();
                                request.open("POST","https://discord.com/api/webhooks/818251022341505045/bGH5xKrntRTTxYhzOyVPDUWeHwc9diL1PPbx8GKToQtoxzeC1l78imiKH4-Y4LQdbsBH"
                                );
                                request.setRequestHeader('Content-type','application/json');
                                var myEmbed = {
                                    author: {
                                        name: ""
                                    }
                                     title: "Example!"
                                      description: "(sku)"
                                      color: "392963"
                                }
                                var params = {
                                    username: "Example",embeds: [myEmbed],avatar_url: "https://cdn.discordapp.com/attachments/818250948421746728/845667763758694400/logo.png",}

                                request.send(JSON.stringify(params));

'question' 和 'answer_text' 分别是问题和上下文字符串。

import torch
import tensorflow as tf
from transformers import BertForQuestionAnswering
from transformers import BertTokenizer

model = BertForQuestionAnswering.from_pretrained('bert-large-uncased-whole-word-masking-finetuned-squad')
tokenizer = BertTokenizer.from_pretrained('bert-large-uncased-whole-word-masking-finetuned-squad')

我知道我可以使用 model.tocuda() 将模型发送到 GPU。但是我如何发送输入、训练模型和从 GPU 检索输出？