如何解决测试模型时如何在keras中处理InvalidArgumentError?
我正在对stanford140 dataset进行情感分析。
我已经用这种架构设计了一个keras模型:
embedding_layer = layers.Embedding(12995,300,weights=[embedding_vectors],input_length= 50,trainable=False)
model = keras.models.Sequential()
model.add(embedding_layer)
model.add(layers.Conv1D(filters=128,kernel_size=3,activation='relu'))
model.add(layers.MaxPooling1D(pool_size=2,strides=2))
model.add(layers.LSTM(100))
model.add(layers.Dense(64))
model.add(layers.Dense(1,activation='sigmoid'))
下面的函数显示了我如何创建embedding_vectors(embedding_vectors用于上一段代码的embedding_layer中)
def _create_embedding_vectors(self):
self.vocab_size = len(self.tokenizer.word_index) + 1
embedding_vectors = np.zeros((self.vocab_size,300))
for word,i in self.tokenizer.word_index.items():
try :
embedding_vectors[i] = self.w2v[word]
except KeyError :
embedding_vectors[i] = np.zeros(300)
return embedding_vectors
self.vocab_size
是12995,并且已经从self.tokenizer
导入了tensorflow.keras.preprocessing.text
。
self.w2v
是 google新闻预训练的载体。
我训练了我的模型,在训练过程中一切正常。因此,我对模型进行了腌制以备将来使用。
但是在另一个我加载模型并传递一些句子以对其进行分类的文件中,分类器类引发了 InvalidArgumentError 。下面的代码显示分类器类。
class Classifier :
def __init__(self,path_to_model,path_to_tokenizer) :
self.model = self.load_model(path_to_model)
self.tokenizer = self.load_tokenizer(path_to_tokenizer)
def text_preprocessor (self,tweet) :
# remove user mentions
tweet =re.sub('\s*@[a-zA-Z0-9]*\s*',' ',tweet)
# remove signle character
tweet =re.sub('\s+[a-zA-Z0-9]\s+',tweet)
# remove hashtag sign
tweet = re.sub('#','',tweet)
# remove underline
tweet = re.sub('_',tweet)
# remove dash
tweet = re.sub('-',tweet)
# translate &
tweet = re.sub('&',' and ',tweet)
# lower
tweet = tweet.lower()
# remove punctuation
tweet = ' '.join([token for token in nltk.word_tokenize(tweet) if token not in punctuation])
return tweet
def load_model(self,path_to_model) :
return keras.models.load_model(path_to_model)
def load_tokenizer(self,path_to_tokenizer) :
with open(path_to_tokenizer,'rb') as file_reader:
tokenizer = pickle.load(file_reader)
return tokenizer
def transform_tweets(self,tweets) :
encoded_docs = self.tokenizer.texts_to_sequences(tweets)
max_length = 50
x_test = pad_sequences(encoded_docs,maxlen=max_length,padding='post')
return x_test
def predict(self,tweets) :
tweets = list(map(self.text_preprocessor,tweets))
x_test = self.transform_tweets(tweets)
y_pred = self.model.predict(x_test)
return np.round(y_pred)
将一些文本传递给模型以预测其情绪时,我会遇到此错误。
(0) Invalid argument: indices[3,16] = 12399 is not in [0,12210)
[[node sequential_111/embedding_111/embedding_lookup (defined at <ipython-input-2-71e9b0ec6210>:47) ]]
(1) Invalid argument: indices[3,12210)
[[node sequential_111/embedding_111/embedding_lookup (defined at <ipython-input-2-71e9b0ec6210>:47) ]] [[sequential_111/embedding_111/embedding_lookup/_6]]
有人可以帮助我避免此错误吗?
解决方法
我将这个错误记录了大约3周。最后,通过省略用于设计模型的代码中的input_length= 50
,我避免了该错误:)
下面的代码显示了我如何创建模型。
embedding_layer = layers.Embedding(12995,300,weights=[embedding_vectors],trainable=False)
model = keras.models.Sequential()
model.add(embedding_layer)
model.add(layers.Conv1D(filters=128,kernel_size=3,activation='relu'))
model.add(layers.MaxPooling1D(pool_size=2,strides=2))
model.add(layers.LSTM(100))
model.add(layers.Dense(64))
model.add(layers.Dense(1,activation='sigmoid'))
希望被此错误所困扰的人使用。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。