如何解决为什么 Python 占用这么多内存?
我正在处理一个大小为 467KB 的文本文件。我有这个代码。
@profile
def parse_sentences(paragraph):
all_sentences_paragraph = {}
nlp.max_length = len(paragraph['text'])
doc = nlp(paragraph['text'])
allSentences = []
tempSentences = list(doc.sents)
allSentences = list(process_sentence(tempSentences))
all_sentences_paragraph[paragraph['pid']] = allSentences
paragraph['text'] = ""
return paragraph['pid'],allSentences
@profile
def process_sentence(tempSentences):
for sentence in tempSentences:
tempSentenceJson = {
"text": "","tags": {},}
if sentence:
tempSentenceJson['text'] = str(sentence)
tempSentenceJson['sid'] = uuid.uuid4().hex
yield tempSentenceJson
else:
tempSentenceJson['sid'] = uuid.uuid4().hex
yield tempSentenceJson
这条线被调用了 8561 次。
allSentences = list(process_sentence(tempSentences))
现在是这个函数的概要。
现在我的问题是,为什么一个 467KB 的文件要占用这么多空间。我该如何解决这个问题?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。