微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

为什么 Python 占用这么多内存?

如何解决为什么 Python 占用这么多内存?

我正在处理一个大小为 467KB 的文本文件我有这个代码

@profile
def parse_sentences(paragraph):
    all_sentences_paragraph = {}
    nlp.max_length = len(paragraph['text'])
    doc = nlp(paragraph['text'])
    allSentences = []
    tempSentences = list(doc.sents)
    allSentences = list(process_sentence(tempSentences))
    all_sentences_paragraph[paragraph['pid']] = allSentences
    paragraph['text'] = ""
    return paragraph['pid'],allSentences


@profile
def process_sentence(tempSentences):
    for sentence in tempSentences:
        tempSentenceJson = {
            "text": "","tags": {},}
        if sentence:
            tempSentenceJson['text'] = str(sentence)
            tempSentenceJson['sid'] = uuid.uuid4().hex
            yield tempSentenceJson
        else:
            tempSentenceJson['sid'] = uuid.uuid4().hex
            yield tempSentenceJson

这条线被调用了 8561 次。

allSentences = list(process_sentence(tempSentences))

现在是这个函数的概要。

enter image description here

enter image description here

现在我的问题是,为什么一个 467KB 的文件要占用这么多空间。我该如何解决这个问题?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。