如何解决WARC 文件中的记录数
我目前正在解析 CommonCrawl 语料库中的 WARC 文件,我想预先知道有多少条记录,而无需遍历所有 WARC 记录。
WARC 1.1 标准是否定义了此类信息?
解决方法
WARC 标准没有定义一种标准方式来指示 WARC 文件本身中的 WARC 记录数。 Common Crawl WARC 文件中的响应记录数通常在 30,000 到 50,000 之间 - 请注意,还有请求和元数据记录。 WARC 标准建议使用 1 GB as target size of WARC files,它对记录数量设置了自然限制。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。