我有一个6.8亿行(19gig)的文件,我需要在每一行上附加日期时间.我每晚都得到这个文件,我必须将处理它的时间添加到每行的末尾.我尝试了很多方法,包括sed / awk并将其加载到sql数据库中,最后一列默认为当前时间戳.
我想知道是否有快速的方法来做到这一点?到目前为止,我最快的方法需要两个小时,考虑到此文件中信息的紧迫性,这个方法还不够快.这是一个平面的CSV文件.
EDIT1:
这是我到目前为止所做的:
awk -v date="$(date +"%Y-%m-%d %r")" '{ print $0","date}' lrn.ae.txt > testoutput.txt
时间= 117分钟
perl -ne 'chomp; printf "%s.pdf\n",$_' EXPORT.txt > testoutput.txt
时间= 135分钟
MysqL load data local infile '/tmp/input.txt' into table testoutput
时间= 211分钟
解决方法
一个简化
mjuarez’ helpful approach的解决方案:
yes "$(date +"%Y-%m-%d %r")" | paste -d',' file - | head -n "$(wc -l < file)" > out-file
请注意,与链接答案中的方法一样,您必须事先知道输入行的数量 – 这里我使用wc -l来计算它们,但如果数字是固定的,只需使用该固定数字.
> yes不断重复其参数,每个参数都在其自己的输出行上,直到它被终止.> paste -d’,’file – 在单个输出行上粘贴文件和标准输入( – )中相应的一对行,用以下内容分隔,>因为yes产生“无限”输出,所以head -n“$(wc -l< file)”确保一旦处理完所有输入行就停止处理. 管道的使用充当了内存限制,因此内存不足是一个问题.
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。