微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

shell脚本删除重复内容

背景

每个人在每个分支中会有多次提交记录,去重只取一次名字。

uniq和sort -u两种去重方法区别

  • uniq会删除连续出现的重复记录,若没有连续出现,则不会删除
  • sort -u会先排序再删除连续出现的重复记录,因此不会有遗漏。
    举例:
    对于文件test
jason
jason
fffff
jason

使用以下语句后:

$sort -u test
fffff
jason

$uniq test 
jason
fffff
jason 

$sort test |uniq 
fffff
jason

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。