linux 中如何删除重复行

本文主要是介绍linux 中如何删除重复行，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

1、sort + uniq实现

root@PC1:/home/test# ls
a.txt
root@PC1:/home/test# cat a.txt
1 2
a b
1 2
1 2
o p
a b
m m  
root@PC1:/home/test# sort a.txt | uniq         ## 删除重复行
1 2
a b
m m
o p
root@PC1:/home/test# sort a.txt | uniq -u      ## 取唯一行
m m
o p
root@PC1:/home/test# sort a.txt | uniq -d      ## 取重复行
1 2
a b

2、awk实现

root@PC1:/home/test# ls
a.txt
root@PC1:/home/test# cat a.txt
1 2
a b
1 2
1 2
o p
a b
m m
root@PC1:/home/test# sort a.txt | awk '{if(line != $0) print $0; line = $0}'     ## 删除重复行
1 2
a b
m m
o p

这篇关于linux 中如何删除重复行的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！