linux中sort + uniq统计重复项、去重复、取唯一项、统计重复次数

本文主要是介绍linux中sort + uniq统计重复项、去重复、取唯一项、统计重复次数，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

1、测试数据

root@ubuntu01:/home/test# ls
a.txt
root@ubuntu01:/home/test# cat a.txt     ## 测试数据
a
g
b
d
a
b
b
d
c
b

2、统计重复项

root@ubuntu01:/home/test# ls
a.txt
root@ubuntu01:/home/test# cat a.txt
a
g
b
d
a
b
b
d
c
b
root@ubuntu01:/home/test# sort a.txt | uniq -d   ## 重复项
a
b
d
root@ubuntu01:/home/test# sort a.txt | uniq -D   ## 重复项
a
a
b
b
b
b
d
d

3、去重复

root@ubuntu01:/home/test# ls
a.txt
root@ubuntu01:/home/test# cat a.txt
a
g
b
d
a
b
b
d
c
b
root@ubuntu01:/home/test# sort -u a.txt    ## 去重复
a
b
c
d
g
root@ubuntu01:/home/test# sort a.txt | uniq    ## 去重复
a
b
c
d
g

4、取唯一项

root@ubuntu01:/home/test# ls
a.txt
root@ubuntu01:/home/test# cat a.txt
a
g
b
d
a
b
b
d
c
b
root@ubuntu01:/home/test# sort a.txt | uniq -u    ## 取唯一项
c
g

5、统计重复次数

root@ubuntu01:/home/test# ls
a.txt
root@ubuntu01:/home/test# cat a.txt
a
g
b
d
a
b
b
d
c
b
root@ubuntu01:/home/test# sort a.txt | uniq -c    ## 统计重复次数
      2 a
      4 b
      1 c
      2 d
      1 g
root@ubuntu01:/home/test# sort a.txt | uniq -c | sed 's/^[\t ]*//g'    ## 统计重复次数
2 a
4 b
1 c
2 d
1 g

这篇关于linux中sort + uniq统计重复项、去重复、取唯一项、统计重复次数的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！