如何对多个大文件进行排序去重

单个文件,对其内容进行排序,使用sort命令:

sort a.txt

去重加-u选项

sort -u a.txt

输出到一个文件

sort -o a.txt_sort -u a.txt

如果是100个1G大小的文件呢?如何进行排序去重呢?使用sort命令也是可以实现的。

第一步:先对单个文件进行排序去重

sort -o a1.txt -u a1.txt
sort -o a2.txt -u a2.txt
sort -o a3.txt -u a3.txt
sort -o a4.txt -u a4.txt
。。。。
sort -o a100.txt -u a100.txt
第二步:使用sort的合并排序

sort -o a.txt -u -m a*.txt

-m选项 表示merge已经有序的文件,如果文件事先没有排好序,这个可能会出错。

在执行merge的时候,你可能会遇到空间不足,无法写/tmp/sortXXXX的错误。
因为是多个大文件的合并操作,内存不够用,肯定是要写临时文件的。默认sort是写到/tmp目录下。

还好sort命令想的周到,你可以通过-T 选项指定一个较大空间的磁盘目录作为sort的临时文件目录。

sort -o a.txt -T /disk/temp -u -m a*.txt

最后等结果吧。

  1. hello说道:

    谢谢

留言

提示:你的email不会被公布,欢迎留言^_^

*

验证码 *