Для удаления дубликатов строк из файла можно воспользоваться конструкцией вида:
sort -u old_file > new_file
sort -u old_file > new_file
sort -u old_file > new_file
Но если нужно удалить дубликаты без сортировки файла, то можно сделать так:
awk '!x[$0]++' old_file > new_file
awk '!x[$0]++' old_file > new_file
awk '!x[$0]++' old_file > new_file
