Для удаления дубликатов строк из файла можно воспользоваться конструкцией вида:
sort -u old_file > new_file
Но если нужно удалить дубликаты без сортировки файла, то можно сделать так:
awk '!x[$0]++' old_file > new_file
Удаление дублей строк из файла без сортировки
