Linux文本文件重复行处理终极指南 ?
在Linux系统中处理重复行是常见需求，掌握以下方法可快速实现精准检测与高效清理。本文综合多种技术方案，提供专业级操作指导。

? 重复行检测方法

基础检测（排序+去重）

sort file.txt | uniq -d
​

sort：对文件内容进行排序，确保重复行相邻
uniq -d：仅显示重复出现的行
应用场景：快速定位所有重复内容


高级检测（保留原始顺序）

awk '!seen[$0]++' file.txt | awk '{if(++count[$0]>1) print}'
​

第一个 awk：标记重复行但保留首次出现
第二个 awk：筛选重复次数>1的行
优势：不改变行顺序，适合需保持上下文关系的文件


?️ 重复行删除方案

经典去重（生成新文件）

sort file.txt | uniq > cleaned_file.txt
​

uniq：默认删除相邻重复行
注意：原始文件顺序被破坏，适用于日志类文件


高效去重（直接修改）

sort -u file.txt -o file.txt
​

-u：等效于 sort | uniq的合并操作
-o：将结果写回原文件
内存警告：超过2GB文件慎用


顺序保留去重

awk '!visited[$0]++' file.txt > cleaned_file.txt
​

哈希数组 visited记录行出现状态
特点：保留首次出现行的原始位置


⚙️ 原理解析表



技术组件
功能特性
底层实现




sort
文本行排序
采用归并排序算法，默认按字典序排列


uniq
相邻行去重
依赖内存缓冲区逐行比对，仅处理连续重复


awk
模式扫描与处理
通过关联数组实现非连续行检测，内存消耗与唯一行数量正相关


管道符`
`
进程间通信




? 高级应用技巧

大文件处理方案

split -l 1000000 large_file.txt chunk_ && \
for f in chunk_*; do sort -u $f > $f.uniq; done && \
sort -m *.uniq | uniq > final_output.txt
​

split：将大文件分割为百万行的小文件
并行处理：对每个分片单独去重
sort -m：合并已排序文件


条件去重（保留N次出现）

awk -v count=2 '{if(++arr[$0]<=count) print}' file.txt
​

count=2：保留每行最多出现2次
扩展应用：数据采样或特定重复模式分析


列级去重（指定关键列）

sort -t',' -k2,2 file.csv | uniq -f1 -D
​

-t','：指定逗号为列分隔符
-k2,2：按第二列排序
-f1：忽略第一列进行重复判断


⚠️ 操作注意事项

备份优先原则

cp file.txt{,.bak}  # 创建备份文件
​

重要数据操作前必须备份


编码兼容性

iconv -f GBK -t UTF-8 file.txt | sort | uniq > cleaned_file.txt
​

处理中文文件时注意字符编码转换


性能监控

/usr/bin/time -v sort large_file.txt > /dev/null
​

使用 time命令监控内存和CPU消耗


通过合理选择上述方法，可应对从小型配置文件到TB级日志文件的各种去重需求。建议日常使用优先采用 awk '!visited[$0]++'方案，在保持行序的同时实现高效去重。? 定期清理重复数据可提升系统存储效率，建议结合cron任务实现自动化处理。