几百万行txt有啥简单的办法去重吗?

佳辉的春天 · 发表于 2021-7-24 12:21:58

notepad++的去重插件貌似没了,正则表达的话感觉不效率啊

mean · 发表于 2021-7-24 12:48:57

cat xxxx.txt | sort | uniq

海苔 · 发表于 2021-7-24 21:50:28

windows用powershell

Get-Content .\t.txt | sort -Unique > result.txt

复制代码

试试

royzheng · 发表于 2021-7-24 12:24:18

Linux一句话的事吧

openshit · 发表于 2021-7-24 12:29:58

外包

sRGB · 发表于 2021-7-24 12:30:49

本帖最后由 sRGB 于 2021-7-24 12:39 编辑

写过工具，排序，去重

命令行工具

LE.exe

示例 1 ：D:\>LineExtraction.exe  "关键字" D:\原始数据.txt
示例 2 ：D:\>LineExtraction.exe  "关键字" D:\原始数据.txt  -S
示例 3 ：D:\>LineExtraction.exe  ***  D:\原始数据.txt  -S

请输入一个关键字！！
-S 参数排序优化;  *** 关键字提取所有的数据

数据搜索工具.zip (128.75 KB, 下载次数: 19)

G.K.D · 发表于 2021-7-24 12:32:05

你可以搜搜 [在线文本去重] 网站试试~
就是不知道能不能处理过来~

nebulabox · 发表于 2021-7-24 12:32:24

自己写个小程序。或者给别人两百块帮你写

jazzgao3 · 发表于 2021-7-24 12:35:17

Excel导入数据-自文本，筛选

1016797313 · 发表于 2021-7-24 12:41:17

字典去重工具 https://www.anywlan.com/thread-440602-1-1.html

8idc.com · 发表于 2021-7-24 12:44:36

emedtior

		自动登录	找回密码
密码			注册

几百万行txt有啥简单的办法去重吗?

浏览过的版块