全球主机交流论坛

标题: 几百万行txt有啥简单的办法去重吗? [打印本页]

作者: 佳辉的春天 时间: 2021-7-24 12:21
标题: 几百万行txt有啥简单的办法去重吗?
notepad++的去重插件貌似没了,正则表达的话感觉不效率啊

作者: royzheng 时间: 2021-7-24 12:24
Linux一句话的事吧

作者: openshit 时间: 2021-7-24 12:29
外包

作者: sRGB 时间: 2021-7-24 12:30
本帖最后由 sRGB 于 2021-7-24 12:39 编辑

写过工具，排序，去重

命令行工具

LE.exe

示例 1 ：D:\>LineExtraction.exe  "关键字" D:\原始数据.txt
示例 2 ：D:\>LineExtraction.exe  "关键字" D:\原始数据.txt  -S
示例 3 ：D:\>LineExtraction.exe  ***  D:\原始数据.txt  -S

请输入一个关键字！！
-S 参数排序优化;  *** 关键字提取所有的数据
(, 下载次数: 20)

作者: G.K.D 时间: 2021-7-24 12:32
你可以搜搜 [在线文本去重] 网站试试~
就是不知道能不能处理过来~

作者: nebulabox 时间: 2021-7-24 12:32
自己写个小程序。或者给别人两百块帮你写

作者: jazzgao3 时间: 2021-7-24 12:35
Excel导入数据-自文本，筛选

作者: 1016797313 时间: 2021-7-24 12:41
字典去重工具 https://www.anywlan.com/thread-440602-1-1.html

作者: 8idc.com 时间: 2021-7-24 12:44
emedtior

作者: mean 时间: 2021-7-24 12:48
cat xxxx.txt | sort | uniq

作者: sdqu 时间: 2021-7-24 12:52
装个mysql, load data infile ....

作者: sRGB 时间: 2021-7-24 12:53
可以自己写个程序，也不难。
定义一个 hashmap ，然后读取一行，记录到 hashmap
如果相同的行，自然就销毁了。然后在从 map 容器中抽取出来就可以了

作者: 佳辉的春天 时间: 2021-7-24 12:57

1016797313 发表于 2021-7-24 12:41
字典去重工具 https://www.anywlan.com/thread-440602-1-1.html

老哥,可以帮忙下载上传一下吗.,,,

作者: 佳辉的春天 时间: 2021-7-24 13:17

mean 发表于 2021-7-24 12:48
cat xxxx.txt | sort | uniq

感谢,安装了linux子系统

作者: lovej 时间: 2021-7-24 13:25
数据少可以用网页版的

http://yicha.net/yicha/direct/toolwebw.htm

作者: 暗白黑夜 时间: 2021-7-24 13:25
大佬们牛啊

作者: 佳辉的春天 时间: 2021-7-24 15:48

mean 发表于 2021-7-24 12:48
cat xxxx.txt | sort | uniq

不知道为什么...在windows下安装linux后,测试失败

作者: sytta 时间: 2021-7-24 16:31
excel格式重复值就是你这数据量太大 excel会不会无响应

作者: canwzk 时间: 2021-7-24 16:54
emeditor，几千万都没问题

作者: XiaoFaye 时间: 2021-7-24 17:06
UltraEdit 听说过没？

作者: elecyan 时间: 2021-7-24 17:46

佳辉的春天发表于 2021-7-24 15:48
不知道为什么...在windows下安装linux后,测试失败

win7试试mingw或cygwin，如果win10就WSL

作者: 小轩呀 时间: 2021-7-24 17:52
写个shell脚本

作者: 怪人 时间: 2021-7-24 21:39
采集大佬么

作者: 海苔 时间: 2021-7-24 21:50
windows用powershell

Get-Content .\t.txt | sort -Unique > result.txt

复制代码

试试

作者: 佳辉的春天 时间: 2021-7-24 22:52

海苔发表于 2021-7-24 21:50
windows用powershell

试试

牛逼啊,大哥

欢迎光临全球主机交流论坛 (https://loc.daji.eu.org/)