几百万行txt有啥简单的办法去重吗?

sdqu · 发表于 2021-7-24 12:52:08

装个mysql, load data infile ....

sRGB · 发表于 2021-7-24 12:53:20

可以自己写个程序，也不难。
定义一个 hashmap ，然后读取一行，记录到 hashmap
如果相同的行，自然就销毁了。然后在从 map 容器中抽取出来就可以了

佳辉的春天 · 发表于 2021-7-24 12:57:33

1016797313 发表于 2021-7-24 12:41
字典去重工具 https://www.anywlan.com/thread-440602-1-1.html

老哥,可以帮忙下载上传一下吗.,,,

佳辉的春天 · 发表于 2021-7-24 13:17:30

mean 发表于 2021-7-24 12:48
cat xxxx.txt | sort | uniq

感谢,安装了linux子系统

lovej · 发表于 2021-7-24 13:25:07

数据少可以用网页版的

http://yicha.net/yicha/direct/toolwebw.htm

暗白黑夜 · 发表于 2021-7-24 13:25:47

大佬们牛啊

佳辉的春天 · 发表于 2021-7-24 15:48:27

mean 发表于 2021-7-24 12:48
cat xxxx.txt | sort | uniq

不知道为什么...在windows下安装linux后,测试失败

sytta · 发表于 2021-7-24 16:31:24

excel格式重复值就是你这数据量太大 excel会不会无响应

canwzk · 发表于 2021-7-24 16:54:48

emeditor，几千万都没问题

XiaoFaye · 发表于 2021-7-24 17:06:44

UltraEdit 听说过没？

		自动登录	找回密码
密码			注册