全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
楼主: 佳辉的春天
打印 上一主题 下一主题

几百万行txt有啥简单的办法去重吗?

[复制链接]
11#
发表于 2021-7-24 12:52:08 | 只看该作者
装个mysql, load data infile ....
12#
发表于 2021-7-24 12:53:20 | 只看该作者
可以自己写个程序,也不难。
定义 一个 hashmap ,然后读取一行,记录到 hashmap
如果相同的行,自然就销毁了。然后在从 map 容器中抽取出来就可以了
13#
 楼主| 发表于 2021-7-24 12:57:33 | 只看该作者
1016797313 发表于 2021-7-24 12:41
字典去重工具  https://www.anywlan.com/thread-440602-1-1.html

老哥,可以帮忙下载上传一下吗.,,,
14#
 楼主| 发表于 2021-7-24 13:17:30 | 只看该作者
mean 发表于 2021-7-24 12:48
cat xxxx.txt | sort | uniq

感谢,安装了linux子系统
15#
发表于 2021-7-24 13:25:07 | 只看该作者
数据少可以用网页版的

http://yicha.net/yicha/direct/toolwebw.htm
16#
发表于 2021-7-24 13:25:47 | 只看该作者
大佬们牛啊
17#
 楼主| 发表于 2021-7-24 15:48:27 | 只看该作者
mean 发表于 2021-7-24 12:48
cat xxxx.txt | sort | uniq

不知道为什么...在windows下安装linux后,测试失败
18#
发表于 2021-7-24 16:31:24 | 只看该作者
excel格式重复值 就是你这数据量太大 excel会不会无响应
19#
发表于 2021-7-24 16:54:48 | 只看该作者
emeditor,几千万都没问题
20#
发表于 2021-7-24 17:06:44 | 只看该作者
UltraEdit 听说过没?
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-12-16 14:48 , Processed in 0.062372 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表