全球主机交流论坛

标题: 几百万行txt有啥简单的办法去重吗? [打印本页]

作者: 佳辉的春天    时间: 2021-7-24 12:21
标题: 几百万行txt有啥简单的办法去重吗?
notepad++的去重插件貌似没了,正则表达的话感觉不效率啊
作者: royzheng    时间: 2021-7-24 12:24
Linux一句话的事吧
作者: openshit    时间: 2021-7-24 12:29
外包
作者: sRGB    时间: 2021-7-24 12:30
本帖最后由 sRGB 于 2021-7-24 12:39 编辑

写过 工具,排序,去重

命令行工具










LE.exe

示例 1 :D:\>LineExtraction.exe  "关键字"   D:\原始数据.txt
示例 2 :D:\>LineExtraction.exe  "关键字"   D:\原始数据.txt  -S
示例 3 :D:\>LineExtraction.exe  ***  D:\原始数据.txt  -S

请输入一个关键字!!
-S 参数排序优化;  *** 关键字 提取所有的数据
(, 下载次数: 20)


作者: G.K.D    时间: 2021-7-24 12:32
你可以搜搜 [在线文本去重] 网站试试~
就是不知道能不能处理过来~
作者: nebulabox    时间: 2021-7-24 12:32
自己写个小程序。或者给别人两百块帮你写
作者: jazzgao3    时间: 2021-7-24 12:35
Excel导入数据-自文本,筛选
作者: 1016797313    时间: 2021-7-24 12:41
字典去重工具  https://www.anywlan.com/thread-440602-1-1.html
作者: 8idc.com    时间: 2021-7-24 12:44
emedtior
作者: mean    时间: 2021-7-24 12:48
cat xxxx.txt | sort | uniq
作者: sdqu    时间: 2021-7-24 12:52
装个mysql, load data infile ....

作者: sRGB    时间: 2021-7-24 12:53
可以自己写个程序,也不难。
定义 一个 hashmap ,然后读取一行,记录到 hashmap
如果相同的行,自然就销毁了。然后在从 map 容器中抽取出来就可以了
作者: 佳辉的春天    时间: 2021-7-24 12:57
1016797313 发表于 2021-7-24 12:41
字典去重工具  https://www.anywlan.com/thread-440602-1-1.html

老哥,可以帮忙下载上传一下吗.,,,
作者: 佳辉的春天    时间: 2021-7-24 13:17
mean 发表于 2021-7-24 12:48
cat xxxx.txt | sort | uniq

感谢,安装了linux子系统
作者: lovej    时间: 2021-7-24 13:25
数据少可以用网页版的

http://yicha.net/yicha/direct/toolwebw.htm
作者: 暗白黑夜    时间: 2021-7-24 13:25
大佬们牛啊
作者: 佳辉的春天    时间: 2021-7-24 15:48
mean 发表于 2021-7-24 12:48
cat xxxx.txt | sort | uniq

不知道为什么...在windows下安装linux后,测试失败
作者: sytta    时间: 2021-7-24 16:31
excel格式重复值 就是你这数据量太大 excel会不会无响应
作者: canwzk    时间: 2021-7-24 16:54
emeditor,几千万都没问题
作者: XiaoFaye    时间: 2021-7-24 17:06
UltraEdit 听说过没?
作者: elecyan    时间: 2021-7-24 17:46
佳辉的春天 发表于 2021-7-24 15:48
不知道为什么...在windows下安装linux后,测试失败

win7试试mingw或cygwin,如果win10就WSL
作者: 小轩呀    时间: 2021-7-24 17:52
写个shell脚本
作者: 怪人    时间: 2021-7-24 21:39
采集大佬么
作者: 海苔    时间: 2021-7-24 21:50
windows用powershell
  1. Get-Content .\t.txt | sort -Unique > result.txt
复制代码

试试
作者: 佳辉的春天    时间: 2021-7-24 22:52
海苔 发表于 2021-7-24 21:50
windows用powershell

试试

牛逼啊,大哥




欢迎光临 全球主机交流论坛 (https://loc.daji.eu.org/) Powered by Discuz! X3.4