几百万行txt有啥简单的办法去重吗?

佳辉的春天 · 发表于 2021-7-24 12:21:58

notepad++的去重插件貌似没了,正则表达的话感觉不效率啊

mean · 发表于 2021-7-24 12:48:57

cat xxxx.txt | sort | uniq

海苔 · 发表于 2021-7-24 21:50:28

windows用powershell

复制代码

试试

佳辉的春天 · 发表于 2021-7-24 22:52:17

海苔发表于 2021-7-24 21:50
windows用powershell

试试

牛逼啊,大哥

怪人 · 发表于 2021-7-24 21:39:02

采集大佬么

小轩呀 · 发表于 2021-7-24 17:52:16

写个shell脚本

elecyan · 发表于 2021-7-24 17:46:13

佳辉的春天发表于 2021-7-24 15:48
不知道为什么...在windows下安装linux后,测试失败

win7试试mingw或cygwin，如果win10就WSL

XiaoFaye · 发表于 2021-7-24 17:06:44

UltraEdit 听说过没？

canwzk · 发表于 2021-7-24 16:54:48

emeditor，几千万都没问题

sytta · 发表于 2021-7-24 16:31:24

excel格式重复值就是你这数据量太大 excel会不会无响应

佳辉的春天 · 发表于 2021-7-24 15:48:27

mean 发表于 2021-7-24 12:48
cat xxxx.txt | sort | uniq

不知道为什么...在windows下安装linux后,测试失败

		自动登录	找回密码
密码			注册