大文本数据批量去重复软件

导入格式txt文本
去除重复文本，保存去除重复后和出现过重复文本
适用处理10E以下的文本，数量太多可能耗费时间很长
采用重复文本排查算法，可以快速去除txt文本里的重复内容，适用于处理100000以下的文本数据。