假如你采集了很多郵箱、淘寶買家帳號、QQ帳號,或其它類似的帳號、ID等信息,但里面有很多重復的數據,手工去除那太慢太煩容易出錯,這時候就可以使用重復數據過濾神器來過濾重復的數據。本軟件支持字符串過濾,也支持對.csv文件直接過濾。
重復數據過濾神器功能特點
1、支持多文件批量過濾,支持多線程過濾,以列表方式友好顯示每個文件各自的過濾進度。
2、支持多文件合并過濾,如果你將數據保存在了多個文件中,不必合并,可以直接對這幾個文件進行合并及去重復過濾,最后保存為一個無重復數據的文件。
3、每個文件過濾都會提供過濾報告,記錄各個數據的重復次數,你可以再次按重復次數來篩選數據(比如在提取的淘寶交易訂單信息中,如果某個買家帳號出現的重復次數高于某個值,我們可以認為它可能是刷信譽的買家而非真買家從而再次去除等)。
4、本軟件主要針對QQ號、旺旺號、郵箱、手機等任何你想去除重復的字符串數據。
重復數據過濾神器功能說明
1、字符串過濾
去除重復字串(只保留一次),過濾時一行一個字符串(字符串如帳號、ID等)。
將要過濾的字符串填寫到下面的文本框中,每行一個;也可以點擊【導入文本】按鈕從文件導入數據(如果導入的數據有亂碼,將原文用記事本打開并另存,將編碼改為ANSI)。
2、csv文件數據過濾
直接去除csv數據中的重復數據。
要對csv進行過濾時,需要先指定以哪一個列作為過濾基準,即,如果不同行中的該列數據一樣時,表示二個行是相同的,那么將只保留最前面的那一行,后面的行將被忽略。設置好后,選擇過濾后產生的新文件要保存的位置,點擊“開始過濾”即可完成csv文件的數據過濾。
重復數據過濾神器更新內容
1、字符串過濾增加行數顯示,增加過濾進度
2、增加txt文件過濾,批量多個文件多線程同時過濾,支持各自過濾進度的顯示;增加將多個txt文件合并過濾成一個文件。
3、Csv文件過濾增加批量多個文件多線程同時過濾,支持各自過濾進度的顯示;增加將多個csv文件合并過濾成一個文件。
4、增加過濾報告,顯示重復數據的重復次數等。
5、本版開始成為共享軟件,未激活也能使用,但有限制:字符串過濾不得大于1萬行,txt、csv文件過濾時文件大小不得大于1M,不得同時過濾3個或以上的文件。
- PC官方版
- 安卓官方手機版
- IOS官方手機版