快速優雅地處理NLP數據集

蕭簫 發自 凹非寺

量子位 報道 | 公衆號 QbitAI

如何快速優雅地處理你的NLP數據集?

試試這款號稱「從小白到大神」的 Texthero 的工具包。

不僅編寫界面友好美觀,而且功能全面,預處理、表徵、可視化樣樣精通,在Reddit上17個小時內就獲得了近 1.1k 的熱度。

連剛脫機的NLP程序猿看了都想與數據集再戰幾回:

下面是Texthero的使用界面。

優雅美觀的NLP數據處理界面

事實上,Texthero的優雅絕不僅僅在於界面的友好,最關鍵的是,它省略了大量重複性代碼編寫工作。

只需要幾行代碼,Texthero就能幫你完成想要的數據預處理、表徵、可視化等操作,極大程度上解放了你的雙手。

來看看Texthero進行數據預處理、各種算法後的可視化效果。

效果展示

首先,進行文本清理,然後採用TF-IDF算法進行特徵表示,並對此可視化:

PCA降維後的效果duangduang的:

進行文本清理和TF-IDF表徵後的可視化效果

這不是你想要的?

那麼,除了預處理和表徵外,試試加上K均值聚類算法,並進行可視化:

效果如下:

進行預處理、表徵和K均值聚類算法後的數據效果

經過K均值聚類算法處理後的結果一目瞭然。

不僅設計友好,加載代碼後,結果會生成在在同一個界面上,整體邏輯流程顯得非常明瞭。

使用效果

從展示界面來看,Texthero只需要編寫少量代碼,就能得到你想要的結果,爲數據處理省去了不少時間。

事實上,只要掌握基本使用邏輯,萌新也能快速上手這款NLP數據處理神器。

使用指南

pip一下texthero後(或從GitHub上直接下載工具包,文末附代碼鏈接),採用import導入它和pandas:

之後,加載你需要處理的文本信息數據集(這裏採用了BBC sport數據庫舉例):

然後就可以開始使用了:

預處理

如果需要進行快速的數據預處理操作,直接使用「文本清理」就行:

當然,如果你需要對文本信息進行更細節的處理操作,例如將所有標點符號替換成空格、或者刪除<>中的所有內容,Texthero也提供了非常完備的工具包,以供使用。

光是預處理欄目就有這麼多工具

再也不用編寫一大堆代碼,專門清理文本中的冗餘數據了。

表徵

同樣,如果需要進行TF-IDF算法特徵表示的話,同樣只需要幾行代碼就能實現:

一鍵出結果:

如果需要更多的算法,這裏也有meanshift、NMF等算法可以選用,每種算法基本都集成在一行代碼中,你想要的這裏都有。

可視化

而在可視化方向上,Texthero同樣展現出了強大的能力,這裏以PCA降維後的結果進行展示:

可視化界面非常清晰:

同樣,可視化也可以自定義顏色、界面展示效果等,只需要一點Python的知識就能快速使用。

這麼方便的NLP數據處理工具包,趕緊用起來~

傳送門

代碼鏈接:

https://github.com/jbesomi/texthero

項目鏈接:

https://texthero.org/

版權所有,未經授權不得以任何形式轉載及使用,違者必究。

相關文章