不需要昂貴的工具即可領略數據科學的力量，從這些開源工具起步即可。

　　無論你是一個具有數學或計算機科學背景的資深數據科學愛好者，還是一個其它領域的專家，數據科學提供的可能性都在你力所能及的範圍內，而且你不需要昂貴的，高度專業化的企業級軟件。本文中討論的開源工具就是你入門時所需的全部內容。

　　Python，其機器學習和數據科學庫（pandas、Keras、TensorFlow、scikit-learn、SciPy、NumPy等），以及大量可視化庫（Matplotlib、pyplot、Plotly等）對於初學者和專家來說都是優秀的自由及開源軟件工具。它們易於學習，很受歡迎且受到社區支持，並擁有爲數據科學而開發的最新技術和算法。它們是你在開始學習時可以獲得的最佳工具集之一。

　　許多 Python 庫都是建立在彼此之上的（稱爲依賴項），其基礎是NumPy庫。NumPy 專門爲數據科學設計，經常被用於在其 ndarray 數據類型中存儲數據集的相關部分。ndarray 是一種方便的數據類型，用於將關係表中的記錄存儲爲 cvs 文件或其它任何格式，反之亦然。將 scikit 函數應用於多維數組時，它特別方便。SQL 非常適合查詢數據庫，但是對於執行復雜和資源密集型的數據科學操作，在 ndarray 中存儲數據可以提高效率和速度（但請確保在處理大量數據集時有足夠的 RAM）。當你使用 pandas 進行知識提取和分析時，pandas 中的 DataFrame 數據類型和 NumPy 中的 ndarray 之間的無縫轉換分別爲提取和計算密集型操作創建了一個強大的組合。

　　作爲快速演示，讓我們啓動 Python shell 並在 pandas DataFrame 變量中加載來自巴爾的摩的犯罪統計數據的開放數據集，並查看加載的一部分 DataFrame：

　　>>> import pandas as pd>>> crime_stats =pd.read_csv('BPD_Arrests.csv')>>> crime_stats.head()

　　我們現在可以在這個 pandas DataFrame 上執行大多數查詢，就像我們可以在數據庫中使用 SQL 一樣。例如，要獲取 Description 屬性的所有唯一值，SQL 查詢是：

　　$ SELECT unique(“Description”) from crime_stats;

　　利用 pandas DataFrame 編寫相同的查詢如下所示：

　　>>>crime_stats['Description'].unique()['COMMON ASSAULT' 'LARCENY' 'ROBBERY - STREET' 'AGG. ASSAULT''LARCENY FROM AUTO' 'HOMICIDE' 'BURGLARY' 'AUTO THEFT''ROBBERY - RESIDENCE' 'ROBBERY - COMMERCIAL' 'ROBBERY - CARJACKING''ASSAULT BYTHREAT' 'SHOOTING' 'RAPE' 'ARSON']

　　它返回的是一個 NumPy 數組（ndarray 類型）：

　　>>>type(crime_stats['Description'].unique())

　　接下來讓我們將這些數據輸入神經網絡，看看它能多準確地預測使用的武器類型，給出的數據包括犯罪事件，犯罪類型以及發生的地點：

　　>>>from sklearn.neural_network import MLPClassifier>>>import numpy as np>>>>>>prediction =crime_stats[[‘Weapon’]]>>>predictors =crime_stats['CrimeTime', ‘CrimeCode’, ‘Neighborhood’]>>>>>>nn_model =MLPClassifier(solver='lbfgs', alpha=1e-5, hidden_layer_sizes=(5,2), random_state=1)>>>>>>predict_weapon =nn_model.fit(prediction, predictors)

　　現在學習模型準備就緒，我們可以執行一些測試來確定其質量和可靠性。對於初學者，讓我們輸入一個訓練集數據（用於訓練模型的原始數據集的一部分，不包括在創建模型中）：

　　>>>predict_weapon.predict(training_set_weapons)array([4, 4, 4, ..., 0, 4, 4])

　　如你所見，它返回一個列表，每個數字預測訓練集中每個記錄的武器。我們之所以看到的是數字而不是武器名稱，是因爲大多數分類算法都是用數字優化的。對於分類數據，有一些技術可以將屬性轉換爲數字表示。在這種情況下，使用的技術是標籤編碼，使用 sklearn 預處理庫中的 LabelEncoder 函數：preprocessing.LabelEncoder()。它能夠對一個數據和其對應的數值表示來進行變換和逆變換。在這個例子中，我們可以使用 LabelEncoder() 的 inverse_transform 函數來查看武器 0 和 4 是什麼:

　　preprocessing.LabelEncoder().inverse_transform(encoded_weapons)array(['HANDS', 'FIREARM', 'HANDS', ..., 'FIREARM', 'FIREARM', 'FIREARM']

　　這很有趣，但爲了瞭解這個模型的準確程度，我們將幾個分數計算爲百分比：

　　nn_model.score(X, y)0.81999999999999995

　　這表明我們的神經網絡模型準確度約爲 82%。這個結果似乎令人印象深刻，但用於不同的犯罪數據集時，檢查其有效性非常重要。還有其它測試來做這個，如相關性、混淆、矩陣等。儘管我們的模型有很高的準確率，但它對於一般犯罪數據集並不是非常有用，因爲這個特定數據集具有不成比例的行數，其列出 FIREARM 作爲使用的武器。除非重新訓練，否則我們的分類器最有可能預測 FIREARM，即使輸入數據集有不同的分佈。

　　在對數據進行分類之前清洗數據並刪除異常值和畸形數據非常重要。預處理越好，我們的見解準確性就越高。此外，爲模型或分類器提供過多數據（通常超過 90%）以獲得更高的準確度是一個壞主意，因爲它看起來準確但由於過度擬合而無效。

　　Jupyter notebooks相對於命令行來說是一個很好的交互式替代品。雖然 CLI 對於大多數事情都很好，但是當你想要運行代碼片段以生成可視化時，Jupyter 會很出色。它比終端更好地格式化數據。

　　這篇文章列出了一些最好的機器學習免費資源，但是還有很多其它的指導和教程。根據你的興趣和愛好，你還會發現許多開放數據集可供使用。作爲起點，由Kaggle維護的數據集，以及在州政府網站上提供的數據集是極好的資源。

　　via:https://opensource.com/article/18/3/getting-started-data-science

　　作者：Payal Singh譯者：MjSeven校對：wxy

　　本文由LCTT原創編譯，Linux中國榮譽推出