使用TensorFlow處理MNIST手寫體數字識別問題
使用TensorFlow官方提供了一個例子，基於MNIST數據集，實現一個圖片分類的應用，本文是基於TensorFlow 2.0.0版本來學習和試驗的。
MNIST數據集是一個非常出名的手寫體數字識別數據集，它包含了60000張圖片作爲訓練集，10000張圖片作爲測試集，每張圖片中的手寫體數字是0~9中的一個，圖片是28×28像素大小，並且每個數字都是位於圖片的正中間的。
使用TensorFlow對MNIST數據集進行分類，整個實現對應的完整的Python代碼，如下所示：
from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
# 下載 MNIST 數據集
mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0
# 創建 tf.keras.Sequential 模型
model = tf.keras.models.Sequential([
tf.keras.layers.Flatten(input_shape=(28, 28)),
tf.keras.layers.Dense(128, activation='relu'),
tf.keras.layers.Dropout(0.2),
tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
# 訓練模型
model.fit(x_train, y_train, epochs=5)
# 驗證模型
model.evaluate(x_test, y_test, verbose=2)
訓練集與測試集
上面，x_train是訓練集，它的大小是60000，其中，裏面包含的每一個圖片是28×28像素，由一個28×28的二維數組表示。x_train數據的結構如下所示：
array([[[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
...,
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0]],
[[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
...,
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0]],
...,
[[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
...,
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0]],
[[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
...,
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0]]], dtype=uint8)
下面，我們從x_train中拿出一個元素，即一個圖片對應的二維數組x_train[0]，如下所示：
array([[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 18, 18, 18, 126, 136, 175, 26, 166, 255, 247, 127, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 30, 36, 94, 154, 170, 253, 253, 253, 253, 253, 225, 172, 253, 242, 195, 64, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 49, 238, 253, 253, 253, 253, 253, 253, 253, 253, 251, 93, 82, 82, 56, 39, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 18, 219, 253, 253, 253, 253, 253, 198, 182, 247, 241, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 80, 156, 107, 253, 253, 205, 11, 0, 43, 154, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 14, 1, 154, 253, 90, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 139, 253, 190, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 11, 190, 253, 70, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 35, 241, 225, 160, 108, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 81, 240, 253, 253, 119, 25, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 45, 186, 253, 253, 150, 27, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 16, 93, 252, 253, 187, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 249, 253, 249, 64, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 46, 130, 183, 253, 253, 207, 2, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 39, 148, 229, 253, 253, 253, 250, 182, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 24, 114, 221, 253, 253, 253, 253, 201, 78, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 23, 66, 213, 253, 253, 253, 253, 198, 81, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 18, 171, 219, 253, 253, 253, 253, 195, 80, 9, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 55, 172, 226, 253, 253, 253, 253, 244, 133, 11, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 136, 253, 253, 253, 212, 135, 132, 16, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]], dtype=uint8)
由上面的矩陣可以看到，矩陣是非常稀疏的。從視覺上看，上面由非零的值組成的形狀，恰好像手寫數字5，其實它對應的分類標籤（Label）就是5，可以看到y_train[0]=5。
另外，測試集的數據格式，也與訓練集相同，它有10000個樣本。
上面x_train, x_test = x_train / 255.0, x_test / 255.0表示，對訓練接和測試集數據進行縮放，由整數歸一化轉換到0~1之間的浮點數。
模型創建與配置
tf.keras是Keras API的TensorFlow實現，它是一個用來構建和訓練模型的High-Level API，能夠快速上手並方便實現原型的設計。如果使用TensorFlow的Low-Level API實現，會非常複雜，使用起來沒有Keras API靈活方便。
Keras有兩種模型：順序模型（Sequential Model）和通用模型（Model），使用順序模型非常簡單，只需要創建並來配置好神經網絡各個Layer的實例，然後組裝起來就表徵並實現了一個模型，後續可以直接對其執行訓練和驗證的操作。例如，上述我們創建的順序模型：
model = tf.keras.models.Sequential([ tf.keras.layers.Flatten(input_shape=(28, 28)), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dropout(0.2), tf.keras.layers.Dense(10, activation='softmax') ])
上面設計的神經網絡模型，一共包含了4層：1個是輸入層，1個是隱藏層，1個是Dropout層，1個是Softmax輸出層。
已經組裝好神經網絡模型，接下來我們需要爲定義模型進行配置，以便訓練模型使用這些配置：
model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
上面，優化器參數值設置爲Adam，它是實現了Adam（適應性動量估計法）算法，能夠對不同參數計算適應性學習率，經驗表明，Adam在實踐中表現很好。另外，還有其他的優化器可以選擇：
- Adadelta
- Adagrad
- Adamax
- Ftrl
- Nadam
- RMSprop
- SGD
loss表示目標函數，需要輸入的是目標函數的名稱，這裏使用了sparse_categorical_crossentropy函數，它是一個多類別交叉熵損失函數，對輸入的格式要求是數字編碼的， 而不是one-hot編碼格式。sparse_categorical_crossentropy函數代碼如下所示：
@keras_export('keras.metrics.sparse_categorical_crossentropy',
'keras.losses.sparse_categorical_crossentropy')
def sparse_categorical_crossentropy(y_true, y_pred, from_logits=False, axis=-1):
return K.sparse_categorical_crossentropy(
y_true, y_pred, from_logits=from_logits, axis=axis)
對於compile的最後一個參數，metrics配置爲accuracy，表示普通的準確度評估方法。
訓練和驗證
上面代碼中，運行到模型訓練model.fit(x_train, y_train, epochs=5)，生成結果如下所示：
Train on 60000 samples Epoch 1/5 60000/60000 [==============================] - 8s 126us/sample - loss: 0.2923 - accuracy: 0.9154 Epoch 2/5 60000/60000 [==============================] - 7s 118us/sample - loss: 0.1432 - accuracy: 0.9571 Epoch 3/5 60000/60000 [==============================] - 7s 114us/sample - loss: 0.1062 - accuracy: 0.9681 Epoch 4/5 60000/60000 [==============================] - 8s 133us/sample - loss: 0.0857 - accuracy: 0.9733 Epoch 5/5 60000/60000 [==============================] - 7s 123us/sample - loss: 0.0748 - accuracy: 0.9766 <tensorflow.python.keras.callbacks.History object at 0x118c7d7f0>
最後，根據測試集對模型進行驗證，執行model.evaluate(x_test, y_test, verbose=2)，結果如下所示：
10000/1 - 1s - loss: 0.0396 - accuracy: 0.9759 [0.07745860494738445, 0.9759]
可見，分類器識別的準確度爲97.59%。
參考鏈接
- https://tensorflow.google.cn/tutorials/quickstart/beginner
- https://tensorflow.google.cn/api_docs/python/tf/keras/optimizers
- https://tensorflow.google.cn/api_docs/python/tf/keras/losses/sparse_categorical_crossentropy
本文基於 署名-非商業性使用-相同方式共享 4.0 許可協議發佈，歡迎轉載、使用、重新發布，但務必保留文章署名時延軍（包含鏈接：http://shiyanjun.cn），不得用於商業目的，基於本文修改後的作品務必以相同的許可發佈。如有任何疑問，請與我聯繫。
