新闻分类--多分类问题，使用TensorFlow实现

男娘i 2023-02-27 10:36 36阅读 0赞

## 写在前面 ##

构建一个网络，将路透社新闻划分为46 个互斥的主题。因为有多个类别，所以 这是多分类（multiclass classification）问题的一个例子。因为每个数据点只能划分到一个类别， 所以更具体地说，这是单标签、多分类（single-label, multiclass classification）问题的一个例 子。如果每个数据点可以划分到多个类别（主题），那它就是一个多标签、多分类（multilabel, multiclass classification）问题。

## 路透社数据集 ##

本文使用路透社数据集，它包含许多短新闻及其对应的主题，由路透社在1986 年发布。它 是一个简单的、广泛使用的文本分类数据集。它包括46 个不同的主题：某些主题的样本更多， 但训练集中每个主题都有至少 10 个样本。 与 IMDB 和 MNIST 类似，路透社数据集也内置为 Keras 的一部分。我们来看一下。

from tensorflow.keras.datasets import reuters
    
    (train_data, train_labels), (test_data, test_labels) = reuters.load_data(num_words=10000)

与 IMDB 数据集一样，参数 num\_words=10000 将数据限定为前 10 000 个最常出现的单词。 我们有 8982 个训练样本和 2246 个测试样本。与 IMDB 评论一样，每个样本都是一个整数列表（表示单词索引）。如果好奇的话，你可以用下列代码将索引解码为单词。

word_index = reuters.get_word_index()
    reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])
    decoded_newswire = ' '.join([reverse_word_index.get(i - 3, '?') for i in train_data[0]])
    
    print(decoded_newswire)

## 准备数据 ##

将数据向量化。

def vectorize_sequences(sequences, dimension=10000):     
      results = np.zeros((len(sequences), dimension))     
      for i, sequence in enumerate(sequences):         
        results[i, sequence] = 1.     
      return results 
    
    x_train = vectorize_sequences(train_data)
    x_test = vectorize_sequences(test_data)

将标签向量化有两种方法：你可以将标签列表转换为整数张量，或者使用one-hot 编码。 one-hot 编码是分类数据广泛使用的一种格式，也叫分类编码（categorical encoding）。在这个例子中，标签的one-hot编码就是将每个标签表示为全零向量， 只有标签索引对应的元素为 1。其代码实现如下。

def to_one_hot(labels, dimension=46):
      results = np.zeros((len(labels), dimension))
      for i, label in enumerate(labels):
        results[i, label] = 1.
      return results
    
    one_hot_train_labels = to_one_hot(train_labels)
    ont_hot_test_labels = to_one_hot(test_labels)

注意，Keras 内置方法可以实现这个操作，你在 MNIST 例子中已经见过这种方法。

from keras.utils import to_categorical
     
    one_hot_train_labels = to_categorical(train_labels) 
    one_hot_test_labels = to_categorical(test_labels)

## 构建网络 ##

这个问题有一个约束条件：输出类别的数量为46 个。输出空间的维度较大。 对于用过的 Dense 层的堆叠，每层只能访问上一层输出的信息。如果某一层丢失了与 分类问题相关的一些信息，那么这些信息无法被后面的层找回，也就是说，每一层都可能成为信息瓶颈。上一个例子使用了16 维的中间层，但对这个例子来说16 维空间可能太小了，无法学会区分 46 个不同的类别。这种维度较小的层可能成为信息瓶颈，永久地丢失相关信息。 出于这个原因，下面将使用维度更大的层，包含 64 个单元

from tensorflow.keras import layers
    from tensorflow.keras import models
    
    model = models.Sequential() 
    model.add(layers.Dense(64, activation='relu', input_shape=(10000,))) 
    model.add(layers.Dense(64, activation='relu')) 
    model.add(layers.Dense(46, activation='softmax'))

关于这个架构还应该注意另外两点。

*  网络的最后一层是大小为46 的 Dense 层。这意味着，对于每个输入样本，网络都会输 出一个 46 维向量。这个向量的每个元素（即每个维度）代表不同的输出类别。
 *  最后一层使用了 softmax 激活。你在MNIST 例子中见过这种用法。网络将输出在46 个不同输出类别上的概率分布——对于每一个输入样本，网络都会输出一个 46 维向量， 其中 output\[i\] 是样本属于第 i 个类别的概率。46 个概率的总和为 1。

对于这个例子，最好的损失函数是 categorical\_crossentropy（分类交叉熵）。它用于 衡量两个概率分布之间的距离，这里两个概率分布分别是网络输出的概率分布和标签的真实分 布。通过将这两个分布的距离最小化，训练网络可使输出结果尽可能接近真实标签。

model.compile(optimizer='rmsprop',
            loss='categorical_crossentropy',
            metrics=['accuracy'])

## 验证你的方法 ##

我们在训练数据中留出 1000 个样本作为验证集。

x_val = x_train[:1000]
    partial_x_train = x_train[1000:]
    
    y_val = one_hot_train_labels[:1000]
    partial_y_train = one_hot_train_labels[1000:]

现在开始训练网络，共 20 个轮次。

history = model.fit(partial_x_train,
                partial_y_train,
                epochs=20,
                batch_size=512,
                validation_data=(x_val, y_val))

最后，我们来绘制损失曲线和精度曲线。

loss = history.history['loss'] 
    val_loss = history.history['val_loss'] 
    epochs = range(1, len(loss) + 1) 
     
    plt.plot(epochs, loss, 'bo', label='Training loss') 
    plt.plot(epochs, val_loss, 'b', label='Validation loss') 
    plt.title('Training and validation loss') 
    plt.xlabel('Epochs') 
    plt.ylabel('Loss') 
    plt.legend() 
     
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RCQ18xMjE_size_16_color_FFFFFF_t_70_pic_center]

plt.clf()   
     
    acc = history.history['acc'] 
    val_acc = history.history['val_acc'] 
     
    plt.plot(epochs, acc, 'bo', label='Training acc') 
    plt.plot(epochs, val_acc, 'b', label='Validation acc') 
    plt.title('Training and validation accuracy') 
    plt.xlabel('Epochs') 
    plt.ylabel('Accuracy') 
    plt.legend() 
     
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RCQ18xMjE_size_16_color_FFFFFF_t_70_pic_center 1]

网络在训练9 轮后开始过拟合。我们从头开始训练一个新网络，共9 个轮次，然后在测试 集上评估模型。

model = models.Sequential() 
    model.add(layers.Dense(64, activation='relu', input_shape=(10000,))) model.add(layers.Dense(64, activation='relu')) 
    model.add(layers.Dense(46, activation='softmax')) 
     
    model.compile(optimizer='rmsprop',               
    				loss='categorical_crossentropy',               
    				metrics=['accuracy']) 
    model.fit(partial_x_train,           
    			partial_y_train,           
    			epochs=9,           
    			batch_size=512,           
    			validation_data=(x_val, y_val)) 
    results = model.evaluate(x_test, one_hot_test_labels)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RCQ18xMjE_size_16_color_FFFFFF_t_70_pic_center 2]

这种方法可以得到约80% 的精度。对于平衡的二分类问题，完全随机的分类器能够得到 50% 的精度。但在这个例子中，完全随机的精度约为19%，所以上述结果相当不错，至少和随 机的基准比起来还不错。

#### 在新数据上生成预测结果 ####

你可以验证，模型实例的 predict 方法返回了在46 个主题上的概率分布。我们对所有测 试数据生成主题预测。

predictions = model.predict(x_test)

predictions 中的每个元素都是长度为 46 的向量。

predictions[0].shape 
     #(46,)

这个向量的所有元素总和为 1。

np.sum(predictions[0]) 
    # 1.0

最大的元素就是预测类别，即概率最大的类别。

np.argmax(predictions[0]) 
    # 4

## 完整代码 ##

from tensorflow.keras.datasets import reuters
    from tensorflow.keras.utils import to_categorical
    from tensorflow.keras import layers
    from tensorflow.keras import models
    import matplotlib.pyplot as plt
    import numpy as np
    
    
    (train_data, train_labels), (test_data, test_labels) = reuters.load_data(num_words=10000)
    
    #word_index = reuters.get_word_index()
    #reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])
    #decoded_newswire = ' '.join([reverse_word_index.get(i - 3, '?') for i in train_data[0]])
    
    #print(decoded_newswire)
    
    def vectorize_sequences(sequences, dimension=10000):     
      results = np.zeros((len(sequences), dimension))     
      for i, sequence in enumerate(sequences):         
        results[i, sequence] = 1.     
      return results 
    
    x_train = vectorize_sequences(train_data)
    x_test = vectorize_sequences(test_data)
    
    def to_one_hot(labels, dimension=46):
      results = np.zeros((len(labels), dimension))
      for i, label in enumerate(labels):
        results[i, label] = 1.
      return results
    
    one_hot_train_labels = to_one_hot(train_labels)
    one_hot_test_labels = to_one_hot(test_labels)
    
    # one_hot_train_labels = to_categorical(train_labels)
    # one_hot_test_labels = to_categorical(test_labels)
    
    model = models.Sequential() 
    model.add(layers.Dense(64, activation='relu', input_shape=(10000,))) 
    model.add(layers.Dense(64, activation='relu')) 
    model.add(layers.Dense(46, activation='softmax'))
    
    
    model.compile(optimizer='rmsprop',
            loss='categorical_crossentropy',
            metrics=['accuracy'])
    
    x_val = x_train[:1000]
    partial_x_train = x_train[1000:]
    
    y_val = one_hot_train_labels[:1000]
    partial_y_train = one_hot_train_labels[1000:]
    
    
    history = model.fit(partial_x_train,
                partial_y_train,
                epochs=9,
                batch_size=512,
                validation_data=(x_val, y_val))
    
    loss = history.history['loss'] 
    val_loss = history.history['val_loss'] 
    epochs = range(1, len(loss) + 1) 
     
    plt.plot(epochs, loss, 'bo', label='Training loss') 
    plt.plot(epochs, val_loss, 'b', label='Validation loss') 
    plt.title('Training and validation loss') 
    plt.xlabel('Epochs') 
    plt.ylabel('Loss') 
    plt.legend() 
     
    plt.show()
    
    # plt.clf() 
     
    # acc = history.history['acc'] 
    # val_acc = history.history['val_acc'] 
     
    # plt.plot(epochs, acc, 'bo', label='Training acc') 
    # plt.plot(epochs, val_acc, 'b', label='Validation acc') 
    # plt.title('Training and validation accuracy') 
    # plt.xlabel('Epochs') 
    # plt.ylabel('Accuracy') 
    # plt.legend() 
     
    # plt.show()

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RCQ18xMjE_size_16_color_FFFFFF_t_70_pic_center]: /images/20230209/012cd36bcd0f434ea1e77a5bbdaaf475.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RCQ18xMjE_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20230209/5722959aef534295893fa121a274e55f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RCQ18xMjE_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20200716231527713.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RCQ18xMjE=,size_16,color_FFFFFF,t_70#pic_center