當(dāng)我們第一次引入神經(jīng)網(wǎng)絡(luò)時(shí)，我們專(zhuān)注于具有單一輸出的線性模型。在這里，整個(gè)模型只包含一個(gè)神經(jīng)元。請(qǐng)注意，單個(gè)神經(jīng)元 (i) 接受一組輸入；(ii) 生成相應(yīng)的標(biāo)量輸出；(iii) 有一組相關(guān)參數(shù)，可以更新這些參數(shù)以?xún)?yōu)化一些感興趣的目標(biāo)函數(shù)。然后，一旦我們開(kāi)始考慮具有多個(gè)輸出的網(wǎng)絡(luò)，我們就利用矢量化算法來(lái)表征整個(gè)神經(jīng)元層。就像單個(gè)神經(jīng)元一樣，層 (i) 采用一組輸入，(ii) 生成相應(yīng)的輸出，并且 (iii) 由一組可調(diào)參數(shù)描述。當(dāng)我們進(jìn)行 softmax 回歸時(shí)，單層本身就是模型。然而，即使我們隨后引入了 MLP，

有趣的是，對(duì)于 MLP，整個(gè)模型及其組成層都共享這種結(jié)構(gòu)。整個(gè)模型接受原始輸入（特征），生成輸出（預(yù)測(cè)），并擁有參數(shù)（來(lái)自所有構(gòu)成層的組合參數(shù)）。同樣，每個(gè)單獨(dú)的層攝取輸入（由前一層提供）生成輸出（后續(xù)層的輸入），并擁有一組可調(diào)參數(shù)，這些參數(shù)根據(jù)從后續(xù)層向后流動(dòng)的信號(hào)進(jìn)行更新。

雖然您可能認(rèn)為神經(jīng)元、層和模型為我們提供了足夠的抽象來(lái)開(kāi)展我們的業(yè)務(wù)，但事實(shí)證明，我們經(jīng)常發(fā)現(xiàn)談?wù)摫葐蝹€(gè)層大但比整個(gè)模型小的組件很方便。例如，在計(jì)算機(jī)視覺(jué)領(lǐng)域廣受歡迎的 ResNet-152 架構(gòu)擁有數(shù)百層。這些層由層組的重復(fù)圖案組成。一次一層地實(shí)現(xiàn)這樣的網(wǎng)絡(luò)會(huì)變得乏味。這種擔(dān)憂不僅僅是假設(shè)——這樣的設(shè)計(jì)模式在實(shí)踐中很常見(jiàn)。上面提到的 ResNet 架構(gòu)贏得了 2015 年 ImageNet 和 COCO 計(jì)算機(jī)視覺(jué)識(shí)別和檢測(cè)競(jìng)賽（He et al. , 2016）并且仍然是許多視覺(jué)任務(wù)的首選架構(gòu)。層以各種重復(fù)模式排列的類(lèi)似架構(gòu)現(xiàn)在在其他領(lǐng)域無(wú)處不在，包括自然語(yǔ)言處理和語(yǔ)音。

為了實(shí)現(xiàn)這些復(fù)雜的網(wǎng)絡(luò)，我們引入了神經(jīng)網(wǎng)絡(luò)模塊的概念。模塊可以描述單個(gè)層、由多個(gè)層組成的組件或整個(gè)模型本身！使用模塊抽象的一個(gè)好處是它們可以組合成更大的工件，通常是遞歸的。如圖 6.1.1所示。通過(guò)定義代碼以按需生成任意復(fù)雜度的模塊，我們可以編寫(xiě)出奇緊湊的代碼并仍然實(shí)現(xiàn)復(fù)雜的神經(jīng)網(wǎng)絡(luò)。

圖 6.1.1多層組合成模塊，形成更大模型的重復(fù)模式。

從編程的角度來(lái)看，模塊由類(lèi)表示。它的任何子類(lèi)都必須定義一個(gè)前向傳播方法，將其輸入轉(zhuǎn)換為輸出，并且必須存儲(chǔ)任何必要的參數(shù)。請(qǐng)注意，某些模塊根本不需要任何參數(shù)。最后，為了計(jì)算梯度，模塊必須具有反向傳播方法。幸運(yùn)的是，由于自動(dòng)微分（在2.5 節(jié)中介紹）在定義我們自己的模塊時(shí)提供了一些幕后魔法，我們只需要擔(dān)心參數(shù)和前向傳播方法。

import torch
from torch import nn
from torch.nn import functional as F

from mxnet import np, npx
from mxnet.gluon import nn

npx.set_np()

from typing import List
import jax
from flax import linen as nn
from jax import numpy as jnp
from d2l import jax as d2l

No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)

import tensorflow as tf

首先，我們重新審視用于實(shí)現(xiàn) MLP 的代碼（第 5.1 節(jié)）。以下代碼生成一個(gè)網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有一個(gè)具有 256 個(gè)單元和 ReLU 激活的全連接隱藏層，后跟一個(gè)具有 10 個(gè)單元的全連接輸出層（無(wú)激活函數(shù)）。

net = nn.Sequential(nn.LazyLinear(256), nn.ReLU(), nn.LazyLinear(10))

X = torch.rand(2, 20)
net(X).shape

torch.Size([2, 10])

net = nn.Sequential()
net.add(nn.Dense(256, activation='relu'))
net.add(nn.Dense(10))
net.initialize()

X = np.random.uniform(size=(2, 20))
net(X).shape

(2, 10)

net = nn.Sequential([nn.Dense(256), nn.relu, nn.Dense(10)])

# get_key is a d2l saved function returning jax.random.PRNGKey(random_seed)
X = jax.random.uniform(d2l.get_key(), (2, 20))
params = net.init(d2l.get_key(), X)
net.apply(params, X).shape

(2, 10)

net = tf.keras.models.Sequential([
  tf.keras.layers.Dense(256, activation=tf.nn.relu),
  tf.keras.layers.Dense(10),
])

X = tf.random.uniform((2, 20))
net(X).shape

TensorShape([2, 10])

class MLP(nn.Module):
  def __init__(self):
    # Call the constructor of the parent class nn.Module to perform
    # the necessary initialization
    super().__init__()
    self.hidden = nn.LazyLinear(256)
    self.out = nn.LazyLinear(10)

  # Define the forward propagation of the model, that is, how to return the
  # required model output based on the input X
  def forward(self, X):
    return self.out(F.relu(self.hidden(X)))

class MLP(nn.Block):
  def __init__(self):
    # Call the constructor of the MLP parent class nn.Block to perform
    # the necessary initialization
    super().__init__()
    self.hidden = nn.Dense(256, activation='relu')
    self.out = nn.Dense(10)

  # Define the forward propagation of the model, that is, how to return the
  # required model output based on the input X
  def forward(self, X):
    return self.out(self.hidden(X))

class MLP(nn.Module):
  def setup(self):
    # Define the layers
    self.hidden = nn.Dense(256)
    self.out = nn.Dense(10)

  # Define the forward propagation of the model, that is, how to return the
  # required model output based on the input X
  def __call__(self, X):
    return self.out(nn.relu(self.hidden(X)))

class MLP(tf.keras.Model):
  def __init__(self):
    # Call the constructor of the parent class tf.keras.Model to perform
    # the necessary initialization
    super().__init__()
    self.hidden = tf.keras.layers.Dense(units=256, activation=tf.nn.relu)
    self.out = tf.keras.layers.Dense(units=10)

  # Define the forward propagation of the model, that is, how to return the
  # required model output based on the input X
  def call(self, X):
    return self.out(self.hidden((X)))