ResNet-18 : tailles des cartes et poids contre notre petit CNN

Partie 4 · ★★★

Avec la formule de taille de la partie 1, retrouve les tailles de ResNet-18 sur une image de 224 × 224 : convolution 7 × 7 (stride 2, padding 3), max pooling 3 × 3 (stride 2 ; padding 1 dans torchvision, non précisé sur la diapositive), puis trois transitions de blocs où une convolution 3 × 3 de stride 2 (padding 1) divise la taille par 2 (56 → 28 → 14 → 7).

Calcule ensuite les entrées de la couche dense à plat (512 cartes de 7 × 7) ou avec la moyenne de chaque carte (512 nombres), puis compare ses 11 689 512 paramètres à ceux du CNN de la pneumonie (160 + 4 640 + 1 569 = 6 369) : le cours dit environ 1 800 fois plus.

def taille(n, k, p, s):
    return (n + 2 * p - k) // s + 1

t = taille(224, 7, 3, 2)
tailles = [t]
t = taille(t, ___, 1, 2)
tailles.append(t)
for _ in range(3):
    t = taille(t, 3, 1, ___)
    tailles.append(t)

entrees_a_plat = 512 * t * t
entrees_moyenne = 512
cnn_pneumonie = 160 + 4640 + (1568 * 1 + 1)
rapport = 11689512 / ___

Ctrl/⌘+Entrée

Exercice suivant → Moyenne globale contre max pooling : la position perdue