Le sur-apprentissage

Avec seulement 1 000 images d'entraînement, le réseau des organes finit par les apprendre par cœur : il connaît ses images, mais plus les nouvelles. Dans l'exercice 6, tu vas le voir sur les courbes, appliquer le remède du cours (garder les poids de la meilleure époque de validation), puis mesurer la note de test, une seule fois.

Le petit jeu : Subset(train_set, range(1000)) garde les 1 000 premières images d'un jeu ; un DataLoader par paquets de 64, mélangés, donne 16 paquets par époque (1 000 / 64 = 15,6 arrondi vers le haut). On entraîne 60 époques et on note, à chaque époque, la perte d'entraînement et la perte de validation (sur le jeu de validation, via val_loader).

import math
images = ["img" + str(i) for i in range(34561)]
indices = list(range(___))
nb_paquets = math.ceil(len(indices) / ___)
petit_train = [images[i] for i in ___]
print(len(indices), nb_paquets, len(petit_train))

Lire les courbes

(Lecture usuelle, reprise du tableau de la partie 9 du polycopié, non fourni.)

Ce que tu vois	Ce que ça veut dire
Entraînement et validation baissent ensemble	le réseau apprend : continue
Entraînement baisse, validation remonte	le réseau apprend par cœur : sur-apprentissage
Les deux restent hautes	le réseau n'apprend pas assez (boucle, pas, capacité)

Le contrôle du notebook (verifier_sur_apprentissage) utilise la règle suivante : la perte d'entraînement finale tombe sous 0,1, la perte de validation finale dépasse 1,1 fois son minimum, et ce minimum n'est pas à la dernière époque. Tu l'as déjà observée en petit à l'exercice 5 : l'entraînement passe de 0,627 à 0,056 (sous 0,1), alors que la validation passe de 0,388 à 0,547, plus de 1,1 fois son minimum 0,388 (atteint à l'époque 1).

pertes_entrainement = [0.627, 0.246, 0.132, 0.082, 0.056]
pertes_validation = [0.388, 0.406, 0.459, 0.467, 0.547]
meilleure = min(___)
meilleure_epoque = pertes_validation.index(meilleure) + ___
surapprentissage = pertes_entrainement[-1] < 0.1 and pertes_validation[-1] > ___ * meilleure
print(meilleure, meilleure_epoque, surapprentissage)

Garder les poids de la meilleure époque

modele.state_dict() renvoie tous les poids du modèle, mais ce sont les poids vivants : ils continuent de changer à chaque pas. Pour en garder une photo figée, on les copie avec copy.deepcopy(...). Plus tard, modele.load_state_dict(poids) remet ces poids dans le modèle.

La boucle : à chaque époque, si la perte de validation est la plus basse vue jusqu'ici, on note le numéro de l'époque (epoque + 1) et on garde une copie figée des poids. On part de meilleure_perte = float("inf") (l'infini : la première perte fera forcément mieux). À la fin, on remet les meilleurs poids dans le modèle.

import copy
pertes_validation = [0.9, 0.7, 0.5, 0.6, 0.8]
poids = {"w": 0}
meilleure_perte = float("inf")
meilleure_epoque = None
meilleurs_poids = None
for epoque, perte_val in enumerate(pertes_validation):
    poids["w"] += 1            # l'entraînement de l'époque (maquette)
    if perte_val ___ meilleure_perte:
        meilleure_perte = perte_val
        meilleure_epoque = epoque + ___
        meilleurs_poids = copy.___(poids)
poids.update(___)
print(meilleure_epoque, meilleurs_poids, poids)

La note finale, une seule fois

Les images de test n'ont servi à rien jusqu'ici : ni à apprendre, ni à choisir l'époque. On mesure l'accuracy de test, avec les meilleurs poids, une seule fois, à la toute fin (un DataLoader sur test_set, par paquets de 256, et evaluer(modele, test_loader)). Le jeu de test d'OrganAMNIST compte 17 778 images.

Pourquoi une seule fois ? Réponse b du notebook : parce qu'on a choisi la meilleure époque grâce à la validation, sa note est donc un peu trop optimiste ; le test, jamais utilisé avant, donne une note honnête. Ce n'est pas une question de temps de calcul (réponse a), ni d'organes différents (réponse c : les trois groupes contiennent les mêmes 11 organes, mais des scanners différents).

Pour aller plus loin (notebook) : entraîne le même réseau sur les 34 561 images pendant 5 époques. Quelle accuracy de test obtiens-tu ? Qu'en conclus-tu sur le meilleur remède au sur-apprentissage ? Le notebook laisse la conclusion ouverte (piste, non vérifiée ici : plus d'images d'entraînement).