Weight decay : un poids utile et un poids inutile

Partie 3 · ★★★★

À chaque pas, le weight decay ramène d'abord chaque poids vers 0 (w ← w × facteur, avec facteur = 1 − η·λ), puis le pas de descente habituel s'applique. Exemple jouet du cours (facteur exagéré à 0,99, η = 0,1 pour voir l'effet) : deux poids valent 2. Pour le poids utile, la perte vaut (w − 2)², donc sa pente est 2 × (w − 2) ; pour le poids inutile, la perte ne dépend pas de lui : pente nulle.

Simule les deux poids. Dans le vrai réseau, η = 0,001 et λ = 0,01 : calcule aussi le facteur réel.

def simuler(pas, utile, facteur=0.99, eta=0.1):
    w = 2.0
    for _ in range(pas):
        w = w * ___
        if utile:
            pente = 2 * (w - 2)
            w = w - eta * pente
    return w

utile_1 = simuler(1, True)
utile_10 = simuler(10, True)
utile_100 = simuler(100, True)
inutile_10 = simuler(10, False)
inutile_100 = simuler(100, False)
inutile_500 = simuler(500, False)
rapport = simuler(500, True) / inutile_500
facteur_vrai = 1 - ___ * 0.01

Ctrl/⌘+Entrée

Exercice suivant → Présenter une radiographie comme une photo d'ImageNet