Softmax avec température

Partie 7 · ★★

Pour écrire, le modèle donne une probabilité à chaque token suivant (softmax) puis on en tire un. La température T règle la part de hasard : on divise les scores par T avant la softmax. T basse -> presque toujours le plus probable ; T haute -> choix plus variés ; T = 1 -> la softmax ordinaire.

Complète softmax_temperature(scores, T). Pour les scores [2, 1, 0] et T = 1 tu dois trouver [0,67 ; 0,24 ; 0,09].

def softmax_temperature(scores, T):
    m = max(scores)
    exps = [math.exp((s - m) / ___) for s in scores]
    total = sum(exps)
    return [e / total for e in exps]

Ctrl/⌘+Entrée

Exercice suivant → Le masque causal