← Tous les exercices
Préférence A ≻ B : la perte d'un modèle de récompense
Partie 5 · ★★
Pour apprendre des préférences (RLHF), un modèle de récompense rend une note par réponse. Pour une paire, on veut une note plus haute pour A (préférée) que pour B (rejetée). La probabilité que le modèle classe A avant B est σ(note_A − note_B) ; la perte est −ln de cette probabilité : petite si A est bien devant B, grande si B passe devant.
Trois paires (note de A, note de B) : (2,1 ; −0,4), (0,3 ; 0,9), (1,0 ; −1,0). Calcule la probabilité, la perte de chaque paire, la perte moyenne, et l'exactitude (part des paires où A a une note plus haute que B).
def sigmoide(u): return 1 / (1 + math.exp(-u)) paires = [(2.1, -0.4), (0.3, 0.9), (1.0, -1.0)] p_a = [sigmoide(a ___ b) for a, b in paires] pertes = [-math.log(___) for p in p_a] perte_moyenne = sum(pertes) / len(pertes) exactitude = sum(a > b for a, b in paires) / len(___)
Ctrl/⌘+Entrée