DPO : lire la perte pour savoir quoi changer

Partie 5 · ★★★

La fonction perte_dpo est fournie. Le modèle de départ donne ln π₀(A) = −12 et ln π₀(B) = −11. Fais trois expériences pour comprendre ce que le modèle doit faire :

perte_mieux : le modèle monte ln π(A) à −10, B inchangée (−11)
perte_pire : le modèle monte ln π(B) à −9, A inchangée (−12)
perte_beta1 : le cas du cours (ln π(A) = −11, ln π(B) = −13) mais avec β = 1

Conclus : pour faire baisser la perte, le modèle doit augmenter ln π(A) et baisser ln π(B).

def sigmoide(u):
    return 1 / (1 + math.exp(-u))

def perte_dpo(lp_a, lp_b, ref_a, ref_b, beta=0.1):
    ecart = (lp_a - ref_a) - (lp_b - ref_b)
    return -math.log(sigmoide(beta * ecart))

perte_depart = perte_dpo(-12, -11, -12, -11)
perte_mieux = perte_dpo(___, -11, -12, -11)
perte_pire = perte_dpo(-12, ___, -12, -11)
perte_beta1 = perte_dpo(-11, -13, -12, -11, beta=___)

Ctrl/⌘+Entrée

Exercice suivant → RAG, étape 1 : découper un document en passages