Suivre une consigne

Un assistant se fabrique en trois entraînements successifs du même modèle (Ouyang et al., 2022, InstructGPT) :

Étape	Quoi	Données
1. Pré-entraîner	deviner le token suivant	d'immenses corpus (J3)
2. Affiner sur des consignes	des paires consigne-réponse	écrites par des humains
3. Apprendre des préférences	des paires de réponses classées	classées par des humains

Après l'étape 1, le modèle sait prolonger un texte mais pas répondre : devant une consigne, il continue la phrase. Les étapes 2 et 3 ne sont pas des tests : ce sont deux nouveaux entraînements.

L'étape 2 apprend au modèle à répondre

Un texte d'entraînement parmi des milliers : « Consigne : Résume en une phrase : patient de 67 ans, fièvre sans toux depuis trois jours, bilan urinaire positif. Réponse : Fièvre isolée depuis trois jours chez un patient de 67 ans, avec un bilan urinaire positif. »

On reprend le modèle de l'étape 1 et on continue de l'entraîner avec la perte de J3, sur des textes « consigne + bonne réponse humaine ». Seuls les tokens de la réponse comptent dans la perte : pour le modèle, la consigne n'est qu'un début de texte et la réponse la suite qu'il prédit. Ce que le modèle sait vient de l'étape 1 ; l'habitude de répondre vient de l'étape 2.

import math
p = [0.1, 0.2, 0.5, 0.8, 0.9]   # probabilité du vrai token à chaque position
masque = [0, 0, 1, 1, 1]        # 1 = token de la réponse

perte_toutes = -sum(math.log(x) for x in p) / ___
perte_reponse = -sum(m * math.log(x) for m, x in zip(masque, p)) / ___
print(perte_toutes, perte_reponse)

Étape 3 : apprendre de deux réponses classées

Consigne : « Explique en une phrase ce qu'est une fièvre sans toux. » Réponse A (préférée) : « Une température du corps élevée, sans toux. » Réponse B (rejetée) : « Toujours le signe d'une infection urinaire. » Deux voies :

• RLHF : un modèle de récompense (un réseau qui note une réponse) apprend à mieux noter A que B, puis on réentraîne le modèle de langage vers les bonnes notes, sans trop s'éloigner du modèle de départ (une KL, comme dans le VAE).
• DPO : sans modèle de récompense, on augmente directement la probabilité que le modèle donne à A et on baisse celle de B, par rapport au modèle de départ.

RLHF en trois étapes (complément) : 1. comparer : des humains classent plusieurs réponses du modèle affiné ; 2. noter : la perte du modèle de récompense sur une paire est −ln σ(r(A) − r(B)) (σ, la sigmoïde de J1) : avec r(A) = 2,0 et r(B) = 0,5, elle vaut 0,20, et 1,70 avec les notes inversées ; 3. réentraîner avec un algorithme d'apprentissage par renforcement (PPO), en retirant à la note une pénalité KL. On ne détaille pas PPO.

import math

def sig(u):
    return 1 / (1 + ___)

def perte_recompense(rA, rB):
    return -math.log(___)

perte_ok = perte_recompense(2.0, 0.5)
perte_inv = perte_recompense(0.5, 2.0)
print(perte_ok, perte_inv)

import math

def sig(u):
    return 1 / (1 + math.exp(-u))

def perte_dpo(lp_a, lp_b, ref_a, ref_b, beta=0.1):
    ecart = (lp_a - ref_a) - ___   # gain sur A moins gain sur B
    return -math.log(sig(___))

perte = perte_dpo(-11, -13, -12, -11)
depart = perte_dpo(-12, -11, -12, -11)
grand_beta = perte_dpo(-11, -13, -12, -11, beta=1.0)
print(perte, depart, grand_beta)