← Tous les exercices
Un exemple d'affinage : seule la réponse compte
Partie 5 · ★★
L'étape 2 est un entraînement : on reprend le modèle pré-entraîné et on continue avec la perte de J3 sur des textes « consigne suivie de réponse ». Pour le modèle, la consigne n'est qu'un début de texte et la réponse la suite qu'il prédit. La perte ne compte donc que sur les tokens de la réponse, grâce à un masque : 0 sur la consigne, 1 sur la réponse.
Découpe le texte (decouper est fournie), construis le masque, puis calcule la perte moyenne sur la réponse seule, à partir de la perte de chaque token (fournies, une par token).
def decouper(texte): return re.findall(r"\w+", texte.lower()) consigne = "Résume en une phrase : fièvre sans toux." reponse = "Fièvre isolée depuis trois jours." pertes = [2.0] * 7 + [1.0, 0.5, 1.5, 0.5, 0.5] tokens = decouper(consigne) + decouper(___) masque = [0] * len(decouper(consigne)) + [1] * len(decouper(___)) perte = sum(p * m for p, m in zip(pertes, masque)) / sum(___)
Ctrl/⌘+Entrée