La moyenne des embeddings

Partie 2 · ★

Un embedding est un vecteur court attribué à un token (2 composantes ici, 64 dans le notebook). Pour un résumé entier, on additionne les embeddings composante par composante puis on divise par le nombre de tokens : le résultat a la taille d'un embedding, quelle que soit la longueur du résumé.

Complète moyenne. Piège du cours : « fièvre sans toux » et « toux sans fièvre » donnent le même [0,67 ; 0,67] — l'ordre est perdu.

table = {"fièvre": [1, 0], "sans": [0, 1], "toux": [1, 1]}

def moyenne(tokens):
    somme = [0, 0]
    for t in tokens:
        somme = [s + e for s, e in zip(somme, ___)]
    return [s / ___ for s in somme]

Ctrl/⌘+Entrée

Exercice suivant → La moyenne masquée