One-hot et sac de mots

Partie 2 · ★

Un numéro n'est pas une mesure : « toux » (4) ne vaut pas deux « fièvre » (2). Le one-hot donne une composante par token du vocabulaire, toutes à 0 sauf celle du token. Le sac de mots d'un résumé est la somme des one-hot de ses tokens : sa taille est fixe, mais l'ordre est perdu.

Complète one_hot (5 composantes ici ; 22 704 avec le vrai vocabulaire) puis sac_de_mots.

petit_vocab = {"<rempl>": 0, "<inconnu>": 1, "fièvre": 2, "sans": 3, "toux": 4}

def one_hot(token):
    v = [0] * len(___)
    v[petit_vocab[token]] = ___
    return v

def sac_de_mots(tokens):
    sac = [0] * len(petit_vocab)
    for token in tokens:
        v = one_hot(token)
        sac = [s + x for s, x in zip(sac, ___)]
    return sac

Ctrl/⌘+Entrée

Exercice suivant → La moyenne des embeddings