Numéroter, et les tokens inconnus

Partie 1 · ★

À l'évaluation, le texte contient des tokens absents du vocabulaire (« expectoration » : 13 fois dans le test, jamais à l'entraînement). On les remplace par <inconnu>, numéro 1 : le réseau sait qu'il y avait un mot, pas lequel. dict.get(clé, défaut) fait exactement cela.

Complète numeroter, compte les inconnus d'une phrase, puis retrouve le taux du cours : 12 679 tokens inconnus sur 260 788, soit 4,86 %.

def decouper(texte):
    return re.findall(r"\w+", texte.lower())

vocab = {"<rempl>": 0, "<inconnu>": 1, "fièvre": 2, "sans": 3, "toux": 4}

def numeroter(texte, vocab):
    return [vocab.___(token, ___) for token in decouper(texte)]

ids = numeroter("toux sans expectoration", vocab)
inconnus = sum(n == ___ for n in ids)
taux = round(100 * ___ / 260788, 2)

Ctrl/⌘+Entrée

Exercice suivant → BPE : compter les paires