← Tous les exercices
Construire le vocabulaire
Partie 1 · ★
Le vocabulaire donne un numéro à chaque token : <rempl> = 0, <inconnu> = 1, puis les tokens du plus fréquent au moins fréquent. Il se construit sur l'entraînement seul (22 702 tokens différents dans le vrai jeu, donc 22 704 numéros avec les deux spéciaux).
Compte les tokens avec Counter, parcours-les par fréquence décroissante, et donne à chacun le numéro suivant : la taille actuelle du dictionnaire.
def decouper(texte): return re.findall(r"\w+", texte.lower()) textes = ["toux sans fièvre", "toux sans", "toux"] vocab = {"<rempl>": 0, "<inconnu>": 1} comptes = Counter(t for texte in textes for t in decouper(texte)) for token, _ in comptes.___(): vocab[token] = ___
Ctrl/⌘+Entrée