← Tous les exercices
BPE : compter les paires
Partie 1 · ★★
Pour apprendre des sous-mots, on part des lettres de chaque token et on compte les paires de symboles voisins. Une paire compte autant de fois que son token apparaît : « c h » est dans chien (110), chiens (377), chat (46) et chats (151), donc 684.
Parcours chaque token, forme les paires de symboles voisins avec zip(suite, suite[1:]), et ajoute à chaque paire le nombre d'apparitions du token.
mots = {"chien": 110, "chiens": 377, "chat": 46, "chats": 151} symboles = {mot: list(mot) for mot in mots} def compter_paires(symboles): comptes = Counter() for mot, suite in symboles.items(): for a, b in zip(suite, ___): comptes[(a, b)] += ___ return comptes
Ctrl/⌘+Entrée