CNN, RNN, Transformer : quand utiliser quoi ?

Ce qu'une architecture suppose sur les données s'appelle son biais inductif : plus il correspond aux données, moins il faut d'exemples.

Architecture	Ce qu'elle lit	Ce qu'elle suppose	Usages	Exemple médical
CNN (J2)	des grilles : images, coupes	les pixels voisins comptent ensemble ; un motif peut être n'importe où	classer, détecter, détourer	détourer des cellules en microscopie (U-Net, Ronneberger et al., 2015)
RNN, LSTM	des suites, dans l'ordre	l'ordre compte ; l'information passe de token en token	séries temporelles, signaux, textes courts	diagnostics à partir des mesures de réanimation (Lipton et al., 2016)
Transformer	des suites de tokens : mots, morceaux d'image ou de son	des relations apprises entre toutes les positions	texte, parole, images (ViT), grands modèles de langage	orienter des résumés médicaux (DrBERT)

Le Transformer suppose peu, d'où son besoin de pré-entraînement.