La connexion résiduelle

Un bloc de Transformer ne remplace pas le vecteur d'un token : il calcule une correction Attention(x) et l'ajoute à x, sortie = x + Attention(x). Vers l'avant, si l'attention n'a rien à ajouter (≈ 0), le token garde son vecteur. Vers l'arrière, la dérivée vaut 1 + celle de l'attention : le « 1 » laisse passer la pente même si l'attention est presque plate. Condition : même taille en entrée et en sortie.

Complète residuelle (cours : [1;1] + [0,79;0,79] = [1,79;1,79]) et la pente.