Compter les poids du fine-tuning de DrBERT

Partie 6 · ★★★

Fine-tuning de DrBERT : on gèle les 12 blocs sauf le dernier, plus la tête 768 → 12. Un bloc contient : l'attention (4 couches denses 768 → 768 avec biais : W_Q, W_K, W_V et la sortie), un MLP (768 → 3 072 puis 3 072 → 768, avec biais) et 2 normalisations de 2 × 768 nombres (échelle et décalage).

Retrouve les nombres du cours : la tête seule (extraction) a 9 228 poids ; le fine-tuning du dernier bloc 7 097 100.

d = 768
tete = d * 12 + ___
attention = 4 * (d * d + ___)
mlp = (d * 3072 + 3072) + (3072 * d + ___)
normalisations = 2 * (2 * ___)
dernier_bloc = attention + mlp + normalisations
total = dernier_bloc + tete

Ctrl/⌘+Entrée

Exercice suivant → Softmax avec température