Pourcentage de poids entraînés et stockage par tâche

Partie 4 · ★★

Pour comparer les façons d'adapter DrBERT (110 040 588 poids au total, tête de J3 comprise), on regarde deux chiffres : la part de poids entraînés et le stockage par tâche. Chaque poids est un float32 de 4 octets ; 1 Mo = 1 000 000 octets.

Complète le calcul pour les quatre façons du cours : extraction (9 228), dernier bloc (7 097 100), LoRA r = 8 (304 140), tout le modèle (110 040 588). Classe-les ensuite du moins cher au plus cher.

manieres = {"extraction": 9228, "dernier bloc": 7097100, "tout le modèle": 110040588, "LoRA r=8": 304140}
total = 110040588

pourcent = {nom: 100 * n / ___ for nom, n in manieres.items()}
stockage_mo = {nom: n * ___ / 1e6 for nom, n in manieres.items()}
moins_cher = sorted(manieres, key=manieres.___)

Ctrl/⌘+Entrée

Exercice suivant → Quel rang r garder sous un budget de poids ?