Quel rang r garder sous un budget de poids ?

Plus r est grand, plus LoRA est libre, mais plus il entraîne de poids. Avec LoRA sur les requêtes et les valeurs des 12 blocs (24 couches de 768 × 768), le total est 24 × r × (768 + 768). On se donne un budget : au plus 1 % des 110 040 588 poids de DrBERT.

Parmi les rangs [1, 2, 4, 8, 16, 32, 64], garde ceux qui rentrent dans le budget, prends le plus grand, puis cherche à partir de quel r la correction LoRA d'une couche cesse d'être plus économe qu'une correction libre (égalité r × (d + k) = d × k).