Prompting IA niveau -très- avancé : Maîtriser les paramètres de génération

Au-delà du prompt lui-même, les paramètres de génération jouent un rôle essentiel dans la qualité de la réponse produite par une IA. Pour une utilisation quotidienne, personnelle d’une IA comme ChatGPT, ces réglages peuvent être superflus. Pour une utilisation plus avancée, professionnelle, ils détermineront la qualité du travail et de la réponse générée par l’IA.

1/ la Température

La température contrôle le niveau de précision dans les réponses. En fonction du paramètre spécifié, elle va influer dans la réponse de l’IA sur le degré de créativité ou de pertinence que l’on souhaite.

Pour générer sa réponse, votre IA va calculer, mot après mot, la plus forte probabilité du mot suivant. En jouant sur la température, vous allez lui indiquer si vous souhaitez que le mot suivant soit celui qui a « La » plus forte probabilité, ou lui laisser avoir libre cours à son imagination et choisir un mot parmi ceux qui ont « les » plus fortes probabilités.

Exemple : 

Pour la phrase « La mer est » :

Avec une température basse, le mot suivant sera « bleue ».

Avec une température haute, le mot suivant pourrait être « rouge » ou « morte ».

Quel intérêt ? vous souhaitez une réponse factuelle, vous indiquerez une température basse et l’IA vous donnera comme réponse « la mer est bleue ». Vous voulez que votre IA écrivent un poème, l’IA vous répondra par « la mer est rouge » pour par exemple faire une métaphore.

On considère que, comme réglage de base, les algorithmes d’une IA sont sur une température basse.

Valeur entre 0 et 1 (parfois jusqu’à 2)

• Température basse (ex : 0.2) : réponses plus déterministes, logiques, cohérentes.
• Température haute (ex : 0.8) : plus de variété, d’originalité, utile pour la création de contenu.

2/ Top-k

Fonction : au lieu de considérer tous les mots possibles, votre IA ne va considérer que les k mots les plus probables.

Exemple : avec k=3, l’IA choisira probablement entre « bleue », « rouge » et « morte ». Avec K=10, elle choisira entre, bleue, rouge, morte, agitée, calme, belle… avec k=50, elle choisit dans les 50 mots les plus probables.

Avantage : réduit les dérives inattendues. Avec un « petit » k, l’IA calculera la plus forte probabilité du mot suivant en cherchant dans sa base de connaissance sur la mer par exemple. Avec un k plus élevé, elle cherchera le mot suivant dans une base de connaissance plus large, la nature par exemple.

En spécifiant un rôle à l’IA et en lui indiquant donc une base de connaissance spécifique, vous affinerez d’autant plus la réponse puisqu’elle recherchera parmi les K mots probables dans ce métier, cette activité…

3/ Top-p

Fonction : choisit dynamiquement un sous-ensemble de mots dont la probabilité cumulée atteint p (ex : 0.9).

Plus fluide que top-k, car adaptatif. Permet des réponses plus naturelles tout en évitant les sorties extrêmes.

Combiner les trois : Pour un contenu créatif et fluide, utilisez par exemple :

• Température : 0.7
• Top-k : 40
• Top-p : 0.9

✅ Réponse très stricte et fiable (ex : juridique, technique, analytique)

• Température : 0.2
  → Très peu de hasard, favorise des réponses logiques et reproductibles.

• Top-k : 10
  → L’IA pioche uniquement parmi les 10 mots les plus probables, limitant les dérives.

• Top-p : 0.8
  → Réduit encore la marge d’improvisation en concentrant la génération sur un noyau sûr.

🧠 Usage recommandé : Explications techniques, calculs, synthèses juridiques, résumés rigoureux.

✅ Réponse très créative mais cohérente (ex : storytelling, branding, contenu original)

• Température : 0.9
  → Introduit un fort degré de créativité, propice aux idées nouvelles.

• Top-k : 100
  → Étend le champ lexical utilisé tout en limitant les choix à des mots plausibles.

• Top-p : 0.95
  → Laisse plus de liberté tout en maintenant une certaine structure narrative.

🧠 Usage recommandé : Scénarios, pitchs marketing, dialogues, concepts créatifs.

4/ Pour clarifier : Mieux comprendre les notions de Top-p et de Tokens

4.1 Top-p (aussi appelé nucleus sampling)

• Le Top-p n’indique pas un nombre de mots ou de tokens, mais une probabilité cumulée.

• Concrètement, l’IA va classer tous les mots possibles qu’elle pourrait dire à l’étape suivante, du plus probable au moins probable.

• Ensuite, elle prend les premiers mots de cette liste jusqu’à ce que la somme de leurs probabilités atteigne la valeur “p” que vous avez définie (par exemple 0.9 = 90%).

• Elle choisit ensuite un mot au hasard parmi ces mots-là uniquement, et ignore tous les autres, même s’ils sont techniquement possibles.

👉 C’est une façon intelligente de limiter le hasard, tout en gardant de la variété et du naturel dans les réponses.

4.2 Max tokens

Ce paramètre définit la longueur maximale de la réponse générée, non pas en mots ou en caractères, mais en tokens.

• Un token, c’est une unité de texte utilisée par les modèles d’IA. Cela peut être :

  • un mot court comme chat

  • une partie de mot comme intelli et gence

  • une ponctuation comme ! ou ,

  • un espace

En moyenne, 1 mot = environ 1,3 à 1,5 tokens, mais ce n’est pas toujours exact.

👉 Définir max_tokens permet donc de limiter la taille d’une réponse, ce qui est utile pour :

• éviter des réponses trop longues

• contrôler les coûts d’utilisation

• mieux structurer la sortie du modèle