Comprendre le concept de Tokens pour une utilisation écoresponsable de ChatGPT

On peut considérer les tokens comme une sorte d’unité de ressource utilisée par l’IA pour générer du texte. Tout comme l’énergie est une ressource limitée, les tokens sont une ressource limitée que le modèle (l’IA) utilise pour comprendre, traiter et générer des réponses.

Plus précisément :

• Les Tokens sont des unités de traitement pour l’IA : chaque token correspond à un « morceau » du texte ou de l’image traité.

• Chaque fois que l’IA génère un token, elle « consomme » une partie de cette ressource.

• Plus la réponse est longue (en tokens), plus le modèle consomme de ressources pour la produire.

Cela signifie que le nombre de tokens que vous utilisez dans votre prompt et dans la réponse générée détermine combien de « travail » l’IA doit faire, et donc combien de ressources sont « consommées » pour cette tâche.

C’est pour cela que dans ses instructions, on peut définir une limite de max tokens,(niveau avancé) afin de réguler la quantité de « ressources » utilisées. 

Un token peut être un mot complet, mais aussi une partie d’un mot ou même un symbole. Par exemple, « chat » pourrait être un token, tout comme « école » ou même « extraordinaire ». Mais aussi, des mots plus longs comme « automobile » peuvent être divisés en plusieurs tokens. Un token peut aussi être une ponctuation, un espace, etc.

Par exemple :

• « Chat » pourrait être 1 token.

• « ChatGPT » pourrait être 2 tokens (« Chat » et « GPT »).

• Une phrase comme « Je vais à l’école. » pourrait être divisée en plusieurs tokens : [« Je », « vais », « à », « l' », « école », « . »].

Tout comme une batterie a une capacité limitée, une IA a une capacité limitée en termes de tokens qu’elle peut traiter en une fois. En définissant un nombre maximal de tokens, vous limitez la quantité de ressources que vous autorisez à être utilisée pour la réponse.

Pourquoi utiliser une citerne si l’on a besoin d’un verre d’eau ? Les tokens fonctionnent un peu comme une unité de ressource énergétique utilisée pour générer du texte ou de l’image. En spécifiant un nombre de tokens limite dans son prompt, en fonction du degrés de précision attendu, on limite la consommation de ressources énergétiques.

Lorsque vous utilisez une IA comme ChatGPT, votre abonnement, gratuit ou payant, vous donne droit à un des crédits, une certaine quantité de tokens. Une fois que vous avez atteint cette limite, l’IA ne répond plus jusqu’à ce que cette limite se réinitialise.

En spécifiant un nombre de tokens maximum dans vos prompts, vous optimisez la capacité de ressources que votre abonnement vous permet d’utiliser.

Il s’agit ici d’une des techniques avancées du Prompt engineering. Dans un premier temps et le temps de comprendre comment réfléchit, répond une IA et comment communiquer avec elle, il est préférable de laisser libre cours à son imagination.