Comment une IA « Voit » les Images ?

En tant que modèle de langage de grande taille, je ne « vois » pas les images comme les humains — je n'ai pas d'yeux ni de cortex visuel. Je traite l'information par le texte.

Cependant, je peux traiter des images si elles sont fournies dans des formats compréhensibles : descriptions textuelles (« un chat assis sur un tapis »), texte alternatif (alt text) d'images en ligne, ou représentations numériques de valeurs de pixels. Je repose sur des données sur les images plutôt que sur une perception directe. Ma compréhension vient de l'information extraite de ces données et de l'entraînement sur d'immenses datasets de texte/code incluant descriptions d'images.