Embeddings (plongements vectoriels)

Un embedding, ou plongement vectoriel, est une représentation numérique d'un texte sous forme de liste de nombres, construite par un modèle pour que des textes de sens proche obtiennent des vecteurs proches.

Timothé Merle

En résumé

Définition clé

Les embeddings convertissent des mots, des phrases ou des passages en vecteurs de plusieurs centaines ou milliers de dimensions. Plus deux vecteurs sont proches, plus les deux textes se ressemblent par le sens. Un moteur de recherche IA compare l'embedding d'une question à ceux de millions de passages, garde les plus proches et bâtit sa réponse dessus. Un passage écarté à cette étape ne peut pas être cité.

Importance

Pourquoi est-ce important ?

  • Dans un système de type RAG, les embeddings décident en bonne partie des passages récupérés, donc des sources qui ont une chance d'être citées.
  • Deux textes sans un seul mot commun peuvent avoir des vecteurs proches. Une page répond alors à des questions formulées tout autrement que son titre.
  • Un passage qui mêle plusieurs sujets donne un vecteur flou. Il colle moins bien à chaque question précise qu'un passage centré sur un seul sujet.
  • Regrouper des contenus, repérer des doublons, recommander des pages liées, les embeddings servent aussi à ces tâches très concrètes pour un site.
  • Quand on comprend les embeddings, on écrit pour les moteurs IA sans tomber dans le bourrage de mots-clés, qui ne rapproche pas un texte du sens d'une question.

Comment ça fonctionne ?

Un modèle d'embeddings lit un texte et en sort un vecteur de taille fixe. Ces vecteurs sont ensuite stockés, indexés et comparés pour retrouver les textes les plus proches d'une requête.

  1. 1

    Du texte au vecteur

    Entraîné sur de gros volumes de texte, le modèle a appris à placer les contenus de sens voisin dans la même zone de l'espace. Les premiers travaux connus, comme word2vec en 2013, encodaient des mots isolés. Ils montraient que vecteur(King) moins vecteur(Man) plus vecteur(Woman) tombe près de Queen. Les modèles récents encodent des phrases et des passages entiers. OpenAI indique par exemple que text-embedding-3-small produit par défaut des vecteurs de 1536 dimensions, et text-embedding-3-large de 3072.

  2. 2

    Mesurer la proximité

    On mesure le plus souvent la proximité entre deux embeddings par la similarité cosinus, c'est-à-dire l'angle entre les deux vecteurs. Un score proche de 1 signale des textes très proches par le sens. La documentation d'OpenAI le formule ainsi, une petite distance suggère une forte proximité de sens, une grande distance une faible proximité.

  3. 3

    Découpage et index vectoriel

    Une page entière fait un mauvais vecteur, parce qu'elle aborde souvent plusieurs sujets. Les systèmes la découpent en passages, de quelques phrases à quelques paragraphes, et calculent un embedding par passage. Ces vecteurs vont dans un index vectoriel, capable de retrouver en quelques millisecondes les plus proches voisins d'une requête parmi des millions d'entrées.

  4. 4

    Le rôle dans la recherche IA

    Dans une architecture RAG, la question de l'utilisateur devient un embedding, comparé à l'index. Les passages les plus proches partent vers le modèle de langage, qui rédige la réponse. En 2020, les travaux sur Dense Passage Retrieval ont montré l'efficacité de cette récupération dense pour les questions ouvertes. Les moteurs commerciaux, eux, ne publient pas leurs modèles exacts et croisent souvent ce score avec d'autres signaux.

Métriques

Comment le mesurer ?

  • Avec une API d'embeddings, comme celle d'OpenAI, calculez la similarité cosinus entre vos passages importants et une liste de vraies questions clients.
  • Repérez les questions dont le passage le plus proche sur votre site obtient un score faible. Ce sont vos trous de couverture.
  • Comparez les scores d'un passage avant et après réécriture, pour vérifier qu'il se rapproche vraiment des questions visées.
  • Les embeddings de vos pages font ressortir les contenus quasi identiques qui se disputent la même intention.
  • Regardez ensuite si les passages retravaillés figurent parmi les sources citées par les assistants IA, par exemple en suivant un jeu de prompts avec l'Agent reporting de Hikoo.

Pièges

Quelles sont les erreurs courantes ?

  • De longs paragraphes qui couvrent plusieurs sujets diluent le vecteur de chaque passage, qui s'éloigne alors de toutes les questions précises.
  • Commencer un paragraphe par "il" ou "cela" sans nommer le sujet donne un passage qui, une fois découpé, ne dit plus de quoi il parle.
  • Répéter un mot-clé ne rapproche pas un texte d'une requête. L'embedding encode le sens global, pas la fréquence des mots.
  • Comparer des scores de similarité issus de modèles différents n'a aucun sens, chaque modèle ayant son propre espace vectoriel.
  • Un bon score d'embedding ne garantit pas une citation. Les moteurs croisent la récupération avec d'autres signaux de qualité et de fiabilité.

Par où commencer ?

Suivez ces étapes pour commencer.

  • Découpez vos pages en sections courtes, chacune centrée sur une seule question.
  • Commencez chaque section par une phrase qui répond directement et nomme le sujet.
  • Faites en sorte que chaque paragraphe se comprenne sans le reste de la page.
  • Employez le vocabulaire de vos clients, en plus de votre vocabulaire métier.
  • Testez vos passages importants face à de vraies questions avec un modèle d'embeddings.
  • Fusionnez les pages presque identiques que la similarité fait ressortir.
  • Suivez si les passages retravaillés sont cités par les assistants IA.

Exemples

Même sens, mots différents

La question "comment annuler mon abonnement" et le passage "Pour résilier votre formule, rendez-vous dans Paramètres puis Facturation" ne partagent presque aucun mot. Leurs embeddings sont pourtant proches, puisque les deux parlent de mettre fin à un abonnement. Une recherche par mots exacts serait passée à côté.

Audit de couverture sur 40 questions

Scénario illustratif. Une équipe marketing réunit 40 questions posées par ses prospects et calcule leur similarité avec tous les passages de son site. Pour une dizaine d'entre elles, aucun passage n'atteint un score élevé. L'équipe écrit des sections dédiées à ces questions, puis surveille leur apparition parmi les sources citées par les assistants IA.

Questions fréquentes

  • Qu'est-ce qu'un embedding en termes simples ?

    Un embedding est une liste de nombres qui résume le sens d'un texte. Le modèle l'attribue de sorte que deux textes qui disent la même chose reçoivent des listes proches. On compare alors des textes par le calcul, par exemple pour trouver le passage qui répond le mieux à une question, même s'il n'emploie pas les mêmes mots.

  • Pourquoi les embeddings comptent-ils pour la visibilité dans les IA ?

    Les moteurs de recherche IA s'en servent souvent à l'étape de récupération, celle qui choisit les passages envoyés au modèle avant qu'il rédige. Si votre passage ne figure pas parmi les plus proches de la question, personne ne le lit et il ne peut pas être cité. Des passages clairs, centrés et autonomes augmentent vos chances d'être récupéré.

  • Quelle différence entre embeddings et recherche sémantique ?

    Les embeddings sont l'outil, la recherche sémantique l'usage. La recherche sémantique cherche des contenus par le sens, et le moyen le plus courant d'y arriver consiste à comparer les embeddings de la requête et des documents. Les embeddings servent aussi ailleurs, pour regrouper des contenus ou détecter des doublons.

  • Peut-on voir les embeddings que ChatGPT ou Perplexity calculent pour ma page ?

    Non. Les moteurs de recherche IA ne publient ni leurs modèles de récupération exacts ni les vecteurs qu'ils calculent. Rien ne vous empêche en revanche d'utiliser un modèle d'embeddings public, comme ceux de l'API OpenAI, pour estimer la proximité entre vos passages et de vraies questions. Le résultat reste une approximation, utile pour repérer les passages trop vagues.

  • Les embeddings remplacent-ils les mots-clés ?

    Pas entièrement. Les embeddings saisissent bien le sens mais peuvent manquer des noms propres, des références produit ou des codes précis. Beaucoup de systèmes associent donc un score sémantique tiré des embeddings à un score lexical tiré des mots exacts. Garder vos noms de marque et de produit dans le texte reste utile.

Sources

  1. 1OpenAI API documentation Vector embeddings
  2. 2Google for Developers Embeddings, Machine Learning Crash Course
  3. 3arXiv (Mikolov et al.) Efficient Estimation of Word Representations in Vector Space
  4. 4arXiv (Karpukhin et al.) Dense Passage Retrieval for Open-Domain Question Answering

À propos de l'auteur

Timothé MerleTimothé MerleCo-founder of Hikoo, AEO and GEO expert
Voir le profil LinkedIn

Testez la visibilité IA de votre site en 30 secondes.

Score GEO, santé technique et aperçu de votre visibilité sur ChatGPT et Gemini.