Concept

Multimodal

Un modèle d'IA multimodal comprend plusieurs types de données à la fois, comme le texte, l'image, le son et la vidéo.

D'où ça vient

L'apprentissage multimodal a été proposé en 2011, au début de la période de l'apprentissage profond. Depuis 2023, les grands modèles multimodaux, comme Google Gemini et GPT-4o, sont de plus en plus populaires. Ils offrent plus de polyvalence et une meilleure compréhension du monde réel.

C'est quoi, concrètement

Un modèle multimodal réunit et traite plusieurs types de données, appelés modalités: texte, audio, image ou vidéo. En combinant ces sources, il comprend mieux une information complexe qu'avec un seul type de données. Concrètement, il sert à répondre à des questions sur une image, à décrire une photo, à chercher des images à partir d'un texte ou à générer une image à partir d'une description.

Exemples

Google Gemini : Un grand modèle multimodal qui peut traiter plusieurs types de données dans une même conversation.
GPT-4o : Un grand modèle multimodal d'OpenAI, cité parmi les modèles qui ont popularisé cette approche.
CLIP : Un modèle qui apprend à relier les images et les textes, ce qui lui permet d'associer une image à sa description.
DALL·E : Un outil qui génère des images à partir de descriptions écrites, utile dans les milieux créatifs.
Recherche multimédia : La recherche inter-modalités permet de retrouver des images à partir d'une description écrite, par exemple dans une banque de visuels.

Ce que ça permet

Il combine plusieurs types de données pour mieux comprendre une situation.
Il peut décrire une image, répondre à une question sur une image ou en générer une à partir d'un texte.
Il facilite la recherche dans des contenus variés, comme retrouver des images avec des mots.
Il peut analyser le texte, le son et l'image ensemble pour repérer le ton ou les émotions, par exemple en service à la clientèle.
Il peut prédire des données manquantes dans un ensemble qui mélange images et texte.

Pièges à éviter

Chaque modalité structure l'information à sa façon, ce qui rend l'apprentissage difficile.
Le modèle doit déterminer quelles parties des différentes sources se correspondent, et comment les combiner.
Une source de données peut manquer, ce qui nuit au résultat.
Deux sources d'information peuvent être redondantes au lieu d'être complémentaires.
Croiser plusieurs sources peut permettre de réidentifier une personne, même si elle était anonyme dans chaque source prise seule.

Pour ta PME

Une PME peut utiliser un outil multimodal pour décrire des photos de produits, chercher dans une banque d'images avec des mots ou analyser le ton des échanges avec la clientèle. Avant d'y envoyer des images, des enregistrements ou des documents, vérifie qu'ils ne contiennent pas de renseignements personnels, car la Loi 25 s'applique et le croisement de sources augmente le risque de réidentification. Fais toujours relire les résultats par une personne avant de les utiliser ou de les publier.

Sources : Wikipédia · mis à jour le 2026-11-06

Infolettre gratuite

« 5 prompts, 1 café »

Reçois 5 prompts prêts à copier chaque matin à 6 h 30.