BERT (Bidirectional Encoder Representations from Transformers)

BERT (Représentations bidirectionnelles de l’encodeur à partir des transformeurs) est une architecture révolutionnaire de deep learning conçue par des chercheurs de Google pour aider les machines à mieux comprendre les nuances du langage humain. Présenté en 2018, BERT a révolutionné le domaine du traitement automatique du langage naturel (NLP) en introduisant une méthode d’entraînement bidirectionnelle. Contrairement aux modèles précédents qui lisaient le texte séquentiellement de gauche à droite ou de droite à gauche, BERT analyse le contexte d’un mot en examinant simultanément les mots qui le précèdent et ceux qui le suivent. Cette approche permet au modèle de mieux saisir les significations subtiles, les expressions idiomatiques et les homonymes (mots ayant plusieurs significations) que ses prédécesseurs.

Fonctionnement de BERT#

À la base, BERT repose sur l’architecture Transformer, plus précisément sur le mécanisme de l’encodeur. La nature « bidirectionnelle » est obtenue grâce à une technique d’entraînement appelée modélisation du langage masqué (MLM). Pendant le pré-entraînement, environ 15 % des mots d’une phrase sont masqués aléatoirement (cachés), et le modèle tente de prédire les mots manquants en fonction du contexte environnant. Cela force le modèle à apprendre des représentations bidirectionnelles approfondies.

De plus, BERT utilise la prédiction de la phrase suivante (NSP) pour comprendre la relation entre les phrases. Dans cette tâche, le modèle reçoit des paires de phrases et doit déterminer si la deuxième phrase suit logiquement la première. Cette capacité est essentielle pour les tâches qui nécessitent une compréhension du discours, comme la réponse aux questions et le résumé de texte.

Applications concrètes#

La polyvalence de BERT en a fait un composant standard de nombreux systèmes modernes d’IA. Voici deux exemples concrets de son utilisation :

1. Optimisation pour les moteurs de recherche : Google a intégré BERT à ses algorithmes de recherche afin de mieux interpréter les requêtes complexes. Par exemple, dans la requête « 2019 brazil traveler to usa need a visa », le mot « to » est essentiel. Les modèles traditionnels traitaient souvent « to » comme un mot vide (mot courant filtré), passant à côté de la relation directionnelle. BERT comprend que l’utilisateur est un Brésilien qui voyage vers les États-Unis, et non l’inverse, ce qui permet d’obtenir des résultats de recherche très pertinents.

2. Analyse des sentiments dans les commentaires clients : Les entreprises utilisent BERT pour analyser automatiquement des milliers d’avis clients ou de tickets d’assistance. Comme BERT comprend le contexte, il peut faire la distinction entre « Cet aspirateur est nul » (sentiment négatif) et « Cet aspirateur aspire toute la saleté » (sentiment positif). Cette analyse des sentiments précise aide les entreprises à trier les problèmes d’assistance et à suivre précisément la réputation de leur marque.

Comparaison avec des concepts associés#

Il est utile de distinguer BERT des autres architectures majeures pour comprendre sa niche spécifique.

• BERT par rapport à GPT (transformeur génératif pré-entraîné) : Bien que tous deux utilisent l’architecture Transformer, leurs objectifs diffèrent. BERT utilise la pile de l’encodeur et est optimisé pour les tâches de compréhension et de discrimination (par exemple, la classification et l’extraction d’entités). À l’inverse, GPT utilise la pile du décodeur et est conçu pour la génération de texte, en prédisant le mot suivant d’une séquence pour rédiger des essais ou du code.
• BERT par rapport à YOLO26 : Ces modèles opèrent dans des domaines différents. BERT traite des données textuelles séquentielles pour des tâches linguistiques. YOLO26 est un modèle de vision de pointe qui traite des grilles de pixels pour effectuer une détection d’objets en temps réel. Cependant, les systèmes multimodaux modernes les combinent souvent ; par exemple, un modèle YOLO peut détecter des objets dans une image, puis un modèle basé sur BERT peut répondre à des questions sur leurs relations.

Exemple d’implémentation : tokenisation#

Pour utiliser BERT, le texte brut doit être converti en tokens numériques. Le modèle utilise un vocabulaire spécifique (tel que WordPiece) pour décomposer les mots. Bien que BERT soit un modèle textuel, des concepts de prétraitement similaires s’appliquent à la vision par ordinateur, où les images sont divisées en patchs.

L’extrait Python suivant montre comment utiliser la bibliothèque transformers pour tokeniser une phrase destinée au traitement par BERT. Note que, même si Ultralytics se concentre sur la vision, comprendre la tokenisation est essentiel pour les workflows d’IA multimodale.

from transformers import BertTokenizer

# Initialize the tokenizer with the pre-trained 'bert-base-uncased' vocabulary
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")

# Tokenize a sample sentence relevant to AI
text = "Ultralytics simplifies computer vision."

# Convert text to input IDs (numerical representations)
encoded_input = tokenizer(text, return_tensors="pt")

# Display the resulting token IDs
print(f"Token IDs: {encoded_input['input_ids']}")

Importance dans le paysage de l’IA#

L’introduction de BERT a marqué le « moment ImageNet » du NLP, prouvant que l’apprentissage par transfert—le pré-entraînement d’un modèle sur un vaste jeu de données, suivi de son ajustement pour une tâche spécifique—était très efficace pour le texte. Cela a réduit le besoin d’architectures propres à chaque tâche et de vastes jeux de données annotés pour chaque nouveau problème.

Aujourd’hui, des variantes de BERT, comme RoBERTa et DistilBERT, continuent d’améliorer l’efficacité des applications d’IA en périphérie. Les développeurs qui souhaitent créer des solutions d’IA complètes intègrent souvent ces modèles de langage aux outils de vision disponibles sur la Ultralytics Platform afin de créer des systèmes capables à la fois de voir et de comprendre le monde.