BERT (Bidirectional Encoder Representations from Transformers)

BERT (Bidirectional Encoder Representations from Transformers) est une architecture d'apprentissage profond révolutionnaire conçue par des chercheurs chez Google pour aider les machines à mieux comprendre les nuances du langage humain. Introduit en 2018, BERT a révolutionné le domaine du Natural Language Processing (NLP) en introduisant une méthode d'entraînement bidirectionnelle. Contrairement aux modèles précédents qui lisaient le texte de manière séquentielle de gauche à droite ou de droite à gauche, BERT analyse le contexte d'un mot en examinant simultanément les mots qui le précèdent et le suivent. Cette approche permet au modèle de saisir les nuances, les idiomes et les homonymes (mots ayant plusieurs significations) beaucoup plus efficacement que ses prédécesseurs.

Link to this sectionComment fonctionne BERT#

À la base, BERT repose sur l'architecture Transformer, plus précisément sur le mécanisme d'encodeur. La nature « bidirectionnelle » est obtenue grâce à une technique d'entraînement appelée Masked Language Modeling (MLM). Lors du pré-entraînement, environ 15 % des mots d'une phrase sont aléatoirement masqués (cachés), et le modèle tente de prédire les mots manquants en se basant sur le contexte environnant. Cela force le modèle à apprendre des représentations bidirectionnelles profondes.

De plus, BERT utilise la prédiction de la phrase suivante (Next Sentence Prediction - NSP) pour comprendre la relation entre les phrases. Dans cette tâche, le modèle reçoit des paires de phrases et doit déterminer si la seconde phrase suit logiquement la première. Cette capacité est cruciale pour les tâches nécessitant une compréhension du discours, telles que le question answering et le résumé de texte.

Link to this sectionApplications concrètes#

La polyvalence de BERT en a fait un composant standard dans de nombreux systèmes d'IA modernes. Voici deux exemples concrets de son application :

1. Optimisation pour les moteurs de recherche : Google a intégré BERT dans ses algorithmes de recherche pour mieux interpréter les requêtes complexes. Par exemple, dans la requête « 2019 brazil traveler to usa need a visa », le mot « to » est essentiel. Les modèles traditionnels traitaient souvent « to » comme un mot vide (mots courants filtrés), manquant ainsi la relation directionnelle. BERT comprend que l'utilisateur est un Brésilien voyageant vers les États-Unis, et non l'inverse, fournissant ainsi des résultats de recherche hautement pertinents.

2. Analyse des sentiments dans les retours clients : Les entreprises utilisent BERT pour analyser automatiquement des milliers d'avis clients ou de tickets de support. Parce que BERT comprend le contexte, il peut distinguer « This vacuum sucks » (sentiment négatif) de « This vacuum sucks up all the dirt » (sentiment positif). Cette sentiment analysis précise aide les entreprises à trier les problèmes de support et à suivre la santé de leur marque avec précision.

Link to this sectionComparaison avec des concepts associés#

Il est utile de distinguer BERT des autres architectures importantes pour comprendre son créneau spécifique.

• BERT vs. GPT (Generative Pre-trained Transformer) : Bien que les deux utilisent l'architecture Transformer, leurs objectifs diffèrent. BERT utilise la pile d'Encodeur et est optimisé pour les tâches de compréhension et de discrimination (par exemple, classification, extraction d'entités). En revanche, GPT utilise la pile de Décodeur et est conçu pour la text generation, prédisant le mot suivant dans une séquence pour rédiger des essais ou du code.
• BERT vs. YOLO26 : Ces modèles opèrent dans des domaines différents. BERT traite des données textuelles séquentielles pour des tâches linguistiques. YOLO26 est un modèle de vision à la pointe de la technologie qui traite des grilles de pixels pour l'object detection en temps réel. Cependant, les systèmes multimodaux modernes les combinent souvent ; par exemple, un modèle YOLO peut détecter des objets dans une image, et un modèle basé sur BERT peut ensuite répondre à des questions sur leurs relations.

Link to this sectionExemple d'implémentation : Tokenisation#

Pour utiliser BERT, le texte brut doit être converti en jetons numériques. Le modèle utilise un vocabulaire spécifique (comme WordPiece) pour décomposer les mots. Bien que BERT soit un modèle textuel, des concepts de prétraitement similaires s'appliquent en vision par ordinateur où les images sont découpées en correctifs.

L'extrait Python suivant démontre comment utiliser la bibliothèque transformers pour tokeniser une phrase pour le traitement BERT. Notez que bien qu'Ultralytics se concentre sur la vision, la compréhension de la tokenisation est essentielle pour les flux de travail multimodal AI.

from transformers import BertTokenizer

# Initialize the tokenizer with the pre-trained 'bert-base-uncased' vocabulary
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")

# Tokenize a sample sentence relevant to AI
text = "Ultralytics simplifies computer vision."

# Convert text to input IDs (numerical representations)
encoded_input = tokenizer(text, return_tensors="pt")

# Display the resulting token IDs
print(f"Token IDs: {encoded_input['input_ids']}")

Link to this sectionImportance dans le paysage de l'IA#

L'introduction de BERT a marqué le « moment ImageNet » pour le NLP, prouvant que le transfer learning — pré-entraîner un modèle sur un ensemble de données massif, puis le peaufiner pour une tâche spécifique — était très efficace pour le texte. Cela a réduit le besoin d'architectures spécifiques à chaque tâche et de grands ensembles de données étiquetés pour chaque nouveau problème.

Aujourd'hui, les variantes de BERT, telles que RoBERTa et DistilBERT, continuent de favoriser l'efficacité dans les applications d'edge AI. Les développeurs cherchant à créer des solutions d'IA complètes intègrent souvent ces modèles de langage aux côtés des outils de vision disponibles sur l'Ultralytics Platform pour créer des systèmes capables à la fois de voir et de comprendre le monde.