Glossaire

BERT (Bidirectional Encoder Representations from Transformers)

Découvrez BERT, le modèle NLP révolutionnaire de Google. Apprenez comment sa compréhension bidirectionnelle du contexte transforme les tâches d'IA telles que la recherche et les chatbots.

BERT, qui signifie Bidirectional Encoder Representations from Transformers, est un modèle de langage révolutionnaire développé par Google. Présenté dans un article de recherche en 2018, BERT a transformé le domaine du traitement du langage naturel (NLP) en étant le premier modèle à comprendre le contexte d'un mot en fonction de son environnement à gauche et à droite (de manière bidirectionnelle). Cette capacité à saisir le contexte permet à l'ORET de saisir les nuances du langage humain bien plus efficacement que les modèles précédents, qui traitaient généralement le texte dans une seule direction. Il s'agit d'un type de grand modèle de langage (LLM), considéré comme une technologie fondamentale pour de nombreuses applications modernes de NLP.

Comment fonctionne Bert

L'innovation principale de l'ORET réside dans son approche de formation bidirectionnelle, qui s'appuie sur l'architecture Transformer. Contrairement aux modèles antérieurs qui lisent le texte de manière séquentielle, le mécanisme d'attention de l'ORET lui permet de considérer la phrase entière en une seule fois. Pour parvenir à cette compréhension bidirectionnelle pendant la préformation, l'ORET utilise deux stratégies principales :

  1. Modèle de langage masqué (MLM) : Dans cette tâche, certains mots d'une phrase sont cachés de manière aléatoire, ou "masqués", et le travail du modèle consiste à prédire les mots masqués originaux sur la base des mots non masqués environnants. Cela oblige le modèle à apprendre des relations contextuelles profondes dans les deux sens.
  2. Prédiction de la phrase suivante (NSP) : le modèle reçoit deux phrases et doit prédire si la deuxième phrase est celle qui suit logiquement la première dans le texte original. Cela permet à BERT de comprendre les relations entre les phrases, ce qui est crucial pour des tâches telles que la réponse à des questions et l'analyse de paragraphes.

Après ce pré-entraînement approfondi sur un corpus massif de textes, BERT peut être adapté à des tâches spécifiques grâce à un processus appelé " fine-tuning". Cela implique un entraînement supplémentaire du modèle sur un ensemble de données plus petit et spécifique à une tâche, ce qui en fait un outil très polyvalent pour les développeurs et les chercheurs. De nombreux modèles BERT pré-entraînés sont accessibles sur des plateformes telles que Hugging Face.

Applications dans le monde réel

La capacité de l'ORET à comprendre les nuances du langage a conduit à des améliorations significatives dans diverses applications d'intelligence artificielle (IA) dans le monde réel :

  • Moteurs de recherche: Le moteur de recherche Google a incorporé l'ORET pour mieux comprendre les requêtes des utilisateurs, en particulier les requêtes conversationnelles ou complexes, ce qui permet d'obtenir des résultats de recherche plus pertinents. Par exemple, l'ORET aide à saisir l'intention derrière des recherches telles que "pouvez-vous obtenir des médicaments pour une pharmacie" en comprenant l'importance de prépositions telles que "pour" et "à".
  • Chatbots et assistants virtuels: BERT améliore la capacité des chatbots et des assistants virtuels à comprendre plus précisément les demandes des utilisateurs, à maintenir le contexte dans les conversations et à fournir des réponses plus utiles dans le service clientèle, les systèmes de réservation et la recherche d'informations.
  • Analyse des sentiments: Les entreprises utilisent des modèles basés sur BERT pour analyser les avis des clients, les commentaires des médias sociaux et les réponses aux enquêtes afin d'évaluer l'opinion publique et les commentaires sur les produits avec une plus grande précision.
  • Résumés de textes et réponses aux questions: BERT peut être affiné pour créer des systèmes qui résument automatiquement de longs documents ou répondent à des questions sur la base d'un passage de texte donné. Ces systèmes sont comparés à des ensembles de données tels que le Stanford Question Answering Dataset (SQuAD).

Bert par rapport à d'autres modèles

Il est important de distinguer l'ORET des autres modèles d'IA :

Des plateformes comme Ultralytics HUB facilitent la formation et le déploiement de divers modèles d'IA, y compris ceux construits sur les principes de Transformer. Le développement de BERT et de modèles similaires fait souvent appel à des cadres d'apprentissage automatique standard tels que PyTorch et TensorFlow.

Rejoindre la communauté Ultralytics

Rejoignez l'avenir de l'IA. Connectez-vous, collaborez et évoluez avec des innovateurs mondiaux.

S'inscrire
Lien copié dans le presse-papiers