Découvre BERT, le modèle NLP révolutionnaire de Google. Apprends comment sa compréhension bidirectionnelle du contexte transforme les tâches d'IA comme la recherche et les chatbots.
BERT, qui signifie Bidirectional Encoder Representations from Transformers, est une technique historique de pré-entraînement au traitement du langage naturel (NLP) développée par les chercheurs de Google AI Language. Présentée en 2018 via l'article influent"BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding", BERT a révolutionné la façon dont les machines comprennent le langage humain. Il s'agissait de l'une des premières représentations linguistiques profondément bidirectionnelles et non supervisées, pré-entraînée en utilisant uniquement un corpus de texte brut comme Wikipédia. BERT tire parti de la puissante architecture Transformer, en particulier de la partie encodeur, pour traiter les mots en relation avec tous les autres mots d'une phrase simultanément, plutôt que séquentiellement. Cela permet une compréhension plus profonde du contexte par rapport aux modèles unidirectionnels précédents.
Contrairement aux modèles précédents qui traitaient le texte dans une seule direction (soit de gauche à droite, soit de droite à gauche), BERT traite toute la séquence de mots à la fois en utilisant son encodeur Transformer et le mécanisme d'auto-attention. Cette approche bidirectionnelle lui permet de saisir le contexte d'un mot en fonction des mots qui l'entourent, qu'ils le précèdent ou le suivent. Par exemple, BERT peut différencier la signification de "banque" dans "Je dois aller à la banque pour retirer de l'argent" de celle de "La berge de la rivière était boueuse" en tenant compte du contexte complet de la phrase.
BERT apprend ces relations linguistiques complexes au cours d'une phase de préapprentissage sur de grandes quantités de données textuelles. Cela implique deux tâches non supervisées principales :
Le résultat de ce pré-entraînement est un modèle avec de riches enchâssements linguistiques qui capturent la syntaxe et la sémantique. Ce modèle BERT pré-entraîné peut ensuite être rapidement adapté ou"affiné" pour diverses tâches NLP spécifiques en aval, à l'aide d'ensembles de données plus petits et spécifiques à la tâche. Ce processus d'exploitation des connaissances pré-entraînées est une forme d'apprentissage par transfert.
La capacité de BERT à comprendre les nuances du langage a conduit à des améliorations significatives dans diverses applications d'intelligence artificielle (IA) du monde réel :
Bien que BERT soit principalement utilisé dans le domaine de la PNL, l'architecture de transformateurs qu'il a popularisée a également inspiré des progrès dans le domaine de la vision par ordinateur (VA), tels que les transformateurs de vision (ViT) utilisés dans des modèles tels que RT-DETR. Des plateformes comme Ultralytics HUB facilitent la formation et le déploiement de divers modèles d'IA, y compris ceux construits sur les principes de Transformer.