Modellazione del linguaggio

Come funziona la modellazione linguistica?

La modellazione linguistica è un'attività di Machine Learning (ML) in cui un modello viene addestrato per comprendere e generare il linguaggio umano. Il processo inizia con l'alimentazione del modello con enormi serie di dati testuali, come il contenuto di Wikipedia o una grande collezione di libri. Analizzando questi dati, il modello apprende le relazioni statistiche tra le parole.

I moderni modelli linguistici si basano molto sul Deep Learning (DL) e sono spesso costruiti con architetture di reti neurali (NN). L'architettura Transformer, introdotta nell'articolo "Attention Is All You Need", è stata particolarmente rivoluzionaria. Utilizza un meccanismo di attenzione che consente al modello di soppesare l'importanza delle diverse parole nel testo in ingresso, permettendogli di cogliere dipendenze complesse e a lungo raggio e di comprendere meglio il contesto. L'addestramento del modello prevede la regolazione dei pesi interni del modello per ridurre al minimo la differenza tra le sue previsioni e le sequenze di testo effettive nei dati di addestramento, un processo ottimizzato mediante backpropagation.

Applicazioni reali della modellazione linguistica

Le capacità dei modelli linguistici hanno portato alla loro integrazione in numerose tecnologie che utilizziamo quotidianamente.

• Testo predittivo e completamento automatico: Quando la tastiera dello smartphone suggerisce la parola successiva durante la digitazione, utilizza un modello linguistico. Analizzando la sequenza di parole già scritte, prevede la parola più probabile da seguire, velocizzando la comunicazione. Questa tecnologia è una caratteristica fondamentale di sistemi come Gboard di Google.
• Traduzione automatica: Servizi come Google Translate e DeepL utilizzano modelli linguistici sofisticati per tradurre il testo tra le lingue. Non si limitano a sostituire parola per parola, ma analizzano il significato e la struttura del testo di partenza per generare una traduzione grammaticalmente corretta e contestualmente accurata nella lingua di arrivo. Si tratta di un'applicazione dei modelli sequenza-sequenza.
• Creazione e riassunto di contenuti: I modelli linguistici sono utilizzati per la generazione di testi, dove possono scrivere articoli, e-mail o storie creative. Inoltre, alimentano strumenti di riassunto del testo che condensano lunghi documenti in riassunti concisi e sono il cuore dei chatbot interattivi.

Concetti correlati

È utile distinguere la modellazione linguistica dai termini correlati:

• Elaborazione del linguaggio naturale (NLP): La modellazione del linguaggio è un sottocampo o un'attività centrale dell'NLP. NLP è il dominio più ampio che si occupa di consentire ai computer di elaborare, analizzare e comprendere il linguaggio umano in generale. Consultate la nostra panoramica sull'NLP.
• Modelli linguistici di grandi dimensioni (LLM): Si tratta essenzialmente di modelli linguistici molto grandi e potenti, costruiti in genere utilizzando l'architettura Transformer e addestrati su enormi insiemi di dati, spesso sfruttando i principi dei Big Data. Ne sono un esempio modelli come GPT-4 e BERT. Gli LLM sono spesso considerati modelli di base, un concetto dettagliato dal Center for Research on Foundation Models (CRFM) di Stanford.
• Visione artificiale (CV): Mentre i modelli linguistici elaborano il testo, la CV si concentra sulla capacità delle macchine di interpretare e comprendere le informazioni visive provenienti da immagini e video. I compiti comprendono il rilevamento degli oggetti, la classificazione e la segmentazione delle immagini, spesso affrontati da modelli come Ultralytics YOLO. L'intersezione di questi campi viene esplorata nei modelli multimodali e nei modelli linguistici di visione, che elaborano sia dati testuali che visivi. Piattaforme come Ultralytics HUB semplificano l'addestramento e la distribuzione di vari modelli di intelligenza artificiale, compresi quelli per i compiti di visione. È possibile esplorare i vari compiti CV supportati da Ultralytics.