Blog Recenti
Ne avrete sentito parlare dal suo lancio a novembre 2022, Chat GPT (Chat Generative Pre-trained Transformer) è un tool che sfrutta tecniche di intelligenza artificiale per rispondere in maniera plausibile a domande degli utenti e per sostenere addirittura una conversazione in linguaggio naturale.
Questa chat di intelligenza artificiale, che è stata addestrata e progettata per sostenere conversazioni naturali, risponde provando ad individuare su base statistica la sequenza più opportuna di parole grazie a tante prove e perfezionamenti e ai feedback umani ricevuti (Reinforcement Learning with Human Feedback).
Chat GPT appartiene alla società di ricerca OpenAI, fondata a San Francisco nel 2015 da Sam Altman, Elon Musk, Greg Brockman, Ilya Sutskever e Wojciech Zaremba.
Viene definita come un modello di linguaggio generativo di grandi dimensioni basato sul transformer GPT 35, questa versione è più innovativa delle precedenti, da risposte più coerenti, esaustive e precise.
Ma è pur sempre un software: non è in grado di capire il senso del discorso come farebbe invece un essere umano.
Infatti, come affermato da Giorgio Taverniti nella sua newsletter Fastforward, Chat GPT non sostituirà le persone nella scrittura!
“L’Intelligenza Artificiale è uno strumento che entra nel proprio processo creativo, non si sostituisce a noi, potenzia quello che già facciamo.
Il problema è che molte persone non hanno un processo creativo. O meglio, sanno in testa quali sono i passaggi, ma non li spacchettano né usano metodi”.
Ma in che modo possiamo usare Chat GPT?
Alcune delle applicazioni per le quali puoi utilizzare Chat GPT (oltre a divertirti a fare domande) sono:
Come indica il suo acronimo, Generative Pre-training Transformer, Chat GPT è un modello di linguaggio generativo basato sull'architettura del "trasformatore".
Questi modelli sono in grado di elaborare grandi quantità di testo e di imparare a eseguire attività di elaborazione del linguaggio naturale in modo molto efficace.
Il modello GPT-3, in particolare, ha una dimensione di 175 miliardi di parametri, il che lo rende il più grande modello linguistico mai addestrato!
Per funzionare, GPT deve essere "addestrato" su una grande quantità di testo.
Ad esempio, il modello GPT-3 è stato addestrato su un set di testo che includeva oltre 8 milioni di documenti e oltre 10 miliardi di parole.
Da questo testo, il modello impara a eseguire attività di elaborazione del linguaggio naturale e a generare un testo coerente e ben scritto.
Una volta che il modello è ben addestrato, GPT può essere utilizzato per eseguire un'ampia gamma di attività.
L'apprendimento per rinforzo, basato sul feedback umano, è stato utilizzato per la formazione grazie alla messa a punto supervisionata.
I formatori di intelligenza artificiale umana hanno fornito conversazioni in cui rappresentavano sia l'utente che l'assistente di intelligenza artificiale.
Inoltre, ai coach sono stati forniti suggerimenti scritti per aiutarli a scrivere le loro proposte. Quindi, hanno mescolato questo nuovo set di dati con il set di dati InstructGPT che è stato trasformato in un formato di dialogo.
Ma come hanno creato il modello di ricompensa per l'apprendimento per rinforzo?
La prima cosa che serviva era raccogliere dati di confronto. Questo consisteva in due o più risposte del modello, classificate in base alla qualità. Quindi, per raccogliere i dati, hanno preso alcune conversazioni che i formatori avevano avuto con Chat GPT e le hanno selezionate a caso. In questo modo hanno testato vari finali per classificare gli allenatori.
Per questo motivo, questi modelli di ricompensa potrebbero essere adattati utilizzando l'ottimizzazione della politica prossimale.
Inoltre, i corsi di formazione sono stati svolti su una piattaforma Microsoft Azure su un supercomputer.
In conclusione, per utilizzare GPT in una chat, al modello viene fornito un input sotto forma di testo.
Questo input può essere sotto forma di una domanda o di una frase contestuale. E, da questo input, GPT genera una risposta appropriata e coerente. Infatti, questa risposta può essere utilizzata in un chatbot o in qualsiasi altra applicazione in cui è necessario generare un testo da un dato input.
Un transformer è un modello linguistico di grandi dimensioni in questo caso basato su GPT 3.5 ossia su un’evoluzione di GPT.
Si intende per transformer un tipo di elaborazione dei dati che viene eseguita su una sequenza di elementi, come parole in una frase o caratteri in una parola.
Si tratta quindi di modelli di apprendimento automatico progettati specificamente per elaborare sequenze di elementi utilizzando trasformazioni.
L'architettura dei trasformer si basa sull'uso dell'attenzione, che è una tecnica che consente al modello di prestare attenzione a diverse parti della sequenza di input in momenti diversi durante l'elaborazione della sequenza.
Ciò consente di elaborare le informazioni in modo più efficace ed eseguire attività di elaborazione del linguaggio naturale in modo più accurato.
GPT (Generative Pre-training Transformer) è un modello di linguaggio generativo basato sull'architettura del transformer. Ciò significa che il modello è stato progettato per elaborare sequenze di elementi, come le parole in una frase, utilizzando trasformazioni e attenzione. Questa architettura è molto efficace per eseguire attività di elaborazione del linguaggio naturale e ha rivoluzionato il modo in cui vengono affrontate molte attività di PNL.