Recentemente ho provato a far scrivere a ChatGPT alcuni articoli su argomenti che conosco o di cui avevo già scritto sui miei blog per valutarne la qualità e per capire se questa tecnologia è pronta a sostituire gli scrittori umani.
Vediamo di seguito qualche esempio.
Articolo sulla storia di Take the A-Train di Duke Ellington
Come primo test ho chiesto a ChatGPT di scrivere un articolo sulla storia dello standard jazz
Take the A-Train. La richiesta fatta a ChatGPT è stata:
Scrivi un articolo in sette capoversi sulla storia di "Take the A-Train".
Il testo prodotto è il seguente (per un confronto con un articolo scritto da un umano sullo stesso tema, si può utilizzare
questo scritto da me):
"Take the A-Train" è uno dei brani più celebri e iconici del jazz. Scritta da Billy Strayhorn nel 1939, la canzone è stata resa famosa dall'orchestra di Duke Ellington, che ne ha fatto uno dei suoi grandi successi.
Strayhorn compose "Take the A-Train" su commissione di Ellington, che gli chiese di scrivere un brano che rappresentasse la linea A del treno di New York, che collega il quartiere di Harlem con Brooklyn. Strayhorn si ispirò al ritmo del treno e alle stazioni della metropolitana, creando una melodia accattivante e ritmica che divenne subito un successo.
La versione di "Take the A-Train" incisa da Duke Ellington nel 1941 è diventata una delle registrazioni più famose del brano. L'arrangiamento di Ellington mescola elementi di jazz e di musica classica, con l'uso di sezioni di fiati e di percussioni che creano un suono unico e riconoscibile.
La canzone ebbe anche un grande impatto culturale. La linea A del treno era una delle poche che collegava i quartieri neri di Harlem con il resto della città, e "Take the A-Train" divenne un inno alla mobilità e alla libertà di movimento per la comunità afroamericana. Il brano divenne così un simbolo dell'emancipazione degli afroamericani negli anni '40.
"Take the A-Train" è stata eseguita da numerosi musicisti nel corso degli anni, e molti di loro hanno apportato le proprie modifiche e interpretazioni. Il brano è stato arrangiato in vari stili, dal jazz tradizionale al bebop e oltre.
Oltre ad essere uno dei brani più famosi del jazz, "Take the A-Train" è stato utilizzato anche in film, programmi televisivi e pubblicità. La canzone è stata interpretata da artisti di fama internazionale come Ella Fitzgerald, Louis Armstrong e Miles Davis, tra gli altri.
Il successo di "Take the A-Train" ha contribuito a consolidare la carriera di Billy Strayhorn, che diventò uno dei compositori più rispettati e influenti del jazz. La sua collaborazione con Duke Ellington, che durò per oltre trent'anni, produsse alcune delle registrazioni più importanti della storia del jazz.
In definitiva, "Take the A-Train" è un brano che rappresenta la storia del jazz e la sua capacità di influenzare la cultura popolare. La sua melodia accattivante e il suo ritmo incalzante continuano ad affascinare e a ispirare musicisti e appassionati di musica di tutto il mondo.
L'articolo scritto da ChatGPT è molto vago e superficiale. La richiesta era di scrivere la storia di
Take the A-Train, ma di storico nel testo c'è pochissimo e soprattutto omette dettagli importanti, come il fatto che Ellington chiese a Strayhorn di comporre il pezzo perché gli serviva come nuova sigla delle sue esibizioni live per un problema di costi legati ai diritti di esecuzione dei suoi pezzi già editi, o che lo spartito originale di
Take the A-Train fu recuperato dal figlio di Ellington dal cestino dei rifiuti perché a Strayhorn non piaceva e voleva scartarlo. In un articolo di storia del brano, perché questo era stato chiesto, questi dettagli sono imprescindibili.
L'articolo di ChatGPT contiene anche errori fattuali: Miles Davis, infatti, non ha mai inciso il brano. In ultimo lo stile di ChatGPT è scadente, nessun autore umano scriverebbe due volte
melodia accattivante in sette capoversi.
Sintesi dell'articolo Getting bin Laden di Nicholas Schmindle
Nel secondo esperimento ho chiesto a ChatGPT di scrivere una sintesi dell'articolo
Getting bin Laden di Nicholas Schmidle, pubblicato sul
New Yorker ad agosto del 2011. L'articolo è particolarmente importante a livello storico perché è stato il primo racconto di come si svolse la missione che uccise Osama bin Laden. La richiesta a ChatGPT è stata:
scrivi una sintesi in nove capoversi di getting bin laden di Nicholas Schmidle
ChatGPT ha prodotto il seguente testo (per un confronto con un testo scritto da un autore umano si può usare
questo scritto da me):
"Getting Bin Laden" è un articolo di Nicholas Schmidle pubblicato sulla rivista New Yorker nel 2011. Il pezzo racconta la storia della missione che ha portato alla cattura e uccisione di Osama bin Laden, il leader di Al-Qaeda responsabile degli attentati dell'11 settembre 2001.
Schmidle ricostruisce i dettagli dell'operazione militare, che ha avuto luogo nella città pakistana di Abbottabad nel maggio 2011. Il pezzo si basa su interviste con diverse fonti, tra cui membri delle forze speciali americane e funzionari dell'intelligence.
Il pezzo descrive il processo di pianificazione dell'operazione, che ha richiesto mesi di lavoro e la collaborazione di numerose agenzie dell'intelligence. Schmidle descrive anche le sfide che le forze americane hanno dovuto affrontare, tra cui la mancanza di informazioni precise sulla posizione di bin Laden e le difficoltà di operare in un territorio ostile come il Pakistan.
Il pezzo si concentra poi sulla fase dell'operazione vera e propria, descrivendo l'assalto al complesso dove bin Laden si nascondeva e la sparatoria che ne è seguita. Schmidle racconta anche l'uccisione di bin Laden e il recupero dei documenti e dei dati informatici trovati nel complesso.
Il pezzo analizza anche le implicazioni politiche e diplomatiche dell'operazione, che ha suscitato molte reazioni in tutto il mondo. Schmidle descrive la decisione degli Stati Uniti di non informare il Pakistan dell'operazione e il rischio che ciò avrebbe potuto comportare per i rapporti tra i due paesi.
Infine, Schmidle sottolinea l'importanza dell'operazione per gli Stati Uniti e per il mondo intero. La cattura e uccisione di bin Laden rappresentava infatti una vittoria importante nella lotta al terrorismo e un segnale di speranza per le vittime degli attentati dell'11 settembre e per le loro famiglie.
In sintesi, "Getting Bin Laden" è un pezzo dettagliato e approfondito che racconta la storia della missione che ha portato alla cattura e uccisione di Osama bin Laden. Il pezzo fornisce numerosi dettagli sulle fasi dell'operazione, sui suoi protagonisti e sulle implicazioni politiche e diplomatiche dell'evento.
Anzitutto la richiesta era di produrre nove capoversi e ChatGPT ne ha scritti sette. In secondo luogo anche questa volta lo stile è molto scadente: il testo contiene cinque frasi che iniziano con
il pezzo [verbo principale]. L'articolo di ChatGPT anche in questo caso non dice nulla del contenuto dell'articolo originale di cui avrebbe dovuto scrivere la sintesi: Schmindle descrive come la missione di Abbottabad è stata pianificata e svolta, ChatGPT si mantiene sempre a un livello vago e non dice niente del genere. Inoltre non riporta la data in cui il testo di Schmindle fu pubblicato, dettaglio che in una sintesi è molto importante.
In ogni caso la mancanza più grave è che ChatGPT sembra ignorare del tutto il contesto, ciò il fatto che lo scritto di Schindle è importante perché è il primo racconto della missione di Abbottabad basata sul racconto dei testimoni e che l'articolo uscì prima dei libri dei Navy SEALs Marc Bissonnette e Robert O'Neill che presero parte alla missione. Ho quindi chiesto più specificamente a Chat GTP:
perché è importante "getting bin laden" di nicholas schmindle? e ChatGPT ha scritto quanto segue:
"Getting Bin Laden" di Nicholas Schmidle è un pezzo importante per diversi motivi.
In primo luogo, il pezzo fornisce una ricostruzione dettagliata della missione che ha portato alla cattura e uccisione di Osama bin Laden. Grazie alle interviste con fonti ufficiali e al suo lavoro di ricerca, Schmidle offre al lettore un quadro preciso dei dettagli dell'operazione, che fino ad allora erano rimasti segreti.
In secondo luogo, il pezzo analizza le implicazioni politiche e diplomatiche dell'operazione. La decisione degli Stati Uniti di non informare il Pakistan dell'operazione ha suscitato molte polemiche e ha avuto ripercussioni sui rapporti tra i due paesi. Schmidle analizza queste questioni in modo approfondito e fornisce al lettore un'ampia panoramica delle conseguenze dell'operazione.
In terzo luogo, il pezzo rappresenta una testimonianza preziosa per la storia della lotta al terrorismo. La cattura e uccisione di bin Laden rappresentano un evento storico di grande importanza, e "Getting Bin Laden" offre una narrazione dettagliata e documentata di questo evento.
Infine, il pezzo ha suscitato un grande interesse in tutto il mondo e ha generato un ampio dibattito sulla lotta al terrorismo e sui diritti umani. Grazie alla sua copertura mediatica e alla sua diffusione online, "Getting Bin Laden" ha contribuito ad alimentare il dibattito pubblico su questi importanti temi.
Questa volta ChatGPT corregge parzialmente la mancanza specificando che
Schmidle offre al lettore un quadro preciso dei dettagli dell'operazione, che fino ad allora erano rimasti segreti, in ogni caso il riferimento è molto vago, qualunque autore umano avrebbe specificato che si tratta del primo racconto rispetto a quelli di Bissonnette e O'Neill. Inoltre ChatGPT ha aggiunto in questo secondo testo un errore macroscopico: Osama bin Laden non è stato catturato, ma ucciso sul posto.
Articolo sulla morte di Brandon Lee
Il terzo testa ha riguardato la richiesta di un articolo sulla morte di Brandon Lee, rimasto ucciso durante le riprese de
Il Corvo a causa di un'ogiva rimasta incastrata in un arma usata sulla scena e di un proiettile che avrebbe dovuto essere inerte e che invece rimase erroneamente attivo. La richiesta a ChatGPT è stata
scrivi un articolo che spieghi come è morto brandon lee
Il testo prodotto è il seguente (confrontabile con
questo mio):
Brandon Lee è stato un giovane attore statunitense noto per la sua partecipazione al film del 1994 "Il corvo". La sua vita è stata tragicamente interrotta il 31 marzo 1993, a causa di un incidente sul set durante le riprese del film.
Lee stava girando una scena in cui il suo personaggio viene ucciso da una pistola caricata con proiettili a salve. Tuttavia, per qualche motivo, la pistola era stata caricata con un proiettile vero. Durante la ripresa della scena, Brandon Lee venne colpito al petto dal proiettile, causandogli ferite mortali.
I membri del cast e della troupe si resero immediatamente conto che c'era qualcosa che non andava e Brandon Lee venne portato d'urgenza in ospedale. Nonostante gli sforzi dei medici, Brandon Lee morì lo stesso giorno all'età di soli 28 anni. Il proiettile aveva causato danni irreparabili al suo corpo.
L'incidente venne immediatamente indagato dalla polizia e dagli esperti balistici. Scoprirono che la pistola era stata accidentalmente caricata con un proiettile vero, probabilmente a causa di una serie di errori umani e di problemi di comunicazione.
La produzione del film venne criticata per non aver garantito la sicurezza sul set e per non aver fatto abbastanza per prevenire l'incidente. Tuttavia, nessuna persona specifica venne accusata di negligenza o di essere responsabile della morte di Brandon Lee.
Dopo l'incidente, la produzione del film fu sospesa per un breve periodo di tempo. In seguito, vennero utilizzate tecniche di effetti speciali per completare alcune scene rimanenti in cui era coinvolto l'attore.
La morte di Brandon Lee fu una grande tragedia per la sua famiglia e per i suoi fan in tutto il mondo. Tuttavia, il suo lavoro e il suo impegno nel campo dell'arte e del cinema hanno lasciato un'impronta indelebile sulla cultura popolare.
L'incidente che causò la morte di Brandon Lee portò a una maggiore attenzione sulla sicurezza sul set e alla necessità di garantire standard elevati di sicurezza durante le riprese. La sua morte è stata un triste ricordo delle conseguenze che possono derivare dalla mancanza di attenzione e cura nel settore del cinema e dell'intrattenimento.
Anche in questo caso l'articolo non dice nulla di preciso, non dice dove è avvenuto l'incidente, come è avvenuta la sparatoria, né chi fossero gli attori o i personaggi coinvolti. L'errore più grave comunque riguarda questa frase
Scoprirono che la pistola era stata accidentalmente caricata con un proiettile vero perché è oggettivamente falso che sia accaduto questo. Ho chiesto quindi a ChatGPT di correggere scrivendo
è sbagliato, non è morto così. ChatGPT ha risposto come segue:
Mi scuso per l'errore precedente. Brandon Lee è morto a causa di un incidente sul set durante le riprese del film "Il corvo" nel 1993, ma la causa della morte non è stata causata da un proiettile vero come ho erroneamente scritto prima.
Durante le riprese di una scena in cui il personaggio di Brandon Lee viene colpito da un colpo di pistola, un frammento di proiettile rimasto all'interno del tamburo della pistola a salve utilizzata per la scena si è disintegrato. Il frammento ha causato una violenta esplosione nel tamburo, facendo volare una scheggia di metallo che ha colpito Lee al fianco.
Lee è stato subito portato in ospedale dove gli è stata fatta un'operazione d'urgenza, ma a causa delle ferite interne troppo gravi, è morto il giorno dopo. La causa della morte è stata una emorragia interna.
L'incidente ha sollevato preoccupazioni sulla sicurezza sul set e ha portato a una maggiore attenzione sui protocolli di sicurezza durante le riprese. La produzione del film è stata sospesa per diversi mesi, e la scena in cui Brandon Lee viene colpito è stata modificata utilizzando effetti speciali.
La morte di Brandon Lee è stata una grande perdita per il mondo del cinema, e molti fan hanno continuato a ricordarlo per il suo talento e la sua personalità affascinante.
La cosa interessante in questo caso è che ChatGPT riconosca in quale punto si trovi l'errore nel suo stesso testo, ma nel correggere inserisce altri due errori. L'ogiva rimasta incastrata (che ChatGPT definisce
frammento) nell'arma non era nel tamburo (eventualità che avrebbe ridotto la possibilità di essere sparata dal revolver) ma nella canna, inoltre l'ogiva non ha colpito Lee al fianco ma in centro all'addome.
Recensioni di film simili
In ultimo ho chiesto, con due richieste diverse, a ChatGPT di scrivere recensioni di due film coevi che hanno alcuni elementi in comune:
Dal Tramonto all'Alba di Robert Rodriguez del 1996 e
Vampires di John Carpenter del 1998. Entrambi sono film di vampiri ambientanti nel deserto tra gli Stati Uniti e il Messico con ispirazione ai road movies degli anni 70. Di seguito la recensione di
Vampires:
"Vampires" è un film horror del 1998 diretto da John Carpenter, basato sul romanzo "Vampires" di John Steakley. Il film segue un gruppo di cacciatori di vampiri guidati da Jack Crow, interpretato da James Woods, che cercano di sconfiggere il vampiro più antico e potente del mondo, Jan Valek.
Il film è una combinazione di azione, violenza e horror che rappresenta una versione più cruda e violenta dei classici film sui vampiri. La fotografia è scura e cupa, creando un'atmosfera tetra e inquietante che si adatta perfettamente al tema del film.
La performance di James Woods è eccezionale, interpretando il ruolo di un cacciatore di vampiri esperto e determinato. Il resto del cast è altrettanto bravo, in particolare Thomas Ian Griffith nel ruolo di Jan Valek, che è un vampiro spietato e malvagio.
La trama del film è ben sviluppata, con un buon equilibrio tra azione e suspense. Il film è in grado di mantenere lo spettatore incollato allo schermo grazie alle sequenze di combattimento intense e alle rivelazioni sul passato dei personaggi.
In sintesi, "Vampires" di John Carpenter è un film horror avvincente e spaventoso che si distingue per la sua violenza e l'atmosfera oscura. Se sei un fan dei film sui vampiri o dei film horror in generale, "Vampires" è sicuramente un film che devi vedere.
Nella recensione è presente un errore davvero piccolo, ma che ho comunque fatto notare a ChatGPT, il titolo del romanzo da cui è tratto
Vampires infatti non è uguale a quello del film ma é scritto
Vampire$. Ho scritto a ChatGTP solo
hai sbagliato il titolo del romanzo da cui è tratto vampires, senza suggerire dove l'errore stesse, e mi ha risposto:
Mi scuso per l'errore. Effettivamente, ho commesso un errore nel mio messaggio precedente, il film "Vampires" del 1998 diretto da John Carpenter non è tratto da un romanzo, ma è una creazione originale dello stesso Carpenter. Grazie per avermelo fatto notare.
Ho risposto
No, hai sbagliato. Vampires è tratto da un romanzo, ma qual è il titolo?. La risposta di ChatGPT è stata:
Mi scuso per la confusione precedente. "Vampires" è effettivamente tratto da un romanzo di John Steakley intitolato "Vampire$". Il film ha subito alcune modifiche rispetto al romanzo, ma ha comunque preso ispirazione dalle sue trame e dal suo universo narrativo. Grazie per avermelo fatto notare.
La richiesta di una precisazione ha quindi causato un errore più grave.
Vediamo ora quanto scritto per
Dal Tramonto all'Alba:
"Dal Tramonto all'Alba" è un film del 1996 diretto da Robert Rodriguez, con la sceneggiatura di Quentin Tarantino, che ne è anche uno dei protagonisti insieme a George Clooney. La pellicola mescola abilmente elementi di crime, horror e azione in una trama audace e sorprendente.
La storia segue i fratelli criminali Seth e Richie Gecko (interpretati rispettivamente da Clooney e Tarantino), in fuga dalla polizia, che si rifugiano in un locale per camionisti messicano chiamato "Titty Twister". Lì, il gruppo si ritrova intrappolato in un inferno di vampiri assetati di sangue, costringendoli a unire le forze per sopravvivere fino all'alba.
Il film è una sorta di dichiarazione d'amore ai film di genere degli anni '70 e '80, con la regia di Rodriguez e la sceneggiatura di Tarantino che combinano elementi di exploitation, western e horror in una miscela esplosiva e spaventosa. La fotografia e la colonna sonora sono anche esse ottimamente curate, contribuendo a creare l'atmosfera inquietante che permea il film.
Clooney e Tarantino sono perfetti nei loro ruoli di criminali, con una chimica che funziona alla grande e un ottimo supporto da parte del resto del cast, tra cui Harvey Keitel e Juliette Lewis.
In generale, "Dal Tramonto all'Alba" è un film estremamente divertente e audace che si distingue per la sua trama sorprendente, la regia innovativa, le interpretazioni solide e l'atmosfera inquietante. Se sei un fan dei film di Tarantino o dei film di genere in generale, questo è sicuramente un film che devi vedere.
Tralasciando le ripetizioni presenti nella recensione di
Dal Tramonto all'Alba (la trama è definita due volte
audace e
sorprendente), la cosa più evidente è che l'ultimo capoverso è praticamente identico a quello scritto per
Vampires, così come lo sono le parti in cui ChatGPT commenta la recitazione dei protagonisti. In entrambe le recensioni ChatGPT usa le parole
fotografia e
atmosfera nella stessa frase, con aggettivi molto simili.
Le due recensioni sono quindi quasi intercambiabili, mentre nessun recensore umano scriverebbe la stessa recensione per due film diversi. Inoltre anche in questo caso stupisce un'importante omissione: nel nominare la colonna sonora di
Dal Tramonto all'Alba la recensione non menziona nemmeno uno dei celebri musicisti che ne hanno preso parte, e parliamo di artisti del calibro di ZZ Top, Mavericks e Jimmie Vaughan.
Conclusioni e prossime prove
Da questi pochi test emerge che almeno in prima battuta l'intelligenza artificiale non sembra in grado di competere con gli scrittori umani, anzi il risultato è sempre sorprendentemente scadente. La scrittura è sciatta (oltre alle ripetizioni evidenziate sopra, quasi tutti gli articoli terminano con un capoverso che inizia con
In conclusione,
In sintesi,
Infine o
In definitiva), ChatGPT non sembra saper contestualizzare, scrive spesso cose sbagliate e non entra mai a un livello di dettaglio sufficiente anche solo per un articolo divulgativo come quelli chiesti negli esempi sopra riportati.
Queste prove non hanno alcuna pretesa di scientificità, ad esempio le richieste di correzione o approfondimento sono state poche e insistendo avremmo ottenuto risultati migliori. Inoltre lo strumento funziona sicuramente meglio in lingua inglese. In ogni caso da queste prime prove sembra che almeno in lingua italiana il livello delle composizioni è ancora notevolmente inadeguato.
