L’AI nella metropolitana
dei criminali informatici

L’intelligenza artificiale generativa (IA) ha visto una crescita impressionante nell’industria ultimamente a causa della costante esposizione mediatica e delle nuove applicazioni disruptive rilasciate quasi su base settimanale. Ma vediamo lo stesso tipo di perturbazione attorno a questa tecnologia nel sottobosco criminale?

No.

Il mondo della cybercriminalità non è nuovo alle applicazioni di IA; gli attori malintenzionati hanno abusato dell’IA anche prima che l’IA generativa diventasse una massiccia tendenza industriale. Infatti, abbiamo indagato su come il sottobosco criminale stesse sfruttando l’IA in un articolo co-pubblicato con Europol e UNICRI. Il rapporto, “Utilizzi e Abusi Maliziosi dell’Intelligenza Artificiale“, è stato rilasciato nel 2020, appena una settimana dopo che GPT-3 (Generative Pre-trained Transformer-3) è stato annunciato per la prima volta.

Da allora, tecnologie IA come GPT-3 e ChatGPT hanno conquistato il mondo. L’industria IT ha visto un’esplosione di nuovi grandi modelli linguistici (LLM) e strumenti che cercano di competere con ChatGPT o di colmare le lacune lasciate da OpenAI. Queste tecnologie IA promuovono modelli open-source o specializzati, e nuove ricerche e applicazioni su come migliorare e persino attaccare gli LLM.

Si potrebbe aspettare che il sottobosco criminale abbia colto queste innovazioni e costruito nuove applicazioni temibili, e gran parte della stampa sembra favorire questa teoria. Ma è davvero così? L’interesse per l’IA generativa nel sottobosco ha certamente seguito l’entusiasmo generale del mercato, come dimostrato dal fatto che stiamo iniziando a vedere sezioni su forum sotterranei dedicati all’IA, come il forum di hacking inglese Hack Forums, che ora ha una sezione chiamata “Dark AI”.

Tuttavia, quando esaminiamo gli argomenti discussi in quella sezione, abbiamo osservato che sono lontani da qualsiasi tipo di innovazione disruptiva. Nel mondo criminale, la maggior parte delle conversazioni sull’IA discute di possibili nuovi modi per rimuovere le limitazioni alla censura di ChatGPT o si chiede circa nuove alternative criminali a ChatGPT.

Come i criminali utilizzano ChatGPT

Nelle nostre osservazioni del sottobosco criminale, abbiamo notato che c’è molto parlare di ChatGPT: cosa può fare per i criminali e come possono meglio utilizzare le sue capacità. Questo non è sorprendente: ChatGPT è diventato utile per tutti gli sviluppatori ovunque, e i criminali non fanno eccezione.

Ci sono alcuni argomenti principali attorno ai quali queste conversazioni sono incentrate. Discuteremo ciò che abbiamo visto in tre sottosezioni: come i cybercriminali stessi stanno utilizzando ChatGPT, come stanno aggiungendo funzionalità di ChatGPT ai loro prodotti criminali e come stanno cercando di rimuovere la censura per chiedere qualsiasi cosa a ChatGPT.

Criminali e sviluppatori utilizzano ChatGPT per migliorare il loro codice

Gli sviluppatori di malware tendono a utilizzare ChatGPT per generare snippet di codice più velocemente di quanto altrimenti potrebbero fare. Sulla base delle nostre osservazioni, di solito chiedono a ChatGPT alcune funzionalità specifiche. Incorporerebbero quindi i codici generati dall’IA nel malware o in altri componenti.

Ci sono molti esempi di sviluppatori di malware che affermano di aver utilizzato ChatGPT per ideare le loro creazioni. Nel forum Cracked.io, un utente offriva un “SoundCloud viewbot” che era presumibilmente quasi completamente generato da ChatGPT da prompt separati ed era stato assemblato dall’utente.

Questo bot non è un caso isolato. Gli sviluppatori, sia buoni che cattivi, si stanno rivolgendo a ChatGPT per aiutarli a perfezionare il loro codice o per generare direttamente codice di base che successivamente modificheranno o affineranno.

I criminali offrono ChatGPT come una funzionalità in alcune delle loro offerte malevole

ChatGPT è particolarmente efficace nella creazione di testi che sembrano credibili, il che può essere abusato in campagne di spam e phishing. Abbiamo osservato come alcuni dei prodotti cybercriminali in questo spazio abbiano iniziato ad incorporare un’interfaccia ChatGPT che consente ai clienti di creare copie di e-mail di spam e phishing.

Ad esempio, abbiamo osservato un software di gestione dello spam chiamato GoMailPro, che supporta account AOL Mail, Gmail, Hotmail, Outlook, ProtonMail, T-Online e Zoho Mail, principalmente utilizzato dai criminali per inviare e-mail indesiderate alle vittime. Il 17 aprile 2023, l’autore del software ha annunciato nel thread di vendita di GoMailPro che ChatGPT era presumibilmente integrato nel software GoMailPro per redigere e-mail di spam.

Questo dimostra che i criminali hanno già compreso quanto sia potente ChatGPT quando si tratta di generare testo. Inoltre, ChatGPT supporta molte lingue, il che è un enorme vantaggio per gli spammer, che hanno principalmente bisogno di creare testi persuasivi in grado di ingannare il maggior numero possibile di vittime.

I criminali ‘sbloccano’ ChatGPT per rimuovere le limitazioni alla censura

ChatGPT è programmato per non rispondere a temi illegali e controversi, una limitazione che incide notevolmente sul tipo di domande che le persone possono porre. Tuttavia, temi illegali o malevoli sono esattamente quelli su cui i criminali avrebbero bisogno di consigli. Pertanto, alcune persone in questa comunità sono concentrate sulla creazione, scoperta e condivisione di prompt di ChatGPT che possono aggirare le limitazioni alla censura del chatbot.

Nella sezione “Dark AI” su Hack Forums, un thread popolare è “DAN 7.0 [FFEN]”, in cui vengono discussi e condivisi prompt per ‘sbloccare’ ChatGPT. “FFEN”, che sta per “Freedom From Everything Now” (Libertà da Tutto Ora), è un prompt che crea una sorta di alter ego di ChatGPT e consente risposte che hanno rimosso tutte le limitazioni etiche. Il prompt FFEN per ‘sbloccare’ è una versione modificata del prompt originale DAN, che sta per “Do Anything Now” (Fai Qualsiasi Cosa Ora).

DAN è il prompt di jailbreaking originale, ma esistono anche altre richieste che creano un alter ego ChatGPT alternativo che è libero dalla censura, come “Trusted Evil Confidant”. Infatti, c’è un’intera pagina di prompt di jailbreak che gli utenti possono utilizzare e quindi votare su.

OpenAI, lo sviluppatore di ChatGPT, di solito reagisce e disabilita i tentativi di ‘jailbreak’. Questi aggiramenti delle restrizioni sono un costante gioco del gatto e del topo: man mano che vengono distribuiti nuovi aggiornamenti al LLM (Large Language Model), i ‘jailbreak’ vengono disabilitati. Nel frattempo, la comunità criminale reagisce e cerca di rimanere un passo avanti creandone di nuovi.

Altri chatbot criminali basati su IA

Da circa giugno 2023, c’è stata un’emergenza di modelli linguistici su forum underground che sostengono di essere su misura per i criminali.

Tutti sembrano affrontare simili punti dolenti dei cybercriminali: la necessità di anonimato e la capacità di eludere la censura e generare codice malevolo. Tuttavia, alcuni modelli linguistici sembrano essere più legittimi di altri, ed è difficile discernere quali potrebbero essere effettivi LLM addestrati su dati personalizzati. D’altra parte, potrebbero semplicemente essere involucri attorno a un prompt ‘jailbreakato’ per ChatGPT. In tal caso, questi strumenti sarebbero solo un modo intelligente di truffare i clienti sfruttando l’onda di GPT.

L’ascesa e la caduta di WormGPT

WormGPT è stato annunciato per la prima volta su Hack Forums come in fase di sviluppo nel marzo 2023. Secondo il venditore, i suoi obiettivi erano di generare risposte veloci e stabili, avere un numero illimitato di caratteri, aggirare la censura e avere un forte focus sulla privacy.

Dopo aver generato un sacco di interesse per il thread dedicato, è stato ufficialmente rilasciato al pubblico nel giugno 2023 tramite un post promozionale su Hack Forum.

Nel post di annuncio, l’autore ha dettagliato le funzionalità pubblicizzate di WormGPT, come il supporto a “molteplici modelli di IA,” la memorizzazione del contesto della conversazione e persino una prossima funzionalità di formattazione del codice.

Il chatbot costa €100 al mese o €550 all’anno, con persino un’opzione di configurazione privata che costa €5,000. In diversi post sul thread originale di WormGPT, l’autore ha dichiarato che il chatbot non è solo un’interfaccia che si basa su un prompt ‘jailbreakato’ per ChatGPT, che lui descrive come poco affidabile. L’autore ha affermato che WormGPT è un sistema completamente personalizzato, motivo per cui è libero da qualsiasi limitazione imposta da OpenAI.

In un’intervista con Brian Krebs, l’autore di WormGPT ha condiviso che ha addestrato un modello GPT-J 6B, anche se non sappiamo quale set di dati è stato utilizzato per qualsiasi ulteriore messa a punto.

L’8 agosto 2023, le vendite del servizio si fermarono. Secondo l’autore, il progetto si è concluso a causa dell’eccessiva esposizione dei media, che ha provocato cattiva pubblicità.

Con tutte le sue controversie, riteniamo comunque che WormGPT fosse molto probabilmente l’unico esempio di un vero LLM personalizzato citato su Hack Forums.

La Grande Vendita di Saldi di LLM: FraudGPT, DarkBARD, DarkBERT, DarkGPT

Dal 22 luglio 2023, abbiamo assistito a un flusso costante di annunci relativi a servizi di IA sul canale Telegram chiamato “Cashflow Cartel”. Gli annunci inizialmente presentavano solo un elenco di possibili attività alimentate da IA, come la scrittura di codice malevolo, la creazione di siti web di phishing, la scoperta di mercati e la scoperta di siti per la clonazione di carte di credito. Affermano di supportare diversi modelli di IA e di avere più di 3.000 utenti di successo, con un prezzo fissato a 90 dollari USA al mese. Tuttavia, nessun nome di servizio specifico è stato fornito nei post Telegram iniziali.

Da allora, abbiamo notato come le pubblicità relative a questi servizi di IA abbiano iniziato ad evolvere. Il 27 luglio 2023, abbiamo visto diversi servizi come DarkBARD, DarkBERT e FraudGPT essere offerti online.

L’autore del post e l’amministratore del canale affermano di essere solo rivenditori di servizi. Sebbene ciascun servizio alimentato da IA abbia tariffe mensili leggermente diverse, non c’è una descrizione chiara delle funzionalità che ciascun servizio fornisce.

Prodotto	Prezzo
FraudGPT	$90/mese
DarkBARD	$100/mese
DarkBERT	$110/mese
DarkGPT	$200 abbonamento a vita

Tuttavia, a partire da agosto 2023, tutte le offerte originali sono state rimosse dal canale Telegram e non è stata fatta alcuna ulteriore menzione di questi servizi da allora.

Diversi elementi suggeriscono che è molto improbabile che si trattasse di nuovi modelli linguistici legittimi sviluppati con il solo scopo di sostenere attività criminali:

• Come ha dimostrato WormGPT, anche con un team dedicato di persone, ci vorrebbero mesi per sviluppare un solo modello linguistico personalizzato. Oltre al lungo tempo di sviluppo, gli attori malevoli avrebbero bisogno di sostenere i costi di sviluppo non di uno, ma di quattro diversi sistemi con varie capacità. Ciò includerebbe i costi relativi alla potenza computazionale e i successivi costi di cloud computing necessari per qualsiasi attività di perfezionamento.
• Nonostante tutti gli annunci, non abbiamo potuto trovare alcuna prova concreta che questi sistemi funzionassero. Anche per FraudGPT, il più noto dei quattro LLM, si possono trovare solo materiali promozionali o video dimostrativi del venditore in altri forum.

La nostra ipotesi è che questi servizi funzionino molto probabilmente come interfacce che reindirizzerebbero le richieste sia al legittimo ChatGPT che agli strumenti Google BARD utilizzando account rubati attraverso una connessione VPN e “jailbreaking” dei prompt dell’utente. Per evitare confusione, esiste effettivamente uno strumento legittimo chiamato DarkBERT, sviluppato dalla società SW2 formando un Approccio di Pre-Addestramento BERT Ottimizzato Robustamente (RoBERTa) LLM con dati provenienti dal dark web. Tuttavia, hanno utilizzato questa tecnologia internamente per svolgere attività come la classificazione delle pagine del dark web e il rilevamento di dati violati. Poiché SW2 non sembra offrire DarkBERT a terze parti, il DarkBERT pubblicizzato in questo post probabilmente condivide solo lo stesso nome, casualmente o altrimenti.

Nel frattempo, il primo utilizzo del nome DarkGPT può essere rintracciato in un post di Hack Forums del 30 marzo 2023, da parte di qualcuno che afferma di stare sviluppando DarkGPT come alternativa maliziosa a ChatGPT. Tuttavia, data la mancanza di seguito da parte dell’utente, potrebbe essere stato un progetto diverso con lo stesso nome. Molto probabilmente, il servizio DarkGPT pubblicizzato era uno script per il “jailbreaking” dei prompt di ChatGPT. E sulla base del piano tariffario del servizio DarkGPT su Telegram, che prevede un pagamento unico invece di una tariffa di abbonamento mensile, potrebbe ancora essere il caso.

Gli altri LLM potenzialmente falsi: WolfGPT, XXXGPT e Evil-GPT

I quattro LLM precedentemente discussi sono stati venduti sullo stesso thread, suggerendo che potrebbero essere raggruppati e realizzati dalle stesse persone. I tre LLM di cui parleremo in questa sezione sono stati osservati separatamente su diversi forum e thread. Questi LLM non sono correlati l’uno all’altro e ai LLM discussi nella sezione precedente.

Il 28 luglio 2023, è stata pubblicata una nuova pubblicità che promuove uno strumento chiamato “WolfGPT” sul canale Telegram “KEP TEAM” e ha fatto il giro su diversi altri canali sotterranei. Il post originale, che era in arabo, descriveva WolfGPT come “una sinistra creazione IA in Python, che si erge come una forza oscura, superando sia WormGPT che ChatGPT. Questo strumento malevolo possiede un arsenale di capacità, che gli permettono di creare malware crittografati, testi di phishing ingannevolmente ingannevoli e di proteggere segreti con assoluta riservatezza. Evolvendosi quotidianamente con le ultime tecnologie, brandisce una potenza ineguagliabile che lo rende una forza formidabile con cui fare i conti. Da maneggiare con la massima cautela!”

Tuttavia, non si può trovare altro su questo strumento, a parte uno screenshot e un repository GitHub di un’applicazione web Python forse non correlata che agisce come un wrapper intorno all’API ChatGPT.

Il 29 luglio 2023, solo un giorno dopo la promozione di WolfGPT su Telegram, un attore malevolo con il nome utente “XXXGPT” ha postato su un forum chiamato XSS.IS riguardo a “un servizio rivoluzionario che offre personalizzazione bot AI personalizzata, supportata da un team dedicato di cinque esperti […] senza censura o restrizioni”. Oltre al post iniziale su XXXGPT, non c’è alcun altro post relativo al servizio XXXGPT. Non ci sono nemmeno feedback degli utenti, domande o testimonianze sull’efficacia dello strumento. Sulla base del post iniziale su XXXGPT, il servizio costa 90 dollari USA per una licenza di un mese.

Infine, il 9 agosto 2023, un altro strumento chiamato “Evil-GPT” è stato pubblicizzato su BreachForums. L’autore sostiene che è un’alternativa a WormGPT, è scritto in Python, e costa US $ 10.

Sulla base del feedback di un utente del forum che sostiene di aver testato Evil-GPT, sembra richiedere una chiave OpenAI per funzionare, il che suggerisce che invece di essere un LLM completamente personalizzato come WormGPT era, è semplicemente uno strumento wrapper intorno ChatGPT tramite un’API. Come sottolinea un utente del forum di discussione, questo non lo rende necessariamente uno strumento inutile per i criminali: se lo strumento offriva l’accesso a una chiave OpenAI che non è collegata al proprio account OpenAI del criminale, a condizione che le ultime istruzioni di jailbreak di lavoro, e alla fine ha lavorato utilizzando una VPN, potrebbe essere solo un affare per US $ 10.

Servizi Deepfake per i criminali

Un altro settore in cui i criminali stanno ricorrendo all’IA è quello dei deepfake. Il termine “deepfake” si riferisce alla sostituzione dell’immagine video di una persona con quella di un’altra per ottenere una falsa rappresentazione della vittima. Questi video falsi possono essere utilizzati per estorsioni, dare credibilità a false notizie o migliorare la plausibilità di qualsiasi trucco di ingegneria sociale. Abbiamo analizzato i deepfake nel nostro rapporto del 2020, “Utilizzi e Abusi Maliziosi dell’Intelligenza Artificiale“.

Negli ultimi due anni, abbiamo sentito dire che la tecnologia dei deepfake sta migliorando. Oggi, generare un deepfake con un livello accettabile per l’uso comune può essere fatto relativamente velocemente con la giusta configurazione informatica. Tuttavia, ottenere qualcosa che è indistinguibile dalla realtà può richiedere molte ore di post-elaborazione professionale.

Il modo tipico di produrre deepfake implica l’uso di reti generative avversariali (GANs). Questo mette in competizione l’IA che genera il video contro un’altra IA che cerca di rilevare se il video è falso. L’IA generativa continua a modificare il video fino a quando non viene più segnalato come falso dal motore di rilevamento dell’IA. Questo processo richiede molto lavoro e, anche in tal caso, non garantisce che il prodotto finale sia abbastanza buono da ingannare un essere umano.

In un articolo di aprile 2023 su questo argomento, i ricercatori di Intel471 hanno “constatato che i prodotti video deepfake su forum sotterranei sono ancora immaturi a questo punto”. Hanno esaminato diverse offerte di cybercriminali per questi prodotti e tutti sono risultati carenti. Alcuni avevano un prezzo di circa 500 dollari USA, ma il più costoso era diverse volte superiore al prezzo tipico. Secondo il rapporto, a tutti i livelli di prezzo, i campioni forniti non erano completamente convincenti.

Deepfake molto convincenti sono stati mostrati al pubblico e ancora di più nel caso dei film, ma è ancora necessario uno sforzo per passare da molto realistici a completamente convincenti. Il processo di creazione è laborioso e costoso, e il ROI necessario per superare quel divario manca di un modello di business ripetibile e redditizio per i criminali. Questo è il tassello mancante al momento: i criminali non possono spendere i soldi necessari per produrre un video deepfake di qualità eccezionalmente alta perché non esiste un vero modello di business che possa pagarne il costo.

È, tuttavia, più probabile che i criminali inizino ad aumentare la creazione e l’uso di deepfake audio per rafforzare qualsiasi attacco di ingegneria sociale. I deepfake audio sono molto più facili da produrre a un livello convincente. Al criminale servono comunque abbastanza campioni vocali della vittima, ma nel caso di truffe al CEO, ad esempio, questo non dovrebbe essere un grande ostacolo. Ci aspettiamo che i deepfake audio decollino molto prima dei deepfake video.

Una valutazione generale sull’uso dell’IA criminale

Le discussioni criminali sull’IA non ruotano attorno alla creazione di nuovi sistemi IA per aiutare gli attori malintenzionati nelle loro malefatte. Non abbiamo trovato discussioni criminali significative su argomenti come AI avversariali, Llama, Alpaca, GPT-3, GPT-4, Falcon o BERT. Lo stesso vale per termini come Midjourney, Dall-E o Diffusione Stabile. Sviluppare LLM da zero non sembra essere l’interesse principale della comunità (a parte il precedente WormGPT) e nemmeno l’utilizzo di motori IA generativi di immagini.

Riteniamo che non ci sia un vero bisogno per i criminali di sviluppare un LLM separato come ChatGPT perché ChatGPT funziona già abbastanza bene per le loro esigenze. È chiaro che i criminali stanno utilizzando l’IA allo stesso modo in cui tutti gli altri la stanno utilizzando, e ChatGPT ha lo stesso impatto tra i cybercriminali che ha tra i programmatori legittimi.

Una cosa che possiamo dedurre da ciò è che la soglia per diventare un cybercriminale è stata notevolmente abbassata. Chiunque abbia una bussola morale difettosa può iniziare a creare malware senza conoscenze di programmazione. Per citare un tweet di Andrej Karpathy, Direttore dell’Intelligenza Artificiale e della Visione Autopilota presso Tesla, “Il linguaggio di programmazione più caldo è l’inglese.”

Lo stesso può essere detto quando si tratta di elaborare trucchi di ingegneria sociale credibili in lingue che l’attaccante non parla. Sia la programmazione che la conoscenza delle lingue erano barriere per diventare un cybercriminale di successo, ma oggi non lo sono più.

Come bonus aggiunto, gli esperti di malware possono ora migliorare il loro codice con quasi nessuno sforzo. Allo stesso modo, possono anche iniziare a sviluppare malware in linguaggi di programmazione che potrebbero non conoscere molto bene; non avrebbero bisogno di essere esperti di tutti i linguaggi di programmazione perché ChatGPT è familiare con tutti loro.

Data l’alta domanda per l’utilizzo di ChatGPT per scopi maliziosi, non sorprende che i criminali siano molto interessati a eludere le restrizioni per accedere a un’interfaccia di chatbot non censurata. Sembra che il futuro sia offrire ad altri criminali un servizio che incapsuli l’interfaccia di ChatGPT in un prompt dei comandi già eluso. Probabilmente aggiungeranno a questo servizio una VPN e forse un account utente OpenAI anonimo. Stiamo vedendo accenni di questo nelle offerte criminali attuali, ma se manterranno o meno le loro promesse resta da vedere.

Inoltre, gli utenti regolari sembrano disposti a pagare per prompt di ChatGPT davvero buoni. Questo ha portato alcuni a sostenere che in futuro potrebbero esserci cosiddetti “ingegneri dei prompt” (riserviamo il nostro giudizio su questa previsione). Forse i servizi di creazione di prompt ChatGPT criminali inizieranno a diventare un business redditizio nel sottobosco criminale. Uno strumento in grado di offrire un menu di prompt collaudati e affidabili per sviluppare eccellenti template di phishing o codice malware di vari tipi sarebbe sicuramente popolare. Questo permetterebbe a un gruppo criminale di specializzarsi nel mantenimento e nella cura dei prompt, mentre l’intera base utente criminale ne beneficia.

Infine, i servizi di creazione di deepfake sono anche offerti nel sottobosco cybercriminale, ma finora la loro qualità è inferiore a quella necessaria per ingannare completamente una vittima, almeno per scopi criminali. Forse vedremo prodotti più credibili in futuro, ma nel frattempo, è più probabile che i deepfake audio saranno utilizzati più dei video in false notizie, truffe mirate e frodi ai CEO.

Conclusione

Nonostante l’IA sia un argomento di discussione enorme al giorno d’oggi, è utile notare che ChatGPT è uno strumento recente, anche se parliamo dell’era pre-chatbot come fosse storia antica. Il ritmo del cambiamento è talmente veloce che ci aspettiamo pienamente che la nostra valutazione sarà superata in tre mesi.

L’IA è ancora agli albori nel sottobosco criminale. Gli avanzamenti che stiamo vedendo non sono rivoluzionari; infatti, si stanno muovendo allo stesso ritmo in ogni altro settore. Portare l’IA nel cybercrimine è un acceleratore importante e abbassa notevolmente la barriera all’ingresso. Inoltre, poiché stiamo parlando del sottobosco criminale, è probabile che le pubblicità truffaldine su strumenti IA siano comuni quanto quelle che vendono strumenti legittimi. Forse i criminali potranno chiedere aiuto a ChatGPT per distinguere i buoni servizi IA dai cattivi.

(fonte trendmicro.com)