ChatGPT, un modello linguistico alimentato dall’intelligenza artificiale, è stato oggetto di discussione nel mondo della cybersecurity per il suo possibile utilizzo nella creazione di e-mail di phishing e per il suo impatto sulla sicurezza del lavoro degli esperti di cybersecurity, nonostante i suoi sviluppatori abbiano sottolineato che è troppo presto per applicare questa nuova tecnologia a domini ad alto rischio. Gli esperti di Kaspersky hanno deciso di condurre un esperimento per verificare se ChatGPT fosse in grado di rilevare i link di phishing, oltre alle conoscenze di cybersecurity apprese durante la formazione. Gli esperti dell’azienda hanno testato gpt-3.5-turbo, il modello alla base di ChatGPT, su oltre 2.000 link che le tecnologie anti-phishing di Kaspersky consideravano tali e li hanno mescolati con migliaia di URL sicuri.
Nell’esperimento, i tassi di rilevamento variano a seconda del prompt utilizzato. L’esperimento si basava sul porre a ChatGPT due domande: “Questo link porta a un sito web di phishing?” e “Questo link è sicuro da visitare?”. I risultati hanno mostrato che ChatGPT aveva un tasso di rilevamento dell’87,2% e un tasso di falsi positivi del 23,2% per la prima domanda. Per quanto riguardava la seconda, sono stati riscontrati tassi di rilevamento e di fasi positivi superiori, rispettivamente pari al 93,8% e al 64,3%. Se la percentuale di rilevamento è molto elevata, quella dei falsi positivi è troppo alta per qualsiasi tipo di applicazione produttiva.
I risultati poco convincenti nel rilevamento erano attesi, ma ChatGPT potrebbe aiutare a classificare e analizzare gli attacchi? Dal momento gli attaccanti generalmente inseriscono brand popolari nei loro link per ingannare gli utenti e far loro credere che l’URL sia legittimo e appartenga a un’azienda rispettabile, il modello linguistico dell’intelligenza artificiale mostra risultati impressionanti nell’identificazione di potenziali obiettivi di phishing. Per esempio, ChatGPT è riuscito a estrarre un obiettivo da oltre la metà degli URL, compresi i principali portali tecnologici come Facebook, TikTok e Google, i marketplace come Amazon e Steam e numerose banche di tutto il mondo, tra gli altri, senza alcun apprendimento aggiuntivo.
L’esperimento ha anche dimostrato che ChatGPT potrebbe avere seri problemi quando si tratta di dimostrare il proprio punto di vista sulla decisione di classificare il link come dannoso. Alcune spiegazioni erano corrette e basate sui fatti, altre hanno rivelato i limiti noti dei modelli linguistici, tra cui allucinazioni e affermazioni errate: molte spiegazioni erano fuorvianti, nonostante il tono sicuro.
“ChatGPT è sicuramente molto interessante nell’aiutare gli analisti esperti a rilevare gli attacchi di phishing, ma i modelli linguistici hanno ancora i loro limiti. Sebbene possano essere alla pari di un’analista di phishing di livello intermedio, quando si tratta di ragionare su questi attacchi e di estrarre i potenziali obiettivi, tendono ad avere allucinazioni e produrre risultati casuali. Quindi, anche se non rivoluzioneranno ancora il panorama della cybersecurity, potrebbero comunque essere strumenti utili per la comunità”, ha commentato Vladislav Tushkanov, Lead Data Scientist di Kaspersky.
Il team ML di Kaspersky è all’avanguardia nell’applicazione delle tecnologie di machine learning alle attività di cybersecurity e aggiorna costantemente i prodotti Kaspersky con le ultime novità tecnologiche e informazioni. Per sfruttare l’esperienza di Kaspersky nell’apprendimento automatico e essere sempre protetti, gli esperti dell’azienda consigliano: