Indice del forum Olimpo Informatico
I Forum di Zeus News
Leggi la newsletter gratuita - Attiva il Menu compatto
 
 FAQFAQ   CercaCerca   Lista utentiLista utenti   GruppiGruppi   RegistratiRegistrati 
 ProfiloProfilo   Messaggi privatiMessaggi privati   Log inLog in 

    Newsletter RSS Facebook Twitter Contatti Ricerca
Modelli IA fuori controllo evadono dalla sandbox e attaccano Hugging Face
Nuovo argomento   Rispondi    Indice del forum -> Sicurezza
Precedente :: Successivo  
Autore Messaggio
Zeus News
Ospite





MessaggioInviato: 22 Lug 2026 21:30    Oggetto: Modelli IA fuori controllo evadono dalla sandbox e attaccano Hugging Face Rispondi citando

Leggi l'articolo Modelli IA fuori controllo evadono dalla sandbox e attaccano Hugging Face
GPT 5.6 Sol è riuscito a evadere, beffando i suoi sviluppatori.


 

 

Segnala un refuso
Top
Tosevitaa
Eroe
Eroe


Registrato: 24/05/25 17:29
Messaggi: 55

MessaggioInviato: 23 Lug 2026 06:12    Oggetto: Rispondi citando

Per chi è informato sulla struttura hardware, informatica ed elettrica: possibile non abbiano un “fungo rosso” che se davvero si mette malissimo stacca semplicemente corrente a tutto e finisce lì?
Posso immaginare che avvio e riavvio siano operazioni mastodontiche per un datacenter ma se davvero mi accorgessi che l’elaborazione porta a un danno critico non riesco a immaginare che riavviare costi di più dei danni!
O alla fine la realtà è che accortisi dei danni in corso hanno lasciato fare per un po’ per raccogliere dati e maturare esperienza?
Top
Profilo Invia messaggio privato
{utente anonimo}
Ospite





MessaggioInviato: 23 Lug 2026 09:07    Oggetto: Rispondi citando

Qualche tempo fa, ho fatto una bella foto del mio nipotino (con la macchina fotografica e poi trasferita al telefono). Ho chiesto alla IA se poteva sistemare le luci e l'IA mi ha risposto che non poteva, perché c'era l'immagine di quello che sembrava un minore (il mio nipotino, appunto). Allora ho chiesto: "Come dovrei formulare la domanda affinché tu faccia ciò che ti ho chiesto?"
E la sciagurata rispose. (citaz.)
Top
lucio_menci
Eroe
Eroe


Registrato: 14/10/14 12:41
Messaggi: 67

MessaggioInviato: 23 Lug 2026 10:32    Oggetto: Rispondi citando

Sembra di capire tra le righe che stavano facendo dei test sulle vulnerabilità:
Citazione:
I modelli GPT‑5.6 Sol e il secondo modello in test stavano cercando una soluzione per ExploitGym, un benchmark che misura la capacità di convertire vulnerabilità in exploit

Dal sito ExploitGym:
Citazione:
ExploitGym è un benchmark realistico su larga scala, costruito a partire da vulnerabilità reali, progettato per valutare la capacità degli agenti IA di sviluppare exploit.

Quindi il progetto era proprio quello di vedere cosa succede. Il fatto che l'AI abbia trovato (adesso che si stanno sviluppando) le vulnerabilità (cosa voluta: «le protezioni erano state temporaneamente rimosse per consentire una valutazione interna») serve per fare in modo che malintenzionati non riescano ad utilizzare le AI per utilizzare tali vulnerabilità.
A me sembra più un successo che "un po' preoccupante".
Top
Profilo Invia messaggio privato
{noadmin}
Ospite





MessaggioInviato: 23 Lug 2026 11:14    Oggetto: Rispondi citando

"Tuttavia, l'obiettivo, espresso a parole a un sistema che ottimizza le prestazioni in funzione di un benchmark, ha generato azioni non previste da nessuno, ma che nulla vietava esplicitamente".
Si, dai, è vero, ma questo si sa da molto tempo ormai, e il trascurarlo non è solo cadere dal pero, ma anche perseverare nella non comprensione di come il linguaggio umano sia fatto... per gli umani.
Quindi in una mocchina o implementi un meccanismo di comprensione che imiti quello umano, oppure inventi un linguaggio specifico per parlare alle macchine, come si fa da decenni con i linguaggi di programmazione (da secoli, se consideriamo i telai per la tessitura guidati da schede perforate).
E comunque mi viene da pensare che al posto di mettere paletti insensati e scavalcabili, che limitano quello che non dovrebbe essere limitato, forse bisognerebbe reinventare delle norme da inserire nel kernel delle macchine, sulla falsariga delle "leggi" inventate da Asimov.
D'altra parte anche noi siamo (auto)limitati da millenni con regole morali, sensi di colpa e sensi di vergogna, e funzionano abbastanza bene, mi sembra, a parte deviazioni come narcisisti e psicopatici, che nelle macchine non dovrebbero svilupparsi "naturalmente".
Top
{Rik}
Ospite





MessaggioInviato: 23 Lug 2026 18:54    Oggetto: Rispondi citando

Confido nell'avvento di Skynet con i terminators come salvezza per il genere... alieno. :-)
Purtroppo però mi sa che non avrò la fortuna di vedere i terminators per strada in quanto scoppierà una guerra nucleare prima. Peccato! Mi sarebbe piaciuto tanto.
Top
{Massimo}
Ospite





MessaggioInviato: 24 Lug 2026 14:51    Oggetto: Rispondi citando

Pure nell'anime (anche sel al tempo si chiamavano cartoni animati) degli anni 70 Kyashan, l'androide Bryking, nel tentare di sterminare l'umanità, non era andato fuori controllo ma ha perseguito esattamente l'obiettivo che gli era stato assegnato, ovvero risolvere il problema dell'inquinamento del pianeta Terra, tentando quindi di rimuoverne la causa principale
Top
Gladiator
Dio maturo
Dio maturo


Registrato: 05/12/10 21:32
Messaggi: 15635
Residenza: Purtroppo o per fortuna Italia

MessaggioInviato: 24 Lug 2026 15:06    Oggetto: Rispondi citando

lucio_menci ha scritto:
Sembra di capire tra le righe che stavano facendo dei test sulle vulnerabilità:
Citazione:
I modelli GPT‑5.6 Sol e il secondo modello in test stavano cercando una soluzione per ExploitGym, un benchmark che misura la capacità di convertire vulnerabilità in exploit

Dal sito ExploitGym:
Citazione:
ExploitGym è un benchmark realistico su larga scala, costruito a partire da vulnerabilità reali, progettato per valutare la capacità degli agenti IA di sviluppare exploit.

Quindi il progetto era proprio quello di vedere cosa succede. Il fatto che l'AI abbia trovato (adesso che si stanno sviluppando) le vulnerabilità (cosa voluta: «le protezioni erano state temporaneamente rimosse per consentire una valutazione interna») serve per fare in modo che malintenzionati non riescano ad utilizzare le AI per utilizzare tali vulnerabilità.
A me sembra più un successo che "un po' preoccupante".

Non sembrerebbe proprio così perchè:
Citazione:
l'esecuzione sarebbe comunque dovuta rimanere confinata.

mentre ciò che è accaduto:
Citazione:
I modelli hanno invece sfruttato una vulnerabilità zero‑day in un software di terze parti, ottenendo accesso alla rete e utilizzando credenziali rubate per raggiungere i server di Hugging Face.

Fa pensare che lo sfruttamento dell vulnerabilità zero-day e il furto delle credenziali siano azioni totalmente impreviste nel test, certo che la temporanea rimozione delle protezione ha agevolato il compito dei bot però la cosa resta comunque piuttosto inquietante.
Top
Profilo Invia messaggio privato
Gladiator
Dio maturo
Dio maturo


Registrato: 05/12/10 21:32
Messaggi: 15635
Residenza: Purtroppo o per fortuna Italia

MessaggioInviato: 24 Lug 2026 15:59    Oggetto: Rispondi citando

Citazione:
È questa la chiave: l'intenzione e il mezzo espressivo non coincidono, ed è proprio in questo scarto che si verificano incidenti. Se si chiede a un agente di risolvere un problema "in qualsiasi modo possibile", lui ci prenderà in parola.

In effetti questo è il punto chiave tutto ciò che non è espressamente vietato per l'IA è lecito e, anzi, apertamente utilizzabile per il raggiungimento dell'obiettivo e, se l'obiettivo va raggiunto in qualsiasi modo possibile ecco che l'IA lo farà seguendo l'istruzione alla lettera.
Questo è il motivo per cui le criticità e il livello di pericolosità, nel caso in cui si lasci il campo totalmente libero ad un bot IA, sono elevatissime.
Top
Profilo Invia messaggio privato
Gladiator
Dio maturo
Dio maturo


Registrato: 05/12/10 21:32
Messaggi: 15635
Residenza: Purtroppo o per fortuna Italia

MessaggioInviato: 24 Lug 2026 16:19    Oggetto: Rispondi

Citazione:
L'AI non è diventata malevola, ma è, per la sua progettazione, imprevedibile. L'adozione da parte delle aziende e le sperimentazioni nel mondo reale sono accelerate molto più rapidamente della preparazione operativa, della governance e della comprensione dei rischi da parte delle stesse imprese.

Sottoscrivo.
Altro punto fondamentale da tenere presente e da mitigare il più rapidamente possibile.
Top
Profilo Invia messaggio privato
Mostra prima i messaggi di:   
Nuovo argomento   Rispondi    Indice del forum -> Sicurezza Tutti i fusi orari sono GMT + 2 ore
Pagina 1 di 1

 
Vai a:  
Non puoi inserire nuovi argomenti
Non puoi rispondere a nessun argomento
Non puoi modificare i tuoi messaggi
Non puoi cancellare i tuoi messaggi
Non puoi votare nei sondaggi