| Precedente :: Successivo |
| Autore |
Messaggio |
Zeus News Ospite
|
|
| Top |
|
 |
Tosevitaa Eroe


Registrato: 24/05/25 17:29 Messaggi: 55
|
Inviato: 23 Lug 2026 06:12 Oggetto: |
|
|
Per chi è informato sulla struttura hardware, informatica ed elettrica: possibile non abbiano un “fungo rosso” che se davvero si mette malissimo stacca semplicemente corrente a tutto e finisce lì?
Posso immaginare che avvio e riavvio siano operazioni mastodontiche per un datacenter ma se davvero mi accorgessi che l’elaborazione porta a un danno critico non riesco a immaginare che riavviare costi di più dei danni!
O alla fine la realtà è che accortisi dei danni in corso hanno lasciato fare per un po’ per raccogliere dati e maturare esperienza? |
|
| Top |
|
 |
{utente anonimo} Ospite
|
Inviato: 23 Lug 2026 09:07 Oggetto: |
|
|
Qualche tempo fa, ho fatto una bella foto del mio nipotino (con la macchina fotografica e poi trasferita al telefono). Ho chiesto alla IA se poteva sistemare le luci e l'IA mi ha risposto che non poteva, perché c'era l'immagine di quello che sembrava un minore (il mio nipotino, appunto). Allora ho chiesto: "Come dovrei formulare la domanda affinché tu faccia ciò che ti ho chiesto?"
E la sciagurata rispose. (citaz.) |
|
| Top |
|
 |
lucio_menci Eroe

Registrato: 14/10/14 12:41 Messaggi: 67
|
Inviato: 23 Lug 2026 10:32 Oggetto: |
|
|
Sembra di capire tra le righe che stavano facendo dei test sulle vulnerabilità:
| Citazione: | | I modelli GPT‑5.6 Sol e il secondo modello in test stavano cercando una soluzione per ExploitGym, un benchmark che misura la capacità di convertire vulnerabilità in exploit |
Dal sito ExploitGym:
| Citazione: | | ExploitGym è un benchmark realistico su larga scala, costruito a partire da vulnerabilità reali, progettato per valutare la capacità degli agenti IA di sviluppare exploit. |
Quindi il progetto era proprio quello di vedere cosa succede. Il fatto che l'AI abbia trovato (adesso che si stanno sviluppando) le vulnerabilità (cosa voluta: «le protezioni erano state temporaneamente rimosse per consentire una valutazione interna») serve per fare in modo che malintenzionati non riescano ad utilizzare le AI per utilizzare tali vulnerabilità.
A me sembra più un successo che "un po' preoccupante". |
|
| Top |
|
 |
{noadmin} Ospite
|
Inviato: 23 Lug 2026 11:14 Oggetto: |
|
|
"Tuttavia, l'obiettivo, espresso a parole a un sistema che ottimizza le prestazioni in funzione di un benchmark, ha generato azioni non previste da nessuno, ma che nulla vietava esplicitamente".
Si, dai, è vero, ma questo si sa da molto tempo ormai, e il trascurarlo non è solo cadere dal pero, ma anche perseverare nella non comprensione di come il linguaggio umano sia fatto... per gli umani.
Quindi in una mocchina o implementi un meccanismo di comprensione che imiti quello umano, oppure inventi un linguaggio specifico per parlare alle macchine, come si fa da decenni con i linguaggi di programmazione (da secoli, se consideriamo i telai per la tessitura guidati da schede perforate).
E comunque mi viene da pensare che al posto di mettere paletti insensati e scavalcabili, che limitano quello che non dovrebbe essere limitato, forse bisognerebbe reinventare delle norme da inserire nel kernel delle macchine, sulla falsariga delle "leggi" inventate da Asimov.
D'altra parte anche noi siamo (auto)limitati da millenni con regole morali, sensi di colpa e sensi di vergogna, e funzionano abbastanza bene, mi sembra, a parte deviazioni come narcisisti e psicopatici, che nelle macchine non dovrebbero svilupparsi "naturalmente". |
|
| Top |
|
 |
{Rik} Ospite
|
Inviato: 23 Lug 2026 18:54 Oggetto: |
|
|
Confido nell'avvento di Skynet con i terminators come salvezza per il genere... alieno. :-)
Purtroppo però mi sa che non avrò la fortuna di vedere i terminators per strada in quanto scoppierà una guerra nucleare prima. Peccato! Mi sarebbe piaciuto tanto. |
|
| Top |
|
 |
{Massimo} Ospite
|
Inviato: 24 Lug 2026 14:51 Oggetto: |
|
|
| Pure nell'anime (anche sel al tempo si chiamavano cartoni animati) degli anni 70 Kyashan, l'androide Bryking, nel tentare di sterminare l'umanità, non era andato fuori controllo ma ha perseguito esattamente l'obiettivo che gli era stato assegnato, ovvero risolvere il problema dell'inquinamento del pianeta Terra, tentando quindi di rimuoverne la causa principale |
|
| Top |
|
 |
Gladiator Dio maturo


Registrato: 05/12/10 21:32 Messaggi: 15635 Residenza: Purtroppo o per fortuna Italia
|
Inviato: 24 Lug 2026 15:06 Oggetto: |
|
|
| lucio_menci ha scritto: | Sembra di capire tra le righe che stavano facendo dei test sulle vulnerabilità:
| Citazione: | | I modelli GPT‑5.6 Sol e il secondo modello in test stavano cercando una soluzione per ExploitGym, un benchmark che misura la capacità di convertire vulnerabilità in exploit |
Dal sito ExploitGym:
| Citazione: | | ExploitGym è un benchmark realistico su larga scala, costruito a partire da vulnerabilità reali, progettato per valutare la capacità degli agenti IA di sviluppare exploit. |
Quindi il progetto era proprio quello di vedere cosa succede. Il fatto che l'AI abbia trovato (adesso che si stanno sviluppando) le vulnerabilità (cosa voluta: «le protezioni erano state temporaneamente rimosse per consentire una valutazione interna») serve per fare in modo che malintenzionati non riescano ad utilizzare le AI per utilizzare tali vulnerabilità.
A me sembra più un successo che "un po' preoccupante". |
Non sembrerebbe proprio così perchè:
| Citazione: | | l'esecuzione sarebbe comunque dovuta rimanere confinata. |
mentre ciò che è accaduto:
| Citazione: | | I modelli hanno invece sfruttato una vulnerabilità zero‑day in un software di terze parti, ottenendo accesso alla rete e utilizzando credenziali rubate per raggiungere i server di Hugging Face. |
Fa pensare che lo sfruttamento dell vulnerabilità zero-day e il furto delle credenziali siano azioni totalmente impreviste nel test, certo che la temporanea rimozione delle protezione ha agevolato il compito dei bot però la cosa resta comunque piuttosto inquietante. |
|
| Top |
|
 |
Gladiator Dio maturo


Registrato: 05/12/10 21:32 Messaggi: 15635 Residenza: Purtroppo o per fortuna Italia
|
Inviato: 24 Lug 2026 15:59 Oggetto: |
|
|
| Citazione: | | È questa la chiave: l'intenzione e il mezzo espressivo non coincidono, ed è proprio in questo scarto che si verificano incidenti. Se si chiede a un agente di risolvere un problema "in qualsiasi modo possibile", lui ci prenderà in parola. |
In effetti questo è il punto chiave tutto ciò che non è espressamente vietato per l'IA è lecito e, anzi, apertamente utilizzabile per il raggiungimento dell'obiettivo e, se l'obiettivo va raggiunto in qualsiasi modo possibile ecco che l'IA lo farà seguendo l'istruzione alla lettera.
Questo è il motivo per cui le criticità e il livello di pericolosità, nel caso in cui si lasci il campo totalmente libero ad un bot IA, sono elevatissime. |
|
| Top |
|
 |
Gladiator Dio maturo


Registrato: 05/12/10 21:32 Messaggi: 15635 Residenza: Purtroppo o per fortuna Italia
|
Inviato: 24 Lug 2026 16:19 Oggetto: |
|
|
| Citazione: | | L'AI non è diventata malevola, ma è, per la sua progettazione, imprevedibile. L'adozione da parte delle aziende e le sperimentazioni nel mondo reale sono accelerate molto più rapidamente della preparazione operativa, della governance e della comprensione dei rischi da parte delle stesse imprese. |
Sottoscrivo.
Altro punto fondamentale da tenere presente e da mitigare il più rapidamente possibile. |
|
| Top |
|
 |
|