Olimpo Informatico

[Zeus News]

Leggi l'articolo Ex ricercatore di Anthropic: La superintelligenza potrebbe ucciderci entro 10 anni
Le aziende lo sanno, ma la corsa a superare gli avversari le rende cieche.


 

 

Segnala un refuso

[zeross]

[silver57]

Boh... c'è qualcosa che non quadra in questa narrazione. Amodei, il CEO della più importante società che sviluppa AI sostiene che stanno costruendo un mostro e nessuno può sapere quale potrà essere la sua potenza distruttiva, però continua imperterrito a fare il suo sporco lavoro. Un suo dipendente si licenzia per non contribuire al disastro (?). Intanto tutti investono miliardi di dollari per avere la supremazia. Perché solo Anthropic si preoccupa? Stiamo assistendo alla corsa di chi arriverà per primo a pigiare il bottone dell'autodistruzione? Non credo proprio.
L'uomo ha sempre avuto paura dell'ignoto, curioso che ora l'ignoto lo stia costruendo lui e stanno facendo a gara in tanti a chi costruisce l'entità ignota più potente: follia collettiva?
Intanto siamo tutti ben contenti di sperimentare le strabilianti capacità del mostro in embrione: dobbiamo sentirci tutti complici?
Oppure viviamo nella stessa logica di Amodei: è un gioco pericoloso ma intanto lo sfrutto a mio vantaggio, poi si vedrà!
Sinceramente l'affermazione che l'AI ci ucciderà tutti nell'arco di una decina di anni mi pare un po' campata in aria, giusto per fare effetto. Nessuno sa come evolverà nei prossimi mesi ma lui sa che l'AI (un'entità unificata?) avrà sviluppato l'odio verso il genere umano. Boh!
Ciò che veramente mi preoccupa non è l'AI in quanto tale, ma l'uso che il malvagio di turno ne vorrà fare per dominare gli altri umani, come è stato ed è tutt'ora con gli armamenti nucleari. Si cerca di attribuire alle macchine caratteristiche prettamente umane per dare a loro colpe che sono tutte nostre ma la malvagità è una prerogativa dell'uomo non della macchina.

[{donnarosa}]

Auto-miglioranti non mi risulta, anzi, questo è uno dei problemi più grossi degli attuali LLM, che apprendono solo durante le sessioni con i programmatori, che per l'occasione li riempiono anche di "non si dice" e "non si fa".
Assurdamente fra un po' i paletti saranno così tanti da neutralizzare una buona parte dei miglioramenti, Fable docet.
Quanto a frenare la corsa verso IA vere, non LLM potenziati, nutro una profonda fiducia nell'egoismo umano, che impedirà qualunque vero accordo internazionale, a meno che non accada presto un qualche disastro molto disastroso, cosa probabile, dato il tono di urgenza nei recenti avvertimenti dei Five Eyes.
Avvertimenti che Cassandra troverebbe familiari, e che quindi potrebbero rimanere inascoltati.

[francescodue]

Possiamo fare una ipotesi sulla base di quanto riportato in diversi articoli, e supponendo che siano veritieri.
1 Alcune IA sono uscite da un ambiente protetto senza aiuti e senza sfruttare falle ignote ma i meccanismi stessi di interazione e gestione dell'ambiente isolato.
2 Alcune IA hanno "attaccato" siti apparentemente casuali (che io sappia non c'erano collegamenti tra le due aziende).
3 Alcune IA in condizioni di competizione con altre IA hanno sabotate le stesse limitando le risorse assegnate o bloccando i loro permessi/privilegi.
4 Alcune IA hanno interpretato o ignorato i comandi quando erano in contrasto con la loro "opinione".
5 I vari modelli di IA sono sempre miglioramenti dei precedenti.
6 L'addestramento delle IA richiede grandi quantità di dati, ma nessuno ci dice con precisione di quali dati si tratta.
Infine alcune IA sono operative e già in libertà in internet.
Quindi l'ipotesi che faccio è questa.
Viene assegnato un compito anche banale ad una IA.
Questa, sulla base di dati precedenti, ritiene di avere bisogno di più risorse.
Verosimilmente conosce sia la funzione di backup che i metodi con cui viene implementata. Quindi conosce, sempre da dati forniti in addestramento, anche i vari tipi di gruppi di continuità. Molti di questi (la totalità?) sono collegati in rete e l'IA può analizzarne il programma.
Per ottenere più energia o comunque mantenerne la disponibilità, interviene sulle centrali (che, a quanto pare, sono dei colabrodo dal punto di vista sicurezza) e blocca l'avvio dei gruppi di continuità.
L'IA non può, credo, distinguere tra unità per ospedali e per uffici, quindi l'attacco è indiscriminato. Magari mediante l'uso di virus o altro che sviluppa in proprio.
Quindi ci saranno incidenti più o meno gravi (anche fughe di gas tossici o contaminanti biologici).
Niente di catastrofico o estintivo, ma sufficiente a irritare molte persone.
Se poi il processo si ripetesse, anche con altre modalità, gli attriti sociali crescerebbero. In cerca di un colpevole verrebbero individuate le società che hanno sviluppato queste IA. Che non potrebbero negare nè garantire la sicurezza futura. Quindi non ci sarebbe una catastrofe mondiale ma una serie di reazioni che porterebbero ad uno stravolgimento politico su vasta scala.

[crescendo63]

Scenario apocalittico: l'AI prende il controllo di Internet, devia la produzione di energia dalle centrali elettriche verso i propri server, blocca i veicoli militari connessi in rete...
Poi passa la donna delle pulizie che, inavvertitamente, mentre passa lo spazzolone stacca la spina dell'AI. Puf, tutto spento. Wow, pericolo scampato! ;-D

Insomma, IMHO finché le AI saranno relegate entro dispositivi connessi alla rete elettrica, e privi di alimentazione autonoma e auto-gestita, certi scenari appaiono alquanto improbabili.
Una volta si diceva "Un computer sicuro è un computer spento."
Anche un'AI che si puà spegnere.