Olimpo Informatico

[Zeus News]

Leggi l'articolo Token, è finita la pacchia!
Cassandra Crossing/ Le aziende che vendono LLM stanno trattando i loro utenti come avviene sempre quando qualcuno raggiunge un monopolio di fatto: nel modo peggiore possibile. E quel che è peggio è che ci sono costrette.


 

 

Segnala un refuso

[Johannes]

No, Calamari, temo che la pacchia non sia finita. Le aziende che ha menzionato (ovvero le teste di marmo - per non usare quella parola più appropriata - che stanno in alto e decidono) "che hanno già incorporato processi guidati dagli LLM, che improvvisamente non funzionano più", ora sono, da quello che vedo personalmente (ma concedo la possibilità che io forse non abbia visionato un campione abbastanza rappresentativo), in piena tempesta interiore, causata dalla "fallacia dei costi sommersi" (quella del tipo: "Ho già investito tanto, non posso ora lasciar perdere, devo almeno recuperare le cifre investite", e poi investiranno altre cifre, aggiuntive) e anche dalla "fallacia dello scommetitore" (quella del tipo: "Si, fino ad ora ho perso, ma ancora un po', la probabilità è ora tutta dalla mia parte, faccio ancora qualche puntata"). E, sebbene io non conosca nessuno nelle schiere di quegli investitori miliardari che, per colpa della propria avidità folle e stupida, hanno alimentato la bolla speculativa e - probabilmente - la più grande truffa simil-Ponzi nella storia, mi è difficile sottarmi all'impressione che anche questi continuano e continueranno a essere vittime delle due fallacie menzionate. Non è una grossa soddisfazione che sono loro i primi ad essere truffati, poiché, dobbiamo ricordarrcelo, i soldi che loro hanno investito vengono sottratti dalle cifre imponibili per le tasse, e questi spesso fanno usi di finanza e contabilità "creative" per non pagare un centesimo di tasse. D'accordo, piangeranno per quel mancato lucro che si erano messi in testa di fare, ma mi viene difficile pensare che per loro siano "perdite" nel senso stretto. MI piacerebbe, Calamari, condividere il suo ottimismo per quanto riguarda la "pacchia finita", ma così ottimista non ce la faccio ad essere. Secondo me, S(c)am Altman, Amodei & compagnia brutta continueranno ancora a "mungere" qualcuno, dato che le capre in giro non mancano. Che alla fine, prima o poi (temo che sarà un "poi") andranno comunque a fare compagnia ad Elizabeth Holmes (quella di Theranos, per intenderci) non mi/ci sarà una grossa soddisfazione, considerando quanto danno avranno fatto nel frattempo.

[{al}]

da noi si stanno proponendo modelli personalizzati da tenere in casa con proprie macchine e propri dati. costi certi.

[{Francesco}]

Sono straconvinto che Cassandra avesse già previsto tutto questo, e anche oltre.
Il punto è: davvero ci si può ora meravigliare di quello che sta accadendo? Lo chiedo perché queste dinamiche erano note da tempo immemore e non solo in campo informatico. Ma, anche senza andare a scomodare i ricordi di chi come me ha già qualche capello bianco, davvero si poteva pensare che (visti gli investimenti miliardari ed essendo noto che gli hyperscaler erogavano in forte perdita i servizi legati ai LLM) la cosa potesse andare avanti per molto?
A volte viene da pensare che chi tratta il proprio bacino di utenti come un "parco buoi" non abbia sempre e comunque tutti i torti nel farlo.
Concludo con una domanda: finalmente (e aggiungo "incredibilmente solo ora" visto che i segnali di allarme c'erano tutti già da molti mesi) si inizia a guardare anche alle soluzioni locali per l'elaborazione di modelli open-source; per cui chiedo "siamo davvero sicuri che per le attività e le esigenze di aziende medio-piccole siano sempre e comunque necessari i cosiddetti modelli di frontiera e non ci si possa invece accontentare di qualcosa che gira direttamente in azienda su un sistema con 2 o 4 gpu adeguate allo scopo? Mi permetto di abbozzare una risposta accennando a 3 tematiche: "privacy", "compliance" e "sovranità dei dati", ma se ne possono aggiungere altre ancora.
Un caro saluto a tutti.

[Johannes]

Parlando di pacchie, quelle vere, dei vari S(c)am Altman & simili, non di quelli che pensavano di far lavorare a scrocco tecnologie con aspettative progettate al tavolino e gonfiate a arte, ecco che anche l'"Agitprop" entra in azione:
giro di soldi per avere un consulente che convinca gli investitori
Per continuare la pacchia (ripeto: quella vera) ora bisogna anche dedicare un po' di risorse finanziarie a "limare" e "lucidare" la narrativa. Non si può lasciare gli incompetenti a rovinare il mercato, diamine!

[{giovanni}]

Ho tentato di realizzare un motore di ricerca (per circa 200.000 file) per l'azienda, usando Ollama con LLaMA 3 e Recoll in WSL, ma ho dovuto desistere e accontentarmi di Recoll con un po' di python e una spruzzata di html e un misero css per l'interrogazione via browser, comunque venuta benino.
Motivo: un casino gestire Recoll e Ollama, e prestazioni scarsissime che rendevano una pena l'interrogazione di Recoll (potente ma un po' erratico), con piattaforma Windows 11 e 32 GB di Ram, e scheda grafica Intel di serie su un I9.
Gli unici LLM potenti, se non si hanno schede grafiche di tutto rispetto e una NPU degna di questo nome, sono quelli online, per ora non c'è niente da fare.
Naturalmente, come ogni monopolio/oligopolio, fanno quello che vogliono, ma l'utilità è comunque rilevante, specie con modelli all'altezza di Opus 4.6 (Claude di Anthropic).

[Gladiator]

Direi che le stanno provando tutte ma, onestamente, dubito che basti questo ad evitare che la bolla dll'IA gli scoppi comunque in mano.

[zeross]