Olimpo Informatico

[robynho85]

Salve a tutti,

ho bisogno di creare un framework che mi permetta di suddividere il carico di lavoro di un qualunque programma(scritto in un qualunque linguaggio)su un cluster. è necessario suddividere il lavoro su piu processori senza che l'utente abbia necessità di imparare un nuovo linguaggio di comunicazione tra i nodi e in maniera trasparente, cioè come se lavorassimo su un unica macchina.

per adesso la configurazione attuale è:
Il sistema è composto da 4 macchine Dell Power Edge R410 con 2 Intel Xeon E5530 (8 core a 2.4Ghz, 8M Chache) e 24 GB di Ram e da una SAN Dell Equal Logic PS4000XV (16 HD 600GB) con 9.6TB di capacità di memorizzazione .
Tre macchine monta sistemi operativo Microsoft Windows Server 2008 R2 Enterprise e una Linux Fedora 12 (Constantine).
La caratteristica essenziale è la trasparenza, ovvero programmare come se si trattasse di una sola macchina.

Quale linguaggio è il migliore per un discorso del genere?(io pensavo Java con i thread)

Secondo voi in giro ci sono software che fanno già cose simili?

Come mi consigliate di procedere?

Considerate che sono un novizio del clustering e di tutto ciò che vi ruota attorno.

Ringrazio chiunque abbia informazioni in merito per la disponibilità

[SverX]

premetto che non ho molte idee, ma mi incuriosisce:

[robynho85]

Intendo dire che avendo un qualunque programma(Ad esempio un codice java) sia possibile introdurlo nel framework che poi suddivida il carico di lavoro sui 16 processori totali.
Esiste qualcosa che mi possa aiutare in tal senso?

[freemind]

[SverX]

però suddividere il carico di lavoro su più processori non è la stessa cosa se i processori sono sulla stessa macchina o no... per il primo caso è banale, tutti i sistemi operativi moderni supportano macchine a più processori (o a più core, o con più processori multicore) ma per la seconda cosa... parliamo di cloud computing...



prova a leggere qualcosa riguardo Vertebra, potrebbe fare al caso tuo...

[robynho85]

Si infatti facevo riferimento al secondo caso...Io mi trovo sulla prima delle 4 macchine ognuna delle quali con 4 processori

Effettivamente sulla macchina su cui mi trovo la suddivisione del carico di lavoro avviene ma naturalmente non sulle altre tre.

Mi scuso se sono stato poco chiaro...Grazie per aver menzionato Vertebra, non lo conoscevo e sto vedendo ora di cosa si occupa

[freemind]

Beh, ma io parlavo comunque di sistemi cluster, quindi tante macchine che lavorano come una.
Adesso io tools non ne ho in mente, qui si finisce troppo in sistemistica che non è propriamente il mio mestiere ma credo che tutti i sistemi operativi server permettano di configurarsi come di cluster (almeno al momento dell'installazione)...

Io non ho idea di come scrivere quello che chiedi, ma sicuramente non potrai farlo da solo.

[robynho85]

[freemind]

[SverX]

più che altro secondo me nessuno dei sistemi operativi attuali ti fornisce già una piattaforma che ti permetta di distribuire carico di lavoro tra i processori di un cluster... certo, a meno di non parlare di load balancing ma non è la stessa cosa che tu chiedi, mi sembra di avere inteso...

[robynho85]

[SverX]

dividere il lavoro su più processori dello stesso server è assolutamente lineare se scrivi codice multithreaded, a prescindere dal linguaggio di programmazione (a me capitò anni fa di fare un lavoro di programmazione concorrente in C++). Quello che purtroppo non ti so suggerire è se esiste un cloud framework per java. Una rapida ricerca in Google suggerisce GridGain, prova a vedere di che si tratta...

[robynho85]

Vi informo che nella sezione software ho inserito un nuovo topic chiedendo informazioni su software specifici che facciano il load balancing. Secondo i vostri suggerimenti mi sembra la strada migliore da seguire.

Vi informo nel caso qualcuno di voi fosse interessato a seguire anche l'altra discussione per saperne di piu.

Continuerò a scrivere qui i possibili sviluppi in ambito di programmazione di un possibile software. Grazie mille a tutti cmq

[freemind]

Ok ma ocio che il load balancing serve più che altro a distribuire le richieste remote su più server.
Oddio, se si riuscisse a riformulare il tuo problema in questi termini allora si potrebbe pensare a questa cosa.

[robynho85]

Aspetta allora sto facendo un pò di confusione...Su un altro forum mi hanno detto che è la stessa cosa.

Esiste un termine per definire la distribuzione di calcolo in parallelo su processori come devo fare io?

Grazie mille del chiarimento...FONDAMENTALE

[SverX]

sono concetti simili ma non è propriamente la stessa cosa
ad esempio un load balance può essere un sito web che per evitare di essere troppo carico per via dei tanti utenti che chiedono le pagine allora le redirige su server differenti, a volte in modo completamente trasparente per l'utente (che pensa di trovarsi davanti ad un server e basta) e a volte in modo esplicito, prova questo link ad esempio e noterai che ogni volta il nome del server si arricchisce di un numero.

Se sta cercando qualcosa di questo tipo potrebbe bastarti un proxy HTTP tipo Apache mod_proxy per dire. Invece se proprio vuoi che i tuoi server stiano lì ad aspettare lotti d'elaborazione (alla 'seti@home' per intenderci) non saprei che software consigliarti, e sarà anche difficile trovarne uno che funzioni su piattaforme diverse.

[robynho85]

[SverX]

Prova a guardare il Sun Grid Engine. Potrebbe essere la cosa più simile a quello che cerchi, soprattutto dato che gira su vari sistemi operativi.

[cuccagna]

[SverX]