Spider.NET Grid

Platforma za masovnu i pouzdanu obradu podataka

Kao posledica potrebe da se u kratkom roku obradi veliki broj dokumenata u okviru poslovanja firme MFC Mikrokomerc, kao i zbog sve veće potrebe za boljim iskorišćenjem postojećih hardverskih resurasa, nastao je novi proizvod, SpiderGrid. Cilj je bio razvoj platforme koja bi obezbedila veliku procesorsku moć za obradu podataka bez ulaganja u nov hardver, brzu implementaciju novih procesa obrade i otpornost na otkaze.

Grid computing

Grid computing je kao pristup ovom problemu veoma popularan u velikim institucijama prvenstveno naučnog tipa. Današnji računarski procesori imaju veoma veliku moć obrade i njihovo iskorišćenje kod prosečnog korisnika je veoma malo. Vreme koje procesor provede u iddle režimu (kada je procesor slobodan) može se iskoristiti bez uticaja na korisničke aplikacije. Grid computing je zasnovan upravo na „udruživanju“ tog slobodnog vremena velikog broja računara i stvaranju virtuelnog superkompjutera.

Da bi računar postao deo sistema potrebno je da se na njega instalira Agent. To je zapravo aplikacija koja analizira raspoloživost procesora, i ukoliko je procesor slobodan, preuzima neobrađene podatke od sistema, pokreće odgovarajući modul za obradu i šalje rezultate obrade sistemu. Sa povećanjem broja Agenata približno linearno raste i procesorska moć celog sistema.

Spider.NET Grid - Šema

Agenti moraju znati na koji način treba da obrade podatke. SpiderGrid obezbeđuje mehanizam kojim se postojeći moduli za obradu na jednostavan način integrišu u sistem i dostavljaju agentima. Prilikom kreiranja novog posla za obradu, dovoljno je pozvati se na odgovarajući modul. Kreiranje novih modula, kao i ažuriranje postojećih vrši se kroz SpiderGrid Manager aplikaciju.

Upotreba sistema

Korišćenje sistema je jednostavno i pregledno. Poslovi se kreiraju iz SpiderGrid ControlPanel aplikacije. Ona obezbeđuje kreiranje novih zadataka i prikupljanje rezultata, uvid u napredak svakog posla, procenu preostalog vremena i notifikaciju o završenom poslu. Moguće je razviti softverske dodatke koji će kreirati zadatke i sakupljati rezultate obrade na način specifičan za određeni posao.

Spider.NET Grid - Manager aplikacija

U slučaju da dođe do nepredviđene situacije, ili se proces obrade prekine u bilo kom trenutku, prilikom sledećeg starta sistem će nastaviti sa obradom tamo gde je proces prekinut.

Ljudski agenti?

Osim distribucije posla na više procesora, arhitektura sistema omogućava da se distribuiraju i zadaci namenjeni ljudskim resursima. Tako je moguće koristiti SpiderGrid kao sistem za raspodelu, praćenje i perzistenciju zadataka koji se obavljaju ručno, koristeći specijalizovanu vrstu agenta, HumanAgent.

Za razliku od računara, ljudi mogu da pogreše u svom radu. Iz tog razloga, sistem poseduje mehanizam validacije rezultata obrade. Po želji, svaki zadatak se može slati ka dva različita korisnika na obradu, a zatim se upoređivanjem rezultata zaključuje da li je rezultat validan. Ukoliko nije, šalje se nova kopija zadatka dok se ne dođe do validnog rezultata.

SpiderGrid poseduje sistem identifikacije korisnika, sa različitim nivoima prava nad sistemom. Takođe, poslovi se mogu puštati samo u određene zone, ukoliko dati posao povlači restriktivne mere za pristup podacima.

Sve u svemu…

SpiderGrid je proširivo, skalabilno i pouzdano rešenje koje može naću primenu u širokom spektru poslovnih ili naučno-istraživačkih projekata. Ne zaostajući za priznatim rešenjima svetskih naučnih institucija SpiderGrid donosi preko potrebnu uštedu i inovativnost na domaće tržište.

COPYRIGHT © 2012 MFC-MIKROKOMERC | ALL RIGHTS RESERVED | BUILT WITH XHTML AND CSS