ПредишенСледващото

високопроизводителни изчисления все повече завладява света. Те са оптимизирани за задачи, за да мутира и да стане свой собствен уникален свят. Ще разгледаме няколко решения, които принадлежат към този свят.

Основното приложение на суперкомпютрите - при изчисляване на математически модели на различните структури, явления, процеси и т.н. Определяне на необходимостта от такива изчисления не е наша привилегия. Но ние можем да помогнем да се дефинира архитектурата и състав изисква суперкомпютър за вашите цели.

Решенията могат да бъдат както прости изчисления инженеринг, както и за фундаментални научни изследвания с помощта на мрежа е величина в стотици милиони клетки. Нашите решения са тествани да работят в университети, предприятия и водещи индустрията и академичните изследователски институции.

Решения, базирани на високо-производителни ОМП x86 / x64 семейство от системи

Алкалният разтвор е сървър с броя на ядрата protsecsornyh парчета 64 и капацитет на паметта 128 GB. Мрежови интерфейси могат да бъдат предложени различни: 1 Gigabit Ethernet, 10 Gigabit Ethernet, данни InfiniBand QDR или FDR. Основният интерфейс е на 10 Gigabit Ethernet, като следствие от неговата гъвкавост и капацитет. Подобни решения са изключително търсени в изчисленията на големи модели в фундаментални изследвания.

Решения, базирани на клъстери, изчислителни възли, които общуват помежду си чрез MPI

Това решение е в обща употреба. Но дори и стандартните разтвори от време на време не показват очакваните резултати. Това се случва само в резултат на неразбиране на изискванията на задачите за изпълнение и ефективно оптимизиране суперкомпютър за тези задачи.

Конфигурация на изчислителни възли, вариращи от два до осем от гнездо на гнездо изградени въз основа на семейството на процесори x86 / x64 Intel Xeon или AMD Opteron. памет размер на 1 GB до 16 GB на физическо ядро. Interconnect База данни InfiniBand, но за определен клас задачи употреба Gigabit Ethernet 10 дава по-висока ефективност.

Мащабиране на това решение позволява да създавате суперкомпютри с пикова производителност от до няколко PFlops.

За да се увеличи производителността на изчислителни възли се използват различни видове ускорители. Съществуват няколко вида на ускорители. Основните ускорители са базирани на процесорите на потока и на базата на програмируеми логически порти.

Типичен представител на поточни ускорители са AMD FireStream, NVIDIA Fermi, Intel Xeon Phi. Следвайте тези ускорители обикновено са под формата на допълнителна карта с PCI-E интерфейс. Извършване на горните ускорители към днешна дата е около 1 TFlops на двойно-прецизни операции.

Всеки суперкомпютър има няколко мрежи. Малко да освободи две или три. Голям обикновено се използва за три до пет мрежи. Най-често използваната мрежа - данни InfiniBand и Ethernet. Същото се отнася и за някои суперкомпютри използват специализирани мрежи с организацията на 2D-тор, 3D-цветно легло, ... ри-тор. Всички тези мрежи имат обща пропускателна способност при всяко натоварване и да има минимална стойност на закъснението при предаване на данни.

Всеки има свой собствен суперкомпютър съхранение. Рядко има един голям склад служи няколко суперкомпютри. Но това също е възможно. Отличителна черта на системата за съхранение за суперкомпютри е високо IO пропускателна способност, ниска латентност, способността да се осигури едновременно достъп до един файл, голям брой възли (в големите суперкомпютри до десетки хиляди възли), надеждност, устойчивост на откази, и т.н.

Това се случва, че една малка достатъчно суперкомпютри и обикновен съхранение без паралел файлова система. Следователно, изборът на който и да е система за съхранение се основава предимно на нуждите на задачата.

Склад с паралелна файлова система

Но това не ограничава възможността за използване на патентовани технологии. Така широко известни следните файлови системи: GPFS, блясък, OneFS, PanFS, StorNext, Exadata. Всяка файлова система има уникални способности и е задължително условие за конкретни задачи. Например, за да се покаже най-подходяща обработка Exadata и StorNext. За да работите с суперкомпютри GPFS, блясък и PanFS. Въпреки това, следва да се отбележи, че само работи на компанията PanFS съхранение Panasas и поради това може да се използва само в съчетание с това оборудване.

Друг разграничаването критерий може да бъде на мястото на мястото на файловата система. OneFS PanFS и инсталираните в самата система за съхранение. GPFS, блясък, StorNext, Exadata, инсталиран на наети сървъри. Ние предлагаме да се обърне внимание на следните паралелни файлови системи:

Network File System (NFS) - протокол за достъп до мрежата за файлови системи. NFS се абстрахира от видовете файлови системи, както за сървъра и клиента, има много приложения на NFS сървъри и клиенти за различни операционни системи и хардуерни архитектури. Част от NFS v.4.1. е pNFS - Parallel NFS, NFS-паралелен механизъм няколко клиентски достъп до данни, разпределени NFS сървъри. Наличието на такъв механизъм в стандартната мрежова файлова система ще помогне за изграждането на разпределени системи "облачни» ( «облак») за съхранение и информация.

GPFS паралелна файлова система проектирана и разработена от IBM. IBM General Parallel File System (GPFS) - с висока производителност на файловата система с множествен достъп до дисковете, което осигурява бърз достъп до всички компоненти на една хомогенен или хетерогенен клъстер на IBM UNIX сървъри, работещи AIX 5L или Linux операционна система.

Полилей - разпределена файлова система е масивна паралелизъм, обикновено се използва за голям мащаб клъстер компютри. замърсяване Наименование Блясъкът се формира от думи и Linux клъстер. Изпълнени в рамките на GNU GPL, проектът осигурява висока производителност на файловата система за клъстери с десетки хиляди възли и петабайта съхранение на информация.

SAN архитектура с паралелна файлова система

Основното решение е да има системи за съхранение с блокират достъпа и приложен сървър група, която изпълнява код паралелно файлова система. Тази група, от своя страна, е разделен на файловия сървър и сървър за метаданни. Файлови сървъри директно да поставят данните на свободно място на диска и те осигуряват бърз достъп до тях. В същото време, сървърите, които консумират данните, не е известно на каква файлов сървър, тези данни да вземат. Поради това, че първоначалната молба отива на сървъра метаданни и той сочи към файлов сървър, който е част от искания файл ще трябва да се вземат.

Друго решение е да се реши на компанията NetApp. DataONTAP Cluster режим работи на всеки контролер и съхранение форми на тези контролери единствен партньорска система справедливо съхранение. Искането, което дойде към всеки контролер, който се обработва от контролера, като изисква от липсващите данни от своите съседи. Така, че не е необходимо да инсталирате специален сървър метаданни.

проект Apache ™ Hadoop® разработва софтуер с отворен код за надеждна, мащабируема, разпределени изчисления.

Apache Hadoop софтуерна библиотека е рамка, която реализира разпределена обработка на големи обеми от данни през струпвания на компютри с помощта на прост модел за програмиране. Тя е предназначена за разширяване от един сървър на хиляди, където всеки сървър действа като местен калкулатор и двете системи за съхранение.

Проектът Hadoop прилага изчислителна парадигма MapReduce. Hadoop MapReduce - рамка за програмиране и изпълнение на разпределени изчисления в рамките на парадигмата на MapReduce, както и набор от Java класове и инструменти за създаване на изпълними от задания по-MapReduce обработка. Взети заедно, те се допълват взаимно.

разработчик на приложения трябва да изпълни основната манипулатор за Hadoop MapReduce, което по всяка изчислителна възел в клъстера ще осигури превръщането на първоначалните двойки "ключ-стойност" към междинния снимачната площадка на "ключ-стойност" двойки (клас, който реализира интерфейс Mapper, наречен за по-висока цел функции Карта) и процесор, който намалява междинното съединение до последната част на двойки, съкратено набиране (намотка, клас, който изпълнява интерфейс редуктор). Frame предава по входните пъти сортирани заключения от базови товарачи, смесване се състои от три фази - Разбъркване (разбъркано, избор на желания изход раздел), вид (сортиране, групиране от основните изводи от дистрибутори - dosortirovka изисква в случаите, когато различните атомни манипулатори връщат комплекти с един и същи ключ, правилото за сортиране в тази фаза може да се определи по програмен път и използването на всеки конкретен вътрешната структура на ключове) и всъщност се намали (съкращава) - получаване на снимачната площадка резултат. За някои видове обработка намотка не се изисква, и връща Hadoop MapReduce в този случай набор от сортирани двойки, получени базови работещи.

Но опитът показва, че не всички от тези цели е ефективен Hadoop в първоначалния си вид. По-гъвкава и ефективна архитектура беше мястото, където дискови квоти са на отказоустойчивост и дисково пространство и изчислителни възли високо-производителни са свързани пряко със съхранението вече. Така получаваме универсален и гъвкава структура, в която всеки логически компонент завърши архитектура е независима от другите. Опитът от прилагането му показа ефективността на използването на такива решения.

NetApp® E-серия - системи за съхранение с висока производителност, които отговарят на високите изисквания за работа на предприятието и капацитет за съхранение, без компромис по отношение на простота и ефективност. Съответстващ на множество различни изисквания балансирана система, проектирана по такъв начин, че еднакво добре подкрепя файлови системи с висока производителност, изискващи високи приложения трафик и натоварването при извършване на множество операции. Възможност за използване на E-серията системи, различни дискови рафтове могат да създадат специална конфигурация, приспособими към всякаква среда.

DataONTAP - операционна система, системи за съхранение NetApp. Той има няколко разновидности: DataONTAP Седем Mode, DataONTAP Cluster Mode, DataONTAP Седем Mode V-серия.

Най-търсени за суперкомпютри е DataONTAP Cluster режим. Родоначалник DataONTAP Cluster Mode е изолиран клон DataONTAP GX (най-новата версия 10). Но тъй като версия 8, DataONTAP има единна номерация и версии на единна база код с Seven Mode и V-серия.

В допълнение към предоставянето на възможности за едновременен достъп до данните. DataONTAP Cluster Mode позволява многократно съхранение на NetApp, в т. Н. различните модели и модели в една система за съхранение с една единствена система за управление и едно цяло, и двете разположени на дискове от всички контролери. По този начин се постига възможността за увеличаване на ефективността на всички части на една система за съхранение. Паралелно достъп се осигурява от NFS v.4.1 протокол. Той е също така поддържа протокола CIFS, ISCSI, FibreChanel.

планове на компанията NetApp в близко бъдеще, за да се слеят две разклонения Седем режим и Cluster режим в един поддържащ ги и двете възможности.

Полилей - разпределена файлова система е масивна паралелизъм, обикновено се използва за голям мащаб клъстер компютри. замърсяване Наименование Блясъкът се формира от думи и Linux клъстер. Изпълнени в рамките на GNU GPL, проектът осигурява висока производителност на файловата система за клъстери с десетки хиляди възли и петабайта съхранение на информация.

Bayandin EA техническа поддръжка и ремонт на директор OOO "Със 7 тревъл ритейл"

"За да се настанят на нашите услуги, ние погледна много доставчици на услуги, като резултат са избрали компанията IT-ГРАД. Като за начало е бил преместен до тест на околната среда, и сега се помещава част от продуктивни. За сътрудничество, компанията IT-град демонстрира отговорно и компетентно подход към задачите, които са им възложени. "

Merkudanov NA Заместник. Генерален директор на ООО "Бизнес решение"

"На етапа на избор на доставчик, ние бяхме подложени на" IT-ГРАД "цялостна проверка както от техническа и организационна гледна точка. В процеса на "IT-ГРАД", като показа най-добрия си страна и остава наш надежден партньор за почти две години. "

Прегледайте ръководителят на информационно-аналитичен управление на ROC V.Kipshidze

"Ние изразяваме нашата искрена благодарност и признателност към LLC" IT град "и лично генералният директор на Gachko DV за подкрепата, оказана на проекта православна Интернет Prihod.ru, надежден партньор на Руската православна църква в областта на медиите и интернет технологии. "

Преглед на заместник-началник на отдел Автоматизация на "Мизар" Алексей Domannikova

"Ние сме изправени пред проблема с адрес почистване на големи обеми от спам и вируси. IT-ГРАД ни предоставили виртуалния сървър и необходимия брой лицензи Спам Титан, съответства на текущите нужди на компанията. "

Венедиктов RE Генерален директор на "Прометей"

"За повече от две години, тази компания ни дава услугите на инфраструктура виртуална организация въз основа на VMware технологии. Нашият бизнес - това е телекомуникациите, фактуриране, който е един от важните за бизнеса задачи на компанията "Прометей". Поради технически решения "IT-ГРАД" за фактуриране на услугите ни е гарантирано най-високо ниво. "

Андрей Okhrimenko, CIO онлайн магазин «Boutique.ru»

"В този момент ние се отказа от 30 работни станции и да се прехвърлят на клиентите да виртуални десктопи, базирани на VMware View решение, разположени в публичния облак« IT-ГРАД ». работни станции инфраструктура, се отнасят до стандартната форма, което улеснява неговата поддръжка и намалява времето за реакция в случай на инциденти и улеснява вход / изход на процеса на нови работни места за хората. "

Генерален директор на "комплект"

Елена В. Ivaschenko, заместник-генерален директор на LLC "Mosregionvent"

"За две години ние успешно си партнира с IT градуса. Ние под наем конфигурация 1C: Счетоводство 8.2 и 1C: Trade Management 8.2. конфигурационни данни са били променени от техниците IT-ГРАД в съответствие с желанията ни, за това, което те изказват специална благодарност. "

Karpuhin Вячеслав, директор на информационните технологии "ЕООД Armax Груп"

"2 виртуален сървър се организира въз основа на специална инфраструктура: Terminal Server 1C + сървър и сървър за бази данни. Този подход към ИТ организацията ни позволи да се осигури високо качество на инфраструктурата за счетоводители и да се избегне капиталови разходи. "

Марина С. Шевченко, директор на "адвокат" (счетоводен аутсорсинг)

"В" облачни "услуги от" IT-ГРАД "включва сигурността на данните. Можете да бъдете сигурни, че ще се използва само лицензиран софтуер и защитеното помещение. "

Борис Greydinger, CIO ESET Фирма

"Ние бяхме доволни от качеството на услугите, предоставяни от компанията" IT-ГРАД ". Можем да говорим за качеството на техническа подкрепа и готовност за незабавно предоставяне на всички необходими консултации. Препоръчваме отдаване под наем на виртуални машини "IT-ГРАД", както е гъвкаво решение, което ви позволява да се избегнат значителни разходи за изграждане на собствена инфраструктура. "

Павел Власов, директор на "Информационно обслужване жилища"

"По време на престоя си с" екип IT-ГРАД "посочи следните предимства на използваните услуги: наличност, цена, гъвкавост и мощност на самата платформа VMware. Удобен актуализиране на системата ни, след като с пълно резервно копие на виртуалната машина, всяка снимка с много бързо намаление на цените.

Доставка клуб: като облак IaaS услуга за подпомагане на организации доставят храна

PickPoint: - на първо място в Русия postamatov мрежа: 5 години в облака IaaS

високопроизводителни изчисления (HPC)

IaaS в сектора на търговията на дребно: опитът на Hamleys онлайн пазаруване

FitnessBar.ru: IaaS до най-голямата мрежа от храненето при спортистите и аксесоари магазини

високопроизводителни изчисления (HPC)

Първият бит: използвайте IaaS доставчици на облачни да достави SaaS услуги

ЦХР: "речта на технологии" от облака IaaS доставчик на

Prihod.ru: опит с облак IaaS-големият проект Интернет Православната в Русия

Свързани статии

Подкрепете проекта - споделете линка, благодаря!