Грид

Грид-вычисления (англ. grid — решётка, сеть) — это форма распределённых вычислений, в которой «виртуальный суперкомпьютер» представлен в виде кластеров соединённых с помощью сети, слабосвязанных, гетерогенных компьютеров, работающих вместе для выполнения огромного количества заданий (операций, работ). Эта технология применяется для решения научных, математических задач, требующих значительных вычислительных ресурсов. Грид-вычисления используются также в коммерческой инфраструктуре для решения таких трудоёмких задач, как экономическое прогнозирование, сейсмоанализ, разработка и изучение свойств новых лекарств.

Грид с точки зрения сетевой организации представляет собой согласованную, открытую и стандартизованную среду, которая обеспечивает гибкое, безопасное, скоординированное разделение вычислительных ресурсов и ресурсов хранения^[1] информации, которые являются частью этой среды, в рамках одной виртуальной организации.^[2]

Концепция грид

Грид является географически распределённой инфраструктурой, объединяющей множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения.^[3]

Идея грид-компьютинга возникла вместе с распространением персональных компьютеров, развитием интернета и технологий пакетной передачи данных на основе оптического волокна (SONET, SDH и ATM), а также технологий локальных сетей (Gigabit Ethernet). Полоса пропускания коммуникационных средств стала достаточной, чтобы при необходимости привлечь ресурсы другого компьютера. Учитывая, что множество подключенных к глобальной сети компьютеров большую часть рабочего времени простаивает и располагает ресурсами, большими, чем необходимо для решения их повседневных задач, возникает возможность применить их неиспользуемые ресурсы в другом месте.

Сравнение грид-систем и обычных суперкомпьютеров

Распределённые или грид-вычисления в целом являются разновидностью параллельных вычислений, которое основывается на обычных компьютерах (со стандартными процессорами, устройствами хранения данных, блоками питания и т. д.) подключенных к сети (локальной или глобальной) при помощи обычных протоколов, например Ethernet. В то время как обычный суперкомпьютер содержит множество процессоров, подключенных к локальной высокоскоростной шине.

Основным преимуществом распределённых вычислений является то, что отдельная ячейка вычислительной системы может быть приобретена как обычный неспециализированный компьютер. Таким образом можно получить практически те же вычислительные мощности, что и на обычных суперкомпьютерах, но с гораздо меньшей стоимостью.

Типы грид-систем

В настоящее время выделяют три основных типа грид-систем:

1. Добровольные гриды — гриды на основе использования добровольно предоставляемого свободного ресурса персональных компьютеров;
2. Научные гриды — хорошо распараллеливаемые приложения программируются специальным образом (например, с использованием Globus Toolkit);
3. Гриды на основе выделения вычислительных ресурсов по требованию (коммерческий грид, англ. enterprise grid) — обычные коммерческие приложения работают на виртуальном компьютере, который, в свою очередь, состоит из нескольких физических компьютеров, объединённых с помощью грид-технологий.

История

Термин «грид-вычисления» появился в начале 1990-х годов, как метафора, демонстрирующая возможность простого доступа к вычислительным ресурсам как и к электрической сети (англ. power grid) в сборнике под редакцией Яна Фостера и Карла Кессельмана «The Grid: Blueprint for a new computing infrastructure».

Использование свободного времени процессоров и добровольного компьютинга стало популярным в конце 1990-х годов после запуска проектов добровольных вычислений GIMPS в 1996 году, distributed.net в 1997 году и SETI@home в 1999 году. Эти первые проекты добровольного компьютинга использовали мощности подсоединённых к сети компьютеров обычных пользователей для решения исследовательских задач, требующих больших вычислительных мощностей.

Идеи грид-системы (включая идеи из областей распределённых вычислений, объектно-ориентированного программирования, использования компьютерных кластеров, веб-сервисов и др.) были собраны и объединены Иэном Фостером, Карлом Кессельманом и Стивом Тики, которых часто называют отцами грид-технологии.^[1] Они начали создание набора инструментов для грид-компьютинга Globus Toolkit, который включает не только инструменты менеджмента вычислений, но и инструменты управления ресурсами хранения данных, обеспечения безопасности доступа к данным и к самому гриду, мониторинга использования и передвижения данных, а также инструментарий для разработки дополнительных грид-сервисов. В настоящее время этот набор инструментария является де факто стандартом для построения инфраструктуры на базе технологии грид, хотя на рынке существует множество других инструментариев для грид-систем как в масштабе предприятия, так и в глобальном.

Грид-технология применяется для моделирования и обработки данных в экспериментах на Большом адронном коллайдере (грид используется и в других задачах с интенсивными вычислениями). На платформе BOINC в настоящее время ведутся активные вычисления более 60 проектов. Например, проект Fusion (юг Франции, разработка метода получения электричества с помощью термоядерного синтеза на экспериментальном реакторе ITER) также использует грид (EDGeS@Home). Под названием CLOUD начат проект коммерциализации грид-технологий, в рамках которого небольшие компании, институты, нуждающиеся в вычислительных ресурсах, но не могут себе позволить по тем или иным причинам иметь свой суперкомпьютерный центр, могут покупать вычислительное время грида.^[4]

Структура грид-cистемы ЦЕРНа

Основная статья: LHC Computing Grid

Грид-cистема ЦЕРНа, предназначенная для обработки данных, получаемых с Большого адронного коллайдера, имеет иерархическую структуру.^[4]

Самая верхняя точка иерархии, нулевой уровень — CERN (получение информации с детекторов, сбор «сырых» научных данных, которые будут храниться до конца работы эксперимента). За первый год работы планируется собрать до 15 петабайт (тысяч терабайт) данных первой копии.

Первый уровень, Tier1 — хранение второй копии этих данных в других уголках мира (11 центров: в Италии, Франции, Великобритании, США, на Тайване, а один центр первого уровня — CMS Tier1 — в ЦЕРНе). Центры обладают значительными ресурсами для хранения данных.

Tier2 — следующие в иерархии, многочисленные центры второго уровня. Наличие крупных ресурсов для хранения данных не обязательно; обладают хорошими вычислительными ресурсами. Российские центры: в Дубне (ОИЯИ), три центра в Москве (НИИЯФ МГУ, ФИАН,  ИТЭФ), Троицке (ИЯИ), Протвино (ИФВЭ), Санкт-Петербурге (СПбГУ)^[5] и Гатчине (ПИЯФ). Кроме того, в единую сеть с этими центрами связаны и центры других стран-участниц ОИЯИ — в Харькове, Минске, Ереване, Софии, Баку и Тбилиси.

Более 85 % всех вычислительных задач Большого адронного коллайдера по состоянию на 2010 год выполнялось вне ЦЕРНа, из них более 50 % на центрах второго уровня.^[4]

Примечания

1. ↑ ^{1 2} Amy M. Braverman.Father of the Grid. Архивировано из первоисточника 18 февраля 2012.
2. ↑ GRIDCLUB.ru: Интернет-портал по грид-технологиям
3. ↑ http://gridclub.ru/about Концепция грид
4. ↑ ^{1 2 3} Интернет-коллайдер
5. ↑ http://www.egee-rdig.ru/documents/open/65/grid2008abst09.pdf

Ссылки

• Интернет-портал по Grid-технологиям
• Davies, Antony (June 2004). «Computational Intermediation and the Evolution of Computation as a Commodity» (pdf). Applied Economics.
• Foster Ian The Grid: Blueprint for a New Computing Infrastructure. — Morgan Kaufmann Publishers. — ISBN ISBN 1-55860-475-8
• Plaszczak Pawel Grid Computing "The Savvy Manager's Guide". — Morgan Kaufmann Publishers. — ISBN ISBN 0-12-742503-9
• Berman Fran Grid Computing: Making The Global Infrastructure a Reality. — Wiley. — ISBN ISBN 0-470-85319-0
• Li Maozhen The Grid: Core Technologies. — Wiley. — ISBN ISBN 0-470-09417-6
• Catlett, Charlie; Larry Smarr (June 1992). «Metacomputing». Communications of the ACM 35 (6).
• Smith, Roger Grid Computing: A Brief Technology Analysis. CTO Network Library (2005). Архивировано из первоисточника 18 февраля 2012.
• Buyya, Rajkumar (July 2005). «Grid Computing: Making the Global Cyberinfrastructure for eScience a Reality». CSI Communications (Computer Society of India (CSI)) 29 (1). ISSN 0970-647X.
• Berstis, Viktors Fundamentals of Grid Computing. IBM. Архивировано из первоисточника 18 февраля 2012.
• Ferreira, Luis; et.al. Grid Computing Products and Services. IBM. Архивировано из первоисточника 18 февраля 2012.
• Ferreira, Luis; et.al. Introduction to Grid Computing with Globus. IBM. Архивировано из первоисточника 18 февраля 2012.
• Jacob, Bart; et.al. Enabling Applications for Grid Computing. IBM. Архивировано из первоисточника 18 февраля 2012.
• Ferreira, Luis; et.al. Grid Services Programming and Application Enablement. IBM. Архивировано из первоисточника 18 февраля 2012.
• Jacob, Bart; et.al. Introduction to Grid Computing. IBM. Архивировано из первоисточника 18 февраля 2012.
• Ferreira, Luis; et.al. Grid Computing in Research and Education. IBM. Архивировано из первоисточника 18 февраля 2012.
• Ferreira, Luis; et.al. Globus Toolkit 3.0 Quick Start. IBM. Архивировано из первоисточника 18 февраля 2012.
• Surridge, Mike; et.al. Experiences with GRIA – Industrial applications on a Web Services Grid. IEEE. Архивировано из первоисточника 18 февраля 2012.
• Stockinger, Heinz; et al. (to be published in 2007). «Defining the Grid: A Snapshot on the Current View» (pdf). Supercomputing.
• Global Grids and Software Toolkits: A Study of Four Grid Middleware Technologies
• Черняк, Леонид (April 2004). «Распределённые вычисления, GRID-технологии или кластеры?». Открытые Системы 4 (4).
• Ривкин, Марк (December 2003). «Платформа для коммерческих GRID». Открытые Системы 12 (12).
• AZGRID | Грид сегмент Института Физики НАН Азербайджана
• JRES| Java Remote Execution Service

См. также

• Добровольные вычисления
• Sun Grid Engine
• Solaris Grid Compiler
• Облачные вычисления
• Виртуализация серверов