Фортра́н — первый язык программирования высокого уровня, получивший практическое применение, имеющий транслятор и испытавший дальнейшее развитие. Создан в период с 1954 по 1957 год группой программистов под руководством Джона Бэкуса в корпорации IBM. Название Fortran является сокращением от FORmula TRANslator. Фортран широко используется в первую очередь для научных и инженерных вычислений. Одно из преимуществ современного Фортрана — большое количество написанных на нём программ и библиотек подпрограмм.
Кластер — группа компьютеров, объединённых высокоскоростными каналами связи, представляющая с точки зрения пользователя единый аппаратный ресурс. Кластер — слабо связанная совокупность нескольких вычислительных систем, работающих совместно для выполнения общих приложений, и представляющихся пользователю единой системой. Один из первых архитекторов кластерной технологии Грегори Пфистер дал кластеру следующее определение: «Кластер — это разновидность параллельной или распределённой системы, которая:
- состоит из нескольких связанных между собой компьютеров;
- используется как единый, унифицированный компьютерный ресурс».
Parallel Virtual Machine (PVM) (дословно виртуальная параллельная машина) — общедоступный программный пакет, позволяющий объединять разнородный набор компьютеров в общий вычислительный ресурс («виртуальную параллельную машину») и предоставляющий возможности управления процессами с помощью механизма передачи сообщений. Существуют реализации PVM для самых различных платформ: от лаптопов до суперкомпьютеров Cray. PVM имеет более расширенные возможности, чем её популярный аналог MPI, в плане контроля вычислений: присутствует специализированная консоль управления параллельной системой и её графический эквивалент XPVM, позволяющий наглядно продемонстрировать работу всей системы.
Параллельные вычислительные системы — физические компьютерные, а также программные системы, реализующие тем или иным способом параллельную обработку данных на многих вычислительных узлах.
Присва́ивание — механизм в программировании, позволяющий динамически изменять связи объектов данных с их значениями. Строго говоря, изменение значений является побочным эффектом операции присвоения, и во многих современных языках программирования сама операция также возвращает некоторый результат. На физическом уровне результат операции присвоения состоит в проведении записи и перезаписи ячеек памяти или регистров процессора.
Параллельные вычисления — способ организации компьютерных вычислений, при котором программы разрабатываются как набор взаимодействующих вычислительных процессов, работающих параллельно (одновременно). Термин охватывает совокупность вопросов параллелизма в программировании, а также создание эффективно действующих аппаратных реализаций. Теория параллельных вычислений составляет раздел прикладной теории алгоритмов.
Oracle Developer Studio — интегрированная среда разработки программ для языков программирования Си, C++ и Фортран, разработанная компанией Sun Microsystems. В OSS включены средства сборки, отладки, профилирования и анализа многопоточных приложений.
Векторный процессор — это процессор, в котором операндами некоторых команд могут выступать упорядоченные массивы данных — векторы. Отличается от скалярных процессоров, которые могут работать только с одним операндом в единицу времени. Абсолютное большинство процессоров является скалярным или близким к нему. Векторные процессоры были распространены в сфере научных вычислений, где они являлись основой большинства суперкомпьютеров начиная с 1980-х до 1990-х. Но резкое увеличение производительности и активная разработка новых процессоров привели к вытеснению векторных процессоров из сферы повседневных процессоров.
OpenMP — открытый стандарт для распараллеливания программ на языках Си, Си++ и Фортран. Даёт описание совокупности директив компилятора, библиотечных процедур и переменных окружения, которые предназначены для программирования многопоточных приложений на многопроцессорных системах с общей памятью.
MasPar Computer Corporation — американская компания, производитель минисуперкомпьютеров, основана в 1987 году Джеффом Кэлбом. Компания располагалась в Саннивейле (Калифорния). Штат компании состоял из 100 человек.
GPGPU — техника использования графического процессора видеокарты, предназначенного для компьютерной графики, в целях производства математических вычислений, которые обычно проводит центральный процессор. Это стало возможным благодаря добавлению программируемых шейдерных блоков и более высокой арифметической точности растровых конвейеров, что позволяет разработчикам ПО использовать потоковые процессоры видеокарт для выполнения неграфических вычислений.
LAPACK — библиотека с открытым исходным кодом, содержащая методы для решения основных задач линейной алгебры. Написана на языке Fortran 90 с использованием другой библиотеки BLAS и является развитием пакета LINPACK.
BLAS — стандарт де-факто интерфейса программирования приложений для создания библиотек, выполняющих основные операции линейной алгебры, такие как умножение векторов и матриц.
Chapel — новый язык программирования с поддержкой распараллеливания, разработанный корпорацией Cray. Язык был разработан в рамках проекта «Каскад» (Cascade), для участия в программе DARPA Высокопродуктивные компьютерные системы, целью которой являлось увеличение производительности суперкомпьютеров к 2010 году. Chapel был призван улучшить программируемость распараллеливания вычислений как в целом, так и для систем «Каскада» в частности, путём реализации наиболее высокого уровня выражения, нежели это позволяют нынешние языки, а также за счёт улучшения разделения на алгоритмические выражения и реализацию структур данных.
Таксономия (Классификация) Флинна — общая классификация архитектур ЭВМ по признакам наличия параллелизма в потоках команд и данных. Была предложена Майклом Флинном в 1966 году и расширена в 1972 году.
Автоматическое распараллеливание — оптимизация программы компилятором, состоящая в автоматическом её преобразовании в форму, работающую на параллельной вычислительной системе, например, на SMP или NUMA машине. Целью автоматического распараллеливания является освобождение программиста от трудоемкого и подверженного ошибкам процесса ручного распараллеливания. Несмотря на то, что качество автоматического распараллеливания улучшалось последние годы, полное распараллеливание последовательных программ остается слишком сложной задачей, требующей сложнейших видов анализа программ.
Unified Parallel C (UPC) — расширение языка программирования Си, предназначенное для high-performance computing на масштабных параллельных компьютерах, в том числе на SMP/NUMA системах с общей памятью и с распределенной памятью. Программисту предоставляется доступ ко всему глобальному разделённому адресному пространству (PGAS), хранимые в нем переменные могут читаться и изменяться любым процессором. При этом каждое значение хранится в физической памяти одного из процессоров. UPC использует модель SPMD в которой степень параллелизма фиксируется при запуске программы, обычно на уровне один поток исполнения на ядро процессора.
Global Arrays (GA) — библиотека, разработанная учёными Тихоокеанской северо-западной национальной лаборатории для параллельных вычислений. GA предоставляет удобный программный интерфейс (API) для реализации общей памяти на компьютерах с распределённой памятью. Имеется продвинутая поддержка многомерных массивов. Библиотека GA является предшественником языков GAS, активно развиваемых для высокопроизводительных вычислений.
Hitachi SR2201 - суперкомпьютер с параллельной архитектурой и разделенной памятью, созданный компанией Hitachi в марте 1996 года в Японии. SR2201 - второе поколение распределённых параллельных систем компании Hitachi и развитие предыдущей системы SR2001. В системе использовались проприетарные BiCMOS-процессоры HARP-1E на основе архитектуры PA-RISC версия 1.1 с тактовой частотой 150 МГц и пиковой производительностью 300 Мфлопс, что позволяло SR2201 достигать теоретически пиковой производительности в 600 Гфлопс. Система позволяла соединить вместе до 2048 процессоров с помощью трёхмерной гипер-поперечной сети, обеспечивавшей передачу данных со скоростью 300 Мб/сек в любом направлении.
В параллельных компьютерных архитектурах систолический массив представляет собой однородную сеть тесно связанных блоков обработки данных (DPU), называемых ячейками или узлами. Каждый узел независимо и параллельно вычисляет частичный результат как функцию данных, полученных от его вышестоящих соседей, сохраняет результат внутри себя и передает его нижестоящим узлам. Систолические массивы были впервые использованы в Colossus Mark II в 1944 году, одном из первых компьютеров, использовавшихся для взлома немецких шифров Лоренца. Из-за секретности компьютеров Colossus систолические массивы были независимо заново открыты Х. Т. Кунгом и Чарльзом Лейзерсоном, которые описали массивы для множества вычислений плотной линейной алгебры для ленточных матриц. Ранние применения включают вычисление наибольших общих делителей целых чисел и многочленов. Иногда их классифицируют как архитектуры с несколькими инструкциями и одними данными (MISD) согласно таксономии Флинна, но эта классификация вызывает сомнения, поскольку можно предложить убедительные аргументы для выделения систолических массивов в отдельную группу, отличную от любой из четырех категорий Флинна: SISD, SIMD, MISD, MIMD, как это обсуждается позже в этой статье.