Для дообучения языковых моделей в
ANCOMP 4U с двумя Intel Xeon 6558Q установлены восемь NVIDIA H100 NVL по 94 ГБ HBM3, 1024 ГБ системной памяти и два NVMe по 12,8 ТБ. При обучении в видеопамяти размещаются веса модели, промежуточные результаты, градиенты и данные оптимизатора. Если копия модели помещается на каждой карте, ускорители обрабатывают разные порции примеров и синхронизируют обновления. Когда саму модель делят между картами, на длительность шага влияет и обмен данными между ними.
Для этой сборки ANCOMP предлагает NVLink как опцию. Оценить выигрыш от такой конфигурации можно на рабочей модели — по времени обработки одного и того же числа примеров на разном количестве GPU.
Студия визуализации может распределить работу между ускорителями иначе. При рендеринге анимации разным картам поручают разные кадры, и в память каждой загружаются геометрия сцены и текстуры. В
ANCOMP 4U с двумя Intel Xeon Gold 6544Y установлены восемь L40S по 48 ГБ и 512 ГБ оперативной памяти. Ускорители поддерживают аппаратную трассировку лучей, кодирование и декодирование видео. Для оценки такой сборки студия может взять самую сложную сцену проекта и измерить время рендеринга кадра с теми настройками качества, которые будут использованы в финальном ролике.
Другой сценарий для L40S — инференс, то есть обработка запросов уже обученной моделью. Если модель помещается в 48 ГБ, сервис может запустить по её копии на нескольких картах и распределить между ними запросы.
В
ANCOMP 4U с двумя AMD EPYC 9354 установлены четыре NVIDIA A100 по 80 ГБ, 512 ГБ оперативной памяти и пять NVMe суммарной ёмкостью 40 ТБ. Инженерное бюро может использовать такой узел, например, для расчёта обтекания крыла при разных углах атаки. Если расчётная сетка помещается в память одной A100, несколько вариантов можно просчитать параллельно на разных картах. Для более крупной сетки вычисления распределяют между ускорителями, если это поддерживает ПО. В этой сборке предусмотрен NVLink, а локальные NVMe дают место для сеток, промежуточных состояний и результатов серии расчётов.