РЕШЕНИЯ NVIDIA ДЛЯ ML
СОЗДАННЫ СПЕЦИАЛЬНО ДЛЯ ЗАДАЧ ИИ
ПРОИЗВОДИТЕЛЬНОСТЬ ДОСТИГАЕТ 176X ПРЕВОСХОДСТВА НАД CPU
ЗАДАЧИ ИНФРАСТРУКТУРЫ В AI/ML
любая нейронная сеть проходит три стадии развития
ОБУЧЕНИЕ
ИНФЕРЕНС
АНАЛИТИКА
Этап обучение наиболее
затратный с позиции ресурсов машины
Инференсом называется стадия использования нейросети на конечном устройстве
Проверка правильности выходных данных, их оценка и корреция
AI (искусственный интеллект) - симуляция компьютерной системой мыслительного процесса человека: определение образов, распознавание речи, обработка языка, системы рекомендаций
MI (машинное обучение) - набор алгоритмов и статистических моделей, используемых для решения специфических задач без использования конкретных инструкций, полагаясь на использование шаблонов и инференции
DL (Глубокое обучение) -Часть методов машинного обучения, которые используют искусственные нейронный сети для решения сложных задач
ПРИКЛАДНЫЕ ЗАДАЧИ ИИ
ФИНАНСЫ
ЗДРАВО-
ОХРАНЕНИЕ
ПРОИЗ-
ВОДСТВО
РИТЕЙЛ
ПРЕДИКТИВНЫЙ АНАЛИЗ
УПРАВЛЕНИЕ В РЕАЛЬНОМ ВРЕМЕНИ
РИСК МЕНЕДЖМЕНТ И АНАЛИТИКА
СЕРВИСЫ ОБСЛУЖИВАНИЯ
ОПРЕДЕЛЕНИЕ МОШЕННИЧЕСТВА
СОЦИАЛЬНЫЕ КОММУНИКАЦИИ
ПРОВЕРКА ГИПОТЕЗ
ИИ НА БАЗЕ СПЕЦИАЛЬНОЙ СИСТЕМЫ
ДЛЯ ПРОВЕРКИ ГИПОТЕЗ
ДЛЯ ПРОВЕРКИ ГИПОТЕЗ
ДЛЯ ПРОВЕРКИ ГИПОТЕЗ
NVIDIA QUATRO RTX 4000/5000
/6000
GPU В ЦОДе
ГРАФИЧЕСКИЕ СТАНЦИИ NVIDIA
ОБЛАЧНЫЕ РЕШЕНИЯ
AZURE/AWS/GCLOUD
DELL C КАРТАМИ GRID
NVIDIA DGX A100
СРАВНЕНИЕ С ОБЫЧНОЙ ИНФРАСТРУКТУРОЙ
МОЩНОСТЬ СРАВНИМА С СЕРВЕРНОЙ СТОЙКОЙ
Чипы nvidia спроектированы с целью заменить традиционные процессроы в задача AI/ML/DL
Сравнение мощности со стандартными CPU может достигать x178
ГИБКОСТЬ
Архитектура чипов NVIDIA позволяет делить их мощность между участниками. К примеру в DGX серверах мощность может быть разделена на 25 участников 180 terraFLOPS каждому
МАСШТАБИРУЕМОСТЬ
Стойки и карты можно объединять (учитывая максимальное количество портов и мест
в стойке). Сумма из 20 штук DGX A100, объединенных между собой, может создать
суперкомпьютер мирового уровня.
СПЕЦИАЛИЗАЦИЯ ПОД ЗАДАЧИ ИИ
Тензорные ядра в графический чипах A100 обладают 20х приростом мощности к архитектуре
VOLTA (V100). Код, который был написан для предыдущих графических чипов,
НЕ НУЖНО МЕНЯТЬ!
ДЛЯ ПРОСТЫХ ЗАДАЧ
NVIDIA QUATRO
RTX 6000
В НОУТБУКАХ
В КОМПЬЮТЕРАХ
В ГРАФИЧЕСКИХ СТАНЦИЯХ
В СЕРВЕРАХ
В ОБЛАКАХ
-МАЛЫХ ЗАДАЧ
-ЗАДАЧ С НЕБОЛЬШИМ КОЛИЧЕСТВО ВХОДНЫХ ПАРАМЕТРОВ
-НЕТ СЕРЬЕЗНЫХ ЗАДАЧ С КОМПЬЮТЕРНЫМ ЗРЕНИЕМ
-НЕТ ЗАДАЧ РАС
ОПТИМАЛЬНЫЙ ВЫБОР ДЛЯ:
СПЕЦИФИКАЦИЯ
Ядра CUDA
Тензорные ядра NVIDIA
Ядра NVIDIA RT
Объем видеопамяти
Кол-во операций RTX
Кол-во лучей
Произв-ть в операциях одинарной точность
Max Power Consuption
Шина передачи данных
Разъемы
Форм-фактор
4,608
576
72
24 GB GDD6
84T
10 млрд лучей/с
16.3 Терафлопс
295 W
PCI Express 3.0 x 16
4 разъема DP1.4,
Высота 11,2 см длина 26,7 см, ширина в два слота
ДЛЯ АМБИЦИОЗНЫХ ЗАДАЧ
ML/DL
Аналитика
Инференция,
ML/DL,
сложные расчеты
ТИП НАГРУЗКИ
PowerEdge C4140
Высокоплотное решение с возможностью
установки до четырех ускорителей с поддержкой NVLink
PowerEdge R940xa
Платформа для высоконагруженных серверных
приложений.
PowerEdge R740xd
Гибкая серверная платформа, 3DW или 6 SW ускорителя
PowerEdge R7525
Универсальная серверная платформа
DSS 8440
платформа с поддержкой установки до 10 ускорителей DW
PowerEdge T640
2S/4GPU с поддержкой больших объемов памяти и хранения (включая NVME слоты)
ДЛЯ ГЛОБАЛЬНЫХ ЗАДАЧ
6x NVIDIA NVSwitches
4.8 TB/s Bi-directional Bandwidth 2X More than Previous-Generation NVSwitch
8x NVIDIA A100 Tensor Core GPUs
Up to 640 GB Total GPU Memory 12 NVIDIA NVLinks™ per GPU 600 GB/s GPU-to-GPU Bi-directional Bandwidth
Dual 64-Core AMD Rome CPUs 2 TB RAM
3.2X More Cores to Power the Most Intensive AI Jobs
10x NVIDIA® Mellanox® ConnectX-6 200 Gb/s Network Interface
500 GB/s Peak Bi-directional Bandwidth
30 TB Gen4 NVME SSD
50 GB/s Peak Bandwidth 2X Faster than Gen3 NVME SSDs
ОСОБЕННОСТИ СИСТЕМЫ
ГИБКОСТЬ
ПРОИЗВОДИТЕЛЬНОСТЬ
Если у Вас есть команда Data science, то Вы без труда разделите мощность DGX A100 между ними
ДЛЯ 25 РАЗРАБОТЧИКОВ
2 ЯДРА CPU/ЧЕЛ.
мощность для обучения - 180 terraFLOPS
мощность для инференса - 357 terraFLOPS
в задачах обучения
DGX A100 превосходит V100 в 6 РАЗ
в задачах обучения
DGX A100 превосходит CPU в 172 РАЗA
в задачах аналитики
DGX A100 превосходит CPU в 13 РАЗ
КЛАССИЧЕСКИЙ ЦОД
СТОЙКА С DGX A100
11М $
25 СТОЕК
630 kW
1М $
1 СТОЙКА
32.5 kW
СПЕЦИФИКАЦИЯ
GPU
GPU память
NVIDIA NVSwitch
Производительность

CPU

Системная память
Сеть
Энергопотребление
Вес
Габариты
Рабочая температура
Охлаждение
8х Tensor Core GPUs
320GB Total
6
5 petaFLOPS, AI
10 petaFLOPS, INT8
Dual AMD Rome, 128 core
2.25 GHz
1 TB
9x Mellanox Connectx-6 VPI
InfiniBand/200GiE
6.5 кВТ
132 кг
6U
5-30 C
Водяное
КЕЙСЫ ВНЕДРЕНИЙ
ЛИТЕЙНЫЙ ЗАВОД
Сталилетейный завод напротяжении всего
своего существования встречался с проблемами
порчи/повреждения/дефектов конечного продукта.
В среднем издержки достигают 2-4M $/в год.
РЕШЕНИЕ ПРОБЛЕМЫ
Решения было найдено в области машинного зрения
и машинного обучения. Большое количество видео-
записей процесса изготовления стальной продукции,
стали отличным материалом для обучения нейронных сетей.
МЕДИЦИНСКИЙ ИНСТИТУТ
Медицинский университет вел исследования
в области диагностики новообразований.
Институт за много лет своего существования
накопил внушительную базу материалов для
внедрения ИИ. Точность определения образо-
ваний до ввода ML, оставляла желать лучшего
Решение компаниий NVIDIA на базе карт Quatro
позволило достичь рекордных точностей
опредиления болезни.
РЕШЕНИЕ ПРОБЛЕМЫ
Уже в течение нескольких дней, написанные
специалистами нейронные сети научились
определять границы пораженной ткани челове-
ка и подготовить его к операции.
Именно благодаря графическим чипам NVIDIA,
задача была решена так быстро.

Made on
Tilda