СОЗДАННЫ СПЕЦИАЛЬНО ДЛЯ ЗАДАЧ ИИ ПРОИЗВОДИТЕЛЬНОСТЬ ДОСТИГАЕТ 176X ПРЕВОСХОДСТВА НАД CPU
УЗНАТЬ БОЛЬШЕ
ЗАДАЧИ ИНФРАСТРУКТУРЫ В AI/ML
любая нейронная сеть проходит три стадии развития
ОБУЧЕНИЕ
ИНФЕРЕНС
АНАЛИТИКА
Этап обучение наиболее затратный с позиции ресурсов машины
Инференсом называется стадия использования нейросети на конечном устройстве
Проверка правильности выходных данных, их оценка и корреция
AI (искусственный интеллект) - симуляция компьютерной системой мыслительного процесса человека: определение образов, распознавание речи, обработка языка, системы рекомендаций
MI (машинное обучение) - набор алгоритмов и статистических моделей, используемых для решения специфических задач без использования конкретных инструкций, полагаясь на использование шаблонов и инференции
DL (Глубокое обучение) -Часть методов машинного обучения, которые используют искусственные нейронный сети для решения сложных задач
ПРИКЛАДНЫЕ ЗАДАЧИ ИИ
ФИНАНСЫ
ЗДРАВО- ОХРАНЕНИЕ
ПРОИЗ- ВОДСТВО
РИТЕЙЛ
ПРЕДИКТИВНЫЙ АНАЛИЗ
УПРАВЛЕНИЕ В РЕАЛЬНОМ ВРЕМЕНИ
РИСК МЕНЕДЖМЕНТ И АНАЛИТИКА
СЕРВИСЫ ОБСЛУЖИВАНИЯ
ОПРЕДЕЛЕНИЕ МОШЕННИЧЕСТВА
СОЦИАЛЬНЫЕ КОММУНИКАЦИИ
ПРОВЕРКА ГИПОТЕЗ
ИИ НА БАЗЕ СПЕЦИАЛЬНОЙ СИСТЕМЫ
ДЛЯ ПРОВЕРКИ ГИПОТЕЗ
ДЛЯ ПРОВЕРКИ ГИПОТЕЗ
ДЛЯ ПРОВЕРКИ ГИПОТЕЗ
NVIDIA QUATRO RTX 4000/5000 /6000
GPU В ЦОДе
ГРАФИЧЕСКИЕ СТАНЦИИ NVIDIA
ОБЛАЧНЫЕ РЕШЕНИЯ AZURE/AWS/GCLOUD
DELL C КАРТАМИ GRID
NVIDIA DGX A100
СРАВНЕНИЕ С ОБЫЧНОЙ ИНФРАСТРУКТУРОЙ
МОЩНОСТЬ СРАВНИМА С СЕРВЕРНОЙ СТОЙКОЙ
Чипы nvidia спроектированы с целью заменить традиционные процессроы в задача AI/ML/DL Сравнение мощности со стандартными CPU может достигать x178
ГИБКОСТЬ
Архитектура чипов NVIDIA позволяет делить их мощность между участниками. К примеру в DGX серверах мощность может быть разделена на 25 участников 180 terraFLOPS каждому
МАСШТАБИРУЕМОСТЬ
Стойки и карты можно объединять (учитывая максимальное количество портов и мест в стойке). Сумма из 20 штук DGX A100, объединенных между собой, может создать суперкомпьютер мирового уровня.
СПЕЦИАЛИЗАЦИЯ ПОД ЗАДАЧИ ИИ
Тензорные ядра в графический чипах A100 обладают 20х приростом мощности к архитектуре VOLTA (V100). Код, который был написан для предыдущих графических чипов, НЕ НУЖНО МЕНЯТЬ!
ДЛЯ ПРОСТЫХ ЗАДАЧ
NVIDIA QUATRO RTX 6000
В НОУТБУКАХ В КОМПЬЮТЕРАХ В ГРАФИЧЕСКИХ СТАНЦИЯХ В СЕРВЕРАХ В ОБЛАКАХ
-МАЛЫХ ЗАДАЧ -ЗАДАЧ С НЕБОЛЬШИМ КОЛИЧЕСТВО ВХОДНЫХ ПАРАМЕТРОВ -НЕТ СЕРЬЕЗНЫХ ЗАДАЧ С КОМПЬЮТЕРНЫМ ЗРЕНИЕМ -НЕТ ЗАДАЧ РАС
ОПТИМАЛЬНЫЙ ВЫБОР ДЛЯ:
СПЕЦИФИКАЦИЯ
Ядра CUDA
Тензорные ядра NVIDIA
Ядра NVIDIA RT
Объем видеопамяти
Кол-во операций RTX
Кол-во лучей
Произв-ть в операциях одинарной точность
Max Power Consuption
Шина передачи данных
Разъемы
Форм-фактор
4,608
576
72
24 GB GDD6
84T
10 млрд лучей/с
16.3 Терафлопс
295 W
PCI Express 3.0 x 16
4 разъема DP1.4,
Высота 11,2 см длина 26,7 см, ширина в два слота
ДЛЯ АМБИЦИОЗНЫХ ЗАДАЧ
ML/DL
Аналитика
Инференция, ML/DL, сложные расчеты
ТИП НАГРУЗКИ
PowerEdge C4140
Высокоплотное решение с возможностью установки до четырех ускорителей с поддержкой NVLink
PowerEdge R940xa
Платформа для высоконагруженных серверных приложений.
PowerEdge R740xd
Гибкая серверная платформа, 3DW или 6 SW ускорителя
PowerEdge R7525
Универсальная серверная платформа
DSS 8440
платформа с поддержкой установки до 10 ускорителей DW
PowerEdge T640
2S/4GPU с поддержкой больших объемов памяти и хранения (включая NVME слоты)
ДЛЯ ГЛОБАЛЬНЫХ ЗАДАЧ
6x NVIDIA NVSwitches 4.8 TB/s Bi-directional Bandwidth 2X More than Previous-Generation NVSwitch
8x NVIDIA A100 Tensor Core GPUs Up to 640 GB Total GPU Memory 12 NVIDIA NVLinks™ per GPU 600 GB/s GPU-to-GPU Bi-directional Bandwidth
Dual 64-Core AMD Rome CPUs 2 TB RAM 3.2X More Cores to Power the Most Intensive AI Jobs
Сталилетейный завод напротяжении всего своего существования встречался с проблемами порчи/повреждения/дефектов конечного продукта. В среднем издержки достигают 2-4M $/в год.
РЕШЕНИЕ ПРОБЛЕМЫ
Решения было найдено в области машинного зрения и машинного обучения. Большое количество видео- записей процесса изготовления стальной продукции, стали отличным материалом для обучения нейронных сетей.
МЕДИЦИНСКИЙ ИНСТИТУТ
Медицинский университет вел исследования в области диагностики новообразований. Институт за много лет своего существования накопил внушительную базу материалов для внедрения ИИ. Точность определения образо- ваний до ввода ML, оставляла желать лучшего Решение компаниий NVIDIA на базе карт Quatro позволило достичь рекордных точностей опредиления болезни.
РЕШЕНИЕ ПРОБЛЕМЫ
Уже в течение нескольких дней, написанные специалистами нейронные сети научились определять границы пораженной ткани челове- ка и подготовить его к операции. Именно благодаря графическим чипам NVIDIA, задача была решена так быстро.