Сотрудничество в масштабах всей отрасли имеет решающее значение для разработки стандартов, определяющих более разумные решения в области инфраструктуры, обеспечивая эффективность и окупаемость инвестиций в развивающейся сфере ИИ и аналитики.

Инфраструктура данных переживает самую значительную трансформацию за последние десятилетия. Генеративный ИИ и переход к гетерогенным ускоренным вычислительным средам, объединяющим различное оборудование, меняют основные требования к современному стеку данных. Возможность быстрой и экономичной обработки сложных наборов данных для ИИ и аналитики стала определяющим фактором операционной эффективности и окупаемости инвестиций в инфраструктуру.

Исторически производительность обработки данных определялась сложностью планировщика запросов и мощностью исполняющего модуля, при этом предполагалось, что базовое аппаратное обеспечение во всех системах одинаково. Кроме того, существующие тесты производительности обработки данных, такие как TPC-DS и TPC-H, предназначены для тестирования производительности и эффективности системы на уровне рабочей нагрузки.

Современные центры обработки данных оснащены широким спектром оборудования для ускоренных вычислений, включая графические процессоры , тензорные процессоры (TPU) и ПЛИС (FPGA), при этом производительность и эффективность обработки данных всё больше зависят от этих аппаратных компонентов. То, что когда-то было стандартизированным уровнем инфраструктуры, превратилось в гетерогенную вычислительную среду со своими преимуществами и ограничениями.

Практически каждый производитель оборудования также заявляет, что его оборудование наилучшим образом подходит для обработки данных, ссылаясь на такие характеристики, как пиковая производительность FLOPS, пропускная способность памяти и тензорная пропускная способность. Однако эти характеристики могут не соответствовать производительности реальных рабочих нагрузок по обработке данных. Например, заявленная производительность графического процессора может составлять 28 петафлопс, однако значительная часть этих вычислений приходится на тензорные ядра, не имеющие отношения к задачам ETL. Даже если характеристики значимы, фактические результаты часто зависят от всё более сложных взаимодействий на системном уровне, таких как взаимодействие ЦП и ГП, перемещение данных между ГП, соотношение ЦП и ГП в системе, объём и пропускная способность памяти.

Для операторов, ответственных за проектирование кластеров и прогнозирование пропускной способности, этот разрыв между заявленной в технических характеристиках производительностью и производительностью реальных рабочих нагрузок создает значительный риск: неэффективное использование энергии, неиспользование ресурсов ускорителя и неоптимальные конфигурации узлов, которые могут сохраняться годами.

Результатом становится растущий разрыв. Операторы центров обработки данных вынуждены принимать критически важные решения в отношении инфраструктуры, основываясь на неполных и вводящих в заблуждение показателях. Подобно тому, как бенчмарки, такие как CoreMark, помогли нормализовать производительность процессоров при выполнении различных задач, стало очевидно, что нам необходим стандартизированный способ измерения производительности современного ускоренного оборудования, чтобы определить, какие процессоры наиболее производительны при выполнении основных задач обработки данных.

Свойства эффективного современного эталона

Чтобы такой бенчмарк был эффективным, он должен точно отражать реалии современной инфраструктуры, а не полагаться на устаревшие предположения. На практике это означает соответствие нескольким ключевым критериям:

• Измерение на системном уровне: Измерение на системном уровне имеет основополагающее значение. Вместо оценки отдельных компонентов, бенчмарк должен оценивать производительность всей системы в пределах узла. Для этого наборы данных должны быть достаточно большими, чтобы не помещаться полностью в память хоста, что вынуждает бенчмарк измерять фактические закономерности перемещения данных и иерархии памяти. Такой подход предотвращает получение несправедливых преимуществ системами с большим объёмом кэша, обеспечивая более реалистичные оценки производительности.

• Независимость от поставщика: для обеспечения объективного сравнения различных технологий и архитектур бенчмарк не должен быть привязан к одному поставщику. Он также должен быть разработан таким образом, чтобы избежать предвзятости в отношении какой-либо конкретной технологии или подхода поставщика, что позволит организациям принимать обоснованные решения, основанные на их конкретных требованиях, а не на оптимизации бенчмарка.

• Отражение современных распределенных систем: для точного отражения современных распределенных вычислительных сред тест должен эффективно оценивать производительность как в одноузловых, так и в масштабируемых многоузловых конфигурациях.

• Охват различных рабочих нагрузок: рабочие нагрузки ETL, бизнес-аналитики и генеративного ИИ нагружают разные аспекты конвейера обработки данных. Рабочие нагрузки ETL делают акцент на таких операциях, как сканирование, проекция, фильтрация, агрегация и объединения, в то время как рабочие нагрузки BI усложняют обработку JSON, операции перемешивания, оконные функции и запросы top-K. GenAI также вводит совершенно новые требования к извлечению данных, фильтрации, токенизации и генерации встраиваемых данных. Комплексный бенчмарк должен учитывать все эти рабочие нагрузки. Возможно, даже потребуются отдельные оценки для каждой категории рабочих нагрузок, учитывая, что система, оптимизированная для традиционных запросов BI, может неэффективно выполнять задачи подготовки данных ИИ.

Путь вперед

Бенчмарки — это больше, чем просто техническое упражнение; они формируют то, как компании оценивают технологии и решения, в которые они инвестируют. Стало очевидно, что не существует эталонного теста, который учитывал бы нюансы современных гетерогенных вычислительных сред и сильные стороны соответствующего ускоренного оборудования для обработки данных.

Однако разработка такого бенчмарка не под силу ни одной компании в одиночку. Для определения, проверки и принятия новых стандартов, отвечающих всем требованиям экосистемы, требуется сотрудничество всей отрасли. Поставщикам оборудования, разработчикам программного обеспечения, операторам центров обработки данных и конечным пользователям необходимо будет объединить усилия для создания бенчмарков, точно отражающих характеристики производительности современных систем обработки данных.

Для операторов центров обработки данных ставки очевидны. Миллиарды долларов инвестируются в развитие новых центров обработки данных, и эффективное планирование, проектирование и эксплуатация этих объектов зависят от точного понимания того, как различные ускорители работают под реальными рабочими нагрузками обработки данных, а не на синтетических или ориентированных на обучение показателях. У отрасли есть возможность создать современный бенчмарк, который обеспечит необходимую ясность для принятия более взвешенных решений в области инфраструктуры, избежания дорогостоящих ошибок и обеспечения оптимизации систем для рабочих нагрузок, определяющих будущее ИИ и аналитики.

Бессменный главный редактор, в незапамятные времена работал в издании РБК