AWS предлагает гибкий доступ к графическим процессорам Nvidia для рабочих нагрузок ИИ
Блоки емкости Amazon Elastic Compute Cloud, или EC2, для машинного обучения уже доступны клиентам и позволяют им зарезервировать использование «сотен» самых передовых графических процессоров H100 с тензорными ядрами корпорации Nvidia, размещенных в ультракластерах Amazon EC2. Эти ультракластеры ориентированы на высокопроизводительные рабочие нагрузки машинного обучения.
Чтобы получить доступ к блокам емкости EC2, клиентам просто необходимо указать желаемый размер кластера, будущую дату начала и продолжительность использования. Таким образом они смогут гарантировать себе надежный, предсказуемый и бесперебойный доступ к ресурсам графических процессоров для критически важных проектов искусственного интеллекта.
В AWS заявили, что блоки емкости EC2 решают множество проблем клиентов. В наши дни самые мощные рабочие нагрузки ИИ, такие как обучение больших языковых моделей, требуют значительных вычислительных мощностей, а графические процессоры Nvidia считаются для этого одними из лучших аппаратных средств. Однако, несмотря на всю шумиху вокруг генеративного искусственного интеллекта, чипы Nvidia внезапно оказались в острой нехватке.
Нехватка графических процессоров особенно ощутима для тех клиентов, чьи потребности в мощности часто меняются. Поскольку им не требуются графические процессоры на постоянной основе, им может быть сложно получить доступ к ресурсам тогда, когда они действительно нужны. Чтобы решить эту проблему, многие клиенты обязуются приобретать мощности графических процессоров на более длительный срок. При этом, мощности часто простаивают, так как клиенты пользуются ими редко. Блоки емкости EC2 предоставляют таким клиентам более гибкий и предсказуемый способ приобретения мощности графических процессоров на более короткие периоды времени.
Главный адвокат разработчиков AWS Ченни Юн сравнил резервирование блоков емкости EC2 с процессом бронирования номера в отеле; «При бронировании отеля вы указываете дату и продолжительность, на которую хотите забронировать номер, а также размер кроватей, которые вы хотели бы иметь ─ например, кровать размера ”queen-size" или "king-size". Аналогично, при резервировании блоков емкости EC2 вы выбираете дату и продолжительность, которые вам требуются для экземпляров GPU, а также размер резервирования (количество экземпляров). В день начала бронирования вы сможете получить доступ к своему зарезервированному блоку емкостей EC2 и запустить свои экземпляры».
Чтобы обеспечить подключение с низкой задержкой и высокой пропускной способностью, блоки емкости EC2 развертываются в ультракластерах EC2 и соединяются с петабитной сетью Elastic Fabric Adaptor. Благодаря этому возможно масштабирование до сотен графических процессоров. Клиенты могут зарезервировать кластеры графических процессоров от 1-го до 64-х экземпляров на срок от 1-го до 14-ти дней и до 8-ми недель вперед. Это делает их идеальными для обучения и точной настройки моделей искусственного интеллекта, коротких экспериментов и обработки ожидаемого роста спроса, например, при запуске нового продукта.
