Как MTS AI сэкономила более миллиарда рублей инвестиций за счёт обучения моделей в облаке MWS

МТС Web Services сообщает о том, что компания MTS AI полностью перенесла в облако процесс обучения и инференса моделей искусственного интеллекта, а также больших языковых моделей. Это позволило компании ускорить запуск продуктов и сэкономить более миллиарда рублей инвестиций в собственную инфраструктуру.

MTS AI — один из ведущих центров компетенций по ИИ в России. Компания разрабатывает продукты и решения на базе генеративного ИИ, технологии обработки естественного языка и компьютерного зрения. Среди сервисов компании: AI-сервис речевой аналитики — WordPluse, платформа синтеза и распознавания речи на базе нейронных сетей и методов машинного обучения — Audiogram, сервис генерации и автодополнения кода для оптимизации процесса разработки — Kodify, а также голосовые и текстовые ассистенты для автоматизации коммуникации бизнеса с клиентами.

В основе всех сервисов компании лежат ML-модели, которые обучаются на тысячах терабайтов данных. Для ускорения процесса обучения моделей компания использует GPU. Самостоятельная закупка оборудования требует серьёзных инвестиций в инфраструктуру, поэтому MTS AI приняла решение перенести процесс обучения в облако. На виртуальной инфраструктуре MWS разворачивается ML-платформа, в которой обучаются все ключевые модели компании. После завершения обучения модели продолжают инференс в облаке, что позволяет не только вывести сервис на рынок, но и поддерживать его работу.

Для решения более сложных задач MTS AI предлагает своим клиентам сервисы, в основе которых развёрнуты большие языковые модели. Среди них LLM для работы с текстами, а также поиска и анализа информации — Cotype и её облегчённая версия — Cotype Nano. А также on-premise-сервис генерации и автодополнения кода для оптимизации процесса разработки — Kodify. Обучение LLM более трудоёмкая задача, чем работа с обычными ML-моделями. На обучение и дообучение LLM на потребительских GPU

может уйти значительное время. Чтобы ускорить этот процесс, MTS AI использует мощности суперкомпьютера MWS — МТС GROM. Он позволяет компании дообучать собственные LLM в десятки раз быстрее.

Работа MTS AI с моделями в облаке делится на три этапа. На первом — происходит деплой и предобучение моделей. Это позволяет подготовить модели к интенсивному обучению и сократить затраты на него. Для этого в основном используется виртуальная инфраструктура с GPU ускорителями. На втором этапе модели проходят глубокое обучение. Оно происходит на суперкомпьютере, некоторые нейросети компания дообучаем на VI c GPU. После глубокого обучения модели готовы к работе в продуктах и сервисах компании. На третьем этапе модели переходят на инференс, который также происходит в облаке MWS.

«Для работы с моделями искусственного интеллекта требуется большое количество различного оборудования. Чем больше моделей вы внедряете, тем оно разнообразнее. Для более простых моделей нужны более слабые карты, для более мощных — более производительные, для обучения LLM — суперкомпьютер, для инференса может применяться ещё один вид GPU. При работе с моделями on-prem все эти мощности пришлось бы закупать самостоятельно либо работать со всеми моделями на одном виде GPU, что привело бы к значительному увеличению инвестиционных затрат или нерациональному использованию инфраструктуры. Переезд в облако позволяет нам использовать ровно тот объём вычислительных ресурсов, который необходим и не тратить огромные суммы на закупку серверов. Лишь для того, чтобы закупить оборудование для обучения LLM, нам пришлось бы проинвестировать в инфраструктуру более миллиарда рублей. А благодаря использованию мощностей MWS мы можем перераспределить инвестиции на новые проекты. Кроме того, облачная модель потребления позволяет нам ускорять запуск новых продуктов, так как отпадает необходимость ждать поставки оборудования», — отметил директор по LLM-продуктам MTS AI Сергей Пономаренко.

Более подробная информация — в журналах РБА