GigaChat научился распознавать изображения

Система искусственного интеллекта теперь поддерживает работу с изображениями как источником информации и обрабатывает в четыре раза больше данных за один запрос

Нейросетевая модель GigaChat Pro обрела новую модальность. Теперь в качестве запроса пользователь может отправить иллюстрацию, чтобы сервис использовал её как дополнительный контекст. Модель определит, сколько людей на фото, во что они одеты, даст совет по стилю одежды и многое другое.

Также модель научилась распознавать печатный и рукописный текст, формулы, графики, таблицы и анализировать данные, которые в них содержатся. Например, студенты могут сфотографировать часть учебного материала или конспекта, загрузить изображение и в несколько кликов получить короткое содержание текста, его ключевую тему и сформировать план дальнейшей работы с ним.

Функциональность доступна и бизнес-клиентам через API. Компании могут использовать искусственный интеллект в ещё большем числе сценариев: модерировать и классифицировать отзывы, систематизировать медиаконтент, автоматизировать линию поддержки (когда клиент прикладывает к обращению скрин или фото). Ретейлеры могут загружать изображение товара и просить сервис придумать к нему продающее описание.

Также в четыре раза был увеличен размер контекста как GigaChat Pro, так и версии GigaChat Lite — с 8 тыс. до 32 тыс. токенов. Если раньше в один запрос можно было загрузить объём текста, сопоставимый с 15 страницами A4 (шрифт 14 pt), то теперь максимальный объём запроса вырос до 60 страниц. Кроме того, у моделей повысился уровень математических знаний, а GigaChat Pro научился лучше форматировать текст — расставлять параграфы, заголовки, используя выделения и списки.

Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка:

«Мультимодальность расширяет способы и сферы применения больших языковых моделей, она же — ключевой тренд развития генеративного искусственного интеллекта. Теперь GigaChat умеет распознавать изображения — и это не просто ещё один важный шаг в развитии нашего сервиса, он открывает широкий спектр новых возможностей для наших пользователей. В том числе появляется много сценариев использования GigaChat API для бизнеса. Кроме того, увеличение размера контекста системы в четыре раза позволит поддерживать более длинные диалоги с пользователями и проще реализовывать кейсы с механикой RAG».

Модель GigaChat Pro доступна всем пользователям через веб-версию, Telegram и «ВКонтакте», причём бесплатно — достаточно просто начать диалог с GigaChat. Разработчикам и бизнесу модели доступны через GigaChat API.

# # #

ПАО Сбербанк — один из крупнейших банков в России и один из ведущих глобальных финансовых институтов. На долю Сбербанка приходится около трети активов всего российского банковского сектора. Сбербанк является ключевым кредитором для национальной экономики и занимает одну из крупнейших долей на рынке вкладов. Основным акционером ПАО Сбербанк является Российская Федерация в лице Министерства финансов Российской Федерации, владеющая 50% уставного капитала ПАО Сбербанк плюс 1 голосующая акция. Оставшимися 50% минус 1 голосующая акция от уставного капитала банка владеют российские и международные инвесторы. Генеральная лицензия Банка России на осуществление банковских операций № 1481 от 11.08.2015. Официальные сайты банка: www.sberbank.com (сайт Группы Сбербанк), www.sberbank.ru.

Более подробная информация — в журналах РБА