Новая система для проверки защищённости ИИ-решений от кибератак

[Quentin_Tarantino]

Специалисты Центра компетенций НТИ (Национальной технологической инициативы на базе МГУ), работающие с большими данными, подготовили специальное решение, которое позволит проверять ИИ-системы на устойчивость к атакам разного типа. Платформа позволяет загрузить в облако любую модель машинного обучения, где она будет всячески тестироваться. В результате можно получить не только отчет о проверке, но и доработанный вариант модели, который будут стабильно работать при любых внешних воздействиях.

Инструмент, который предлагают в МГУ, позволяет проверить любую систему, работающую на основе нейросети. Как считают сами авторы, их разработка будет особенно полезна для тестирования систем управления грузовых машин и поездов, систем аутентификации по фото и голосу, а также для программ распознавания текста в голосовых сообщениях. Разработчики отметили, что чаще всего атакам подвергаются голосовые банковские помощники, автопилоты, сервисы медицинской диагностики и системы идентификации на транспорте.

ЦК НТИ уже подготовил рабочий прототип, которые используется несколькими крупными отечественными компаниями для совершенствования своих ИИ-проектов. Эксперты и разработчики считают, что в ближайшее время рынок средств защиты ИИ-систем будет активно развиваться, поэтому данный инструмент для проверки защищенности ПО такого типа сейчас очень актуален.

С. Полунин, глава отдела защиты IT-решений из “Газинформсервис”, отметил, что сегодня хакеры стремятся не столько отключить ИИ-систему, сколько нарушить ее работу. К примеру, если добавить в модель обучения программы собственные элементы выборки, она станет выдавать ошибочные результаты, что и является главной целью большинства злоумышленников.