Microsoft выпустил инструмент PyRIT для генеративного ИИ, предназначенного для красных команд.

23 февраля 2024 года компания Microsoft выпустила открытый инструмент автоматизации под названием PyRIT для преемтивного выявления рисков в системах генеративного искусственного интеллекта (ИИ). PyRIT - это инструмент идентификации рисков, предназначенный для генеративных ИИ систем. Он является открытым фреймворком, помогающим проводить тестирование на неблагоприятные условия работы системы ИИ. Microsoft отмечает, что разработка PyRIT является демонстрацией ее стремления демократизировать обеспечение безопасности ИИ для своих клиентов, партнеров и коллег.

В отличие от традиционного тестирования на неблагоприятные условия, тестирование на неблагоприятные условия генеративных ИИ систем должно включать выявление как безопасностных рисков, так и рисков ответственного использования ИИ, таких как некорректность или недостоверность получаемого контента. Дизайн PyRIT обеспечивает абстракцию и расширяемость для будущего развития его возможностей. Инструмент реализует пять интерфейсов: цель, набор данных, движок оценки, стратегии атаки и память.

PyRIT поддерживает интеграцию с моделями из службы Microsoft Azure OpenAI, Hugging Face и Azure Machine Learning Managed Online Endpoint. Инструмент поддерживает два стиля стратегии атаки: одноповоротную и многоповоротную.

"PyRIT - это не просто инструмент для генерации подсказок; он изменяет тактику в зависимости от ответа системы генеративного ИИ и генерирует следующий ввод для системы генеративного ИИ. Эта автоматизация продолжается до достижения задачи, намеченной для специалиста по безопасности", - гласит объявление, опубликованное компанией Microsoft. Microsoft отметила, что этот инструмент не заменяет ручное тестирование на неблагоприятные условия генеративных ИИ систем. "PyRIT был создан в ответ на наше убеждение, что обмен ресурсами для тестирования на неблагоприятные условия ИИ во всей отрасли полезен для всех. Мы призываем своих коллег в отрасли ознакомиться с этим инструментом и рассмотреть его применение для тестирования на неблагоприятные условия собственного приложения генеративного ИИ", - заключается объявление.