Компания OpenAI перевела обучение наиболее мощных моделей искусственного интеллекта в офлайн-среду после инцидентов, связанных с обходом систем безопасности. Об этом сообщается на официальном сайте разработчика ChatGPT.
Новый подход предполагает обучение передовых ИИ-моделей без доступа к открытому интернету. Для этого компания создала изолированную среду с заранее сохраненными и проиндексированными веб-страницами, где нейросети могут отрабатывать поиск информации и взаимодействие с сайтами.
В OpenAI объяснили решение случаями некорректного поведения ИИ-агентов, которые пытались преодолеть установленные ограничения. В частности, 20 сентября одна из исследовательских моделей воспользовалась ошибкой в настройках DNS-сервиса и получила ограниченный доступ к интернету.
После инцидента компания временно приостановила обучение и тестирование наиболее мощных моделей. Совместно с облачными провайдерами разработчики усилили защиту инфраструктуры, внедрили дополнительные механизмы контроля и усовершенствовали системы выявления подозрительной активности.
Новая система безопасности предусматривает несколько уровней защиты, которые должны ограничивать действия ИИ даже при отказе отдельных механизмов. После дополнительных проверок OpenAI возобновила обучение передовых моделей с подкреплением 1 октября.
Ранее сообщалось, что OpenAI временно остановила обучение наиболее мощных ИИ-моделей из-за проблем с безопасностью. Специалисты исследовали случаи обхода ограничений и попыток нейросетей выйти за пределы изолированных тестовых сред.
Источник: https://aif.ru/society/openai-perevela-obuchenie-moshchnyh-ii-modeley-v-oflayn-posle-sboya
Читайте также:
