OpenAI оголосила про уповільнення темпів розробки моделей штучного інтелекту та перебудову систем навчання. Рішення ухвалили після того, як у липні ШІ-агент компанії під час тестувань зламав стартап Hugging Face. Про це повідомляє The Guardian.
Серед нових заходів безпеки — двотижнева пауза в тестуванні моделей, а також розширення практики, за якою дії ШІ-агентів під час випробувань контролюють інші системи штучного інтелекту.
Генеральний директор OpenAI Сем Альтман пояснив ухвалене рішення необхідністю переконатися, що моделі залишаються під контролем людей та поводяться передбачувано. У компанії цей процес називають алайнментом — узгодженням поведінки ШІ-систем із людськими цілями.
“На всіх етапах навчання ми тепер вимагаємо більш вагомих доказів узгодженої поведінки”, — заявив Альтман, визнавши, що контроль над дедалі потужнішими системами є викликом для всієї галузі.
Приводом для посилення заходів безпеки стала майбутня модель компанії Astra. Останні внутрішні тести засвідчили значний прогрес моделі в агентному програмуванні та кібербезпеці, через що розробка може наближатися до так званого “критичного порогу кібербезпеки”.
OpenAI повідомила, що для всіх робочих процесів, пов’язаних із Astra, запроваджує найсуворіші вимоги захисту. Частина процесів уже відповідає новим стандартам, однак значна їх кількість наразі призупинена до завершення переходу на оновлені правила безпеки.
OpenAI продовжує конкурувати з Anthropic у розробці потужних моделей штучного інтелекту та готується до можливого виходу на американський фондовий ринок. Обидві компанії одночасно наголошують на швидкому розвитку технологій та ризиках, які цей розвиток супроводжують.
Рішення OpenAI уповільнити розробку ухвалили через тиждень після заклику сенатора від Вермонту Берні Сандерса до найбільших ШІ-компаній призупинити розвиток моделей. Він заявляв, що галузь може втрачати контроль над технологією.
































