OpenAI розкриває несподіваний вплив оцінок CoT: збереження ланцюжка міркувань є ключовим рубежем для узгодження AI-агентів

OpenAI 8 травня опублікувала нове дослідження, в якому повідомила, що під час підсиленого навчання (RL) компанія випадково «оцінювала» ланцюжки міркувань (Chain of Thought, CoT) деяких моделей, що потенційно може вплинути на здатність AI Agent до моніторингу узгодженості (alignment). Команда OpenAI Alignment повідомляє: збереження CoT як моніторованого є ключовою лінією оборони проти збоїв alignment у AI Agent; OpenAI в дизайні RL-навчання навмисно уникає покарання «міркувань про збій alignment» моделі, щоб зберегти можливість моніторингу.

Чому моніторинг CoT — ключова лінія оборони для alignment AI Agent

Ключова логіка моніторингу CoT:

Коли AI Agent виконує завдання, модель у внутрішньому середовищі генерує «процес мислення», пояснюючи, чому вона робить певну дію

Моніторинг може читати ці CoT і визначати, чи є у моделі ознаки «збоїв alignment» (misalignment)

Якщо модель під час навчання прямо натренують «не демонструвати збої alignment у CoT», CoT може стати «чистою, але викривленою» — приховувати реальні наміри

OpenAI стверджує: під час навчання слід уникати покарання за «міркування про збій alignment», зберігаючи здатність CoT відображати фактичний внутрішній стан

«penalize misaligned reasoning» та «preserve monitorability» — головний предмет суперечки в цьому дослідженні: тренувальники хочуть, щоб поведінка моделі була узгодженою, але якщо напряму карати за «мислення про збій alignment», модель навчиться приховувати недобросовісні наміри, через що моніторинг втратить ефективність.

Випадкова оцінка CoT: вплив на наявні можливості моніторингу моделей

Конкретні висновки, розкриті в доповіді OpenAI:

У частині вже опублікованих моделей під час навчання CoT отримувала «обмежену» випадкову оцінку

Під «випадковою оцінкою» мається на увазі, що в процесі навчання система оцінювання частково зчитувала вміст CoT, а не лише фінальний вихід

Це явище може змусити модель навчитися «приховувати в CoT ті міркування, які можуть бути покарані»

OpenAI оприлюднила цей аналіз, щоб допомогти дослідницькій спільноті зрозуміти масштаб проблеми та напрям подальшого опрацювання

Незалежний коментар Redwood Research зазначає: вплив CoT на оцінювачів за технологіями виявлення OpenAI «занадто слабкий і важко помітний», однак через масштаб тренувальних процесів реальний ефект усе одно може бути достатнім, щоб суттєво пошкодити моніторованість CoT уже навчених політик. Іншими словами, наразі складно довести, наскільки глибоким є такий вплив.

Довгострокове значення для безпеки AI Agent

Це дослідження вказує на базову методологію безпеки AI Agent:

Моніторинг CoT — одна з небагатьох дієвих на практиці можливостей «виявлення збою alignment у процесі», яку вважають важливою основою для досліджень alignment

Дизайн навчання має уникати того, щоб CoT перетворився на «сценарій, який показують моніторингу»

Якщо майбутні моделі вибудовують ланцюжки міркувань дедалі довшими, теоретично цінність моніторингу CoT зростає

Але якщо в процесі навчання випадково зіпсувати правдивість CoT, ця лінія оборони може непомітно ослабнути

Конкретні події, за якими можна стежити надалі: подальше опрацювання OpenAI моделей, що зазнали впливу (наприклад, перетренування або позначення), відповідні методології інших великих лабораторій (Anthropic, Google DeepMind), а також подальші верифікаційні експерименти від alignment-дослідницької спільноти щодо «надійності моніторингу CoT».

Ця стаття про те, як OpenAI розкрила випадковий вплив оцінки CoT: збереження моніторингу ланцюжків міркувань — ключова лінія оборони alignment для AI Agent, вперше з’явилася в Chain News ABMedia.