На днях OpenAI  рассказали о крупном инциденте по дистилляции своих моделей и ненавязчиво его связали с ребятами, имеющими отношение к Moonshot AI (разработчику Kimi).

История летняя — в конце июля OpenAI зафиксировали внезапный скачок необычных промптов: за два дня больше 4К юзеров отправили около 16К попыток вытащить защищённые CoT моделей. А когда начали разбираться, то выловили похожую активность аж у 15К пользователей +.
Действовали по-разному. Например, в одном из   «пойманных» случаев промптеры-операторы копировали зашифрованные чанки рассуждалки из одного диалога в другой, а потом заставляли модель восстанавливать скрытый текст этих цепочек.
По этим странным многочисленным операциям OpenAI решили, что это попытка дистилляции (ответы и CoT их модели — Sol’а 5.6, собирали, чтобы потом использовать их для обучения/улучшения «своей»).

Скорее всего, не все 15К+ аккаунтов были от ребят из Moonshot AI, но с ними связывают именно основную часть. Говорят, мол, попытки дистилляции по большей части заканчивались неудачами. Про успешные — не пишут. Но так как я очень хорошо знаю Sol, его тулчейн и манеру CoT, в K3 при своём пайпе удалось заметить огромное сходство (дедлайн у муншотов поджимал, и, видимо, решили «была-не была!»).

Я негативно отношусь к дистилляции и разборкам «кто у кого своровал». Этические нюансы я тоже оставлю при себе. Но вот когда ты собираешь распределённый человеческий датасет в одном случае (часто вижу обвинения, мол, OpenAI делают то же самое, Kimi — просто на слой ниже), а в другом пытаешься снять уже сжатый вычислительный слой другого обученного агента, причём вплоть до его скрытого рисонинга, это уже не «то же самое». У нас тут огромная системная проблема вырисовывается.
Мне, например, для кросс-проверок критичны независимые источники ошибок. Да, дистилляция обучаемого в учителя не превращает, потому что накладывается своя архитектура сверху, дообучение, RAG, промпты и всё остальное; мы помним эксперимент с совами :) Тем более, это крупные модели, гигантские.
Но ежели одна модель начинает воспроизводить рассуждения другой, мы постепенно утрачиваем эту независимость.
К примеру, в моём у случае у Kimi местами с Sol совпадали не только ответы, но и ход решения вплоть до выбранной методологии вычислений.

В этой работе исследовали больше 350 моделей и обнаружили связь ошибок между собой. На одном из бенчей, когда обе модели ошибались, их ответы совпали в 60% случаев. Задумайтесь — больше половины!
Авторы среди факторов этой связи нашли общих провайдеров и архитектуры, причём заметный мэтч сохранялся даже между крупными моделями разных компаний.