Когда для кода стоит начинать с Claude Opus 5.5
Если агенту нужно изменить несколько модулей и сохранить поведение их существующих вызовов, начните пилот с Claude Opus 5.5. Во FrontierCode-AA 2.0 агент работает с реальными репозиториями, а оценка учитывает пригодность изменений к слиянию. На max у Opus 46,4%, у GPT-6.2 Sol — 44,4%. Это небольшой перевес на тесте, близком к работе над чужой кодовой базой.
На high порядок меняется: GPT-6.2 Sol набирает 40,2%, Opus — 35,9%. На max в Terminal-Bench 4.0 Sol тоже чуть впереди, 60,1% против 59,6%. Если основная нагрузка — команды в терминале, диагностика сборки и небольшие скрипты, начните пилот с Sol и снимите собственные показатели задержки.
Подробнее: Artificial Analysis — прямое сравнение моделей по уровням усилия
Claude Code и Codex на одном репозитории
Для сравнения рабочих инструментов запустите Opus 5.5 в Claude Code и GPT-6.2 Sol в Codex на двух копиях одного коммита. Дайте одинаковое описание задачи, доступ к одним файлам и одинаковый лимит времени. Явно выставьте усилие модели и запишите, к каким инструментам агент мог обращаться. В таком прогоне вы измеряете результат связки из модели и программы, которая управляет её действиями.
Если важно сравнить сами модели, используйте одну тестовую обвязку с одинаковыми инструментами, инструкциями и правилами остановки. Зафиксируйте также режимы кеширования и ускорения. При разном наборе доступных инструментов итог может зависеть от того, что агент успел прочитать или запустить.
Три задачи для пилота и критерии приёмки
Возьмите три недавние задачи с известным ожидаемым поведением. Подготовьте проверку заранее и уберите из исходного описания подсказки о готовом патче. Оценщик может просматривать изменения вслепую по одним и тем же критериям.
| Задача | Что проверять |
|---|---|
| Обновить контракт между двумя модулями | Старые вызовы сохраняют поведение, новые покрыты проверками. |
| Исправить ошибку округления итоговой суммы | Проверка воспроизводит сбой до правки, проходит после и покрывает граничное значение. |
| Починить сборку в CI | Сборка проходит с чистого состояния, патч затрагивает только необходимые файлы. |
Как решить, какую модель оставить в рабочем процессе
Сначала посчитайте долю правок, принятых с первого прогона. Для каждой задачи сохраните время до готового патча, размер изменений и минуты ручной доработки. Если разница заметна, повторите прогон на нескольких похожих задачах. Один удачный патч легко переоценить, особенно при работе с небольшим репозиторием.
Если обе модели регулярно проходят одни и те же критерии приёмки, выбирайте по задержке и стоимости. Если Opus чаще сохраняет совместимость и требует меньше исправлений на крупных изменениях, выделите ему этот класс задач. Часы ревью и повторные прогоны удобнее сравнивать вместе с расходом API по каждой принятой задаче.
Подробнее: Цены API Opus 5.5 и GPT-6.2 Sol с примерами расчёта