Компания OpenAI, известная своими инновациями в области искусственного интеллекта, разработала новую модель под названием CriticGPT, основанную на передовой языковой модели GPT-4.

Эта разработка призвана помочь в проверке программного кода, генерируемого популярным чат-ботом ChatGPT.

CriticGPT анализирует код, созданный ChatGPT, и указывает на потенциальные ошибки или недочеты. Это позволяет разработчикам легче выявлять и исправлять проблемы, которые могли бы остаться незамеченными при ручной проверке.

Исследования, проведенные компанией OpenAI, показали, что аннотаторы предпочли замечания CriticGPT замечаниям людей в 63% случаев при работе с естественными ошибками языковых моделей. Это объясняется тем, что CriticGPT генерировала меньше ложных срабатываний и бесполезных замечаний.

Совместная работа людей и CriticGPT также позволила создавать более полноценные отчеты об ошибках по сравнению с ручной работой людей. Вдобавок ко всему, использование нейросети CriticGPT помогло снизить уровень ошибок, возникающих при работе только с моделью.

Для обучения модели CriticGPT был использован обширный набор данных, содержащий преднамеренные ошибки. Специалисты модифицировали исходный код ChatGPT, внося различные неточности и предоставляя примеры конструктивной критики. Это позволило разработать модель, способную выявлять и анализировать множество типов ошибок.

Ключевым аспектом обучения стало предоставление модели большого количества примеров с ошибками, сопровождаемых подробными комментариями и рекомендациями по их исправлению. Это позволило CriticGPT накопить обширные знания и выработать эффективные стратегии для выявления и устранения различных видов неточностей.