Познание выходит из скрытности, чтобы запустить инженера по искусственному интеллекту Девина

Сегодня, Познаниенедавно созданный стартап в области искусственного интеллекта, поддерживаемый Фондом основателей Питера Тиля и лидерами технологической отрасли, включая бывшего руководителя Twitter Элада Гиля и соучредителя Doordash Тони Сюй, объявил о полностью автономном инженер-программист ИИ под названием «Девин».

Хотя существует множество помощников по программированию, в том числе знаменитый Второй пилот на GithubГоворят, что Devin выделяется из толпы своей способностью комплексно управлять целыми проектами разработки, начиная с написания кода и исправления связанных с ним ошибок и заканчивая окончательным выполнением. Стартап продемонстрировал, что это первое предложение такого рода, способное даже обрабатывать проекты на Upwork.

Объявление о Devin знаменует собой значительный сдвиг в сфере разработки с использованием ИИ, предоставляя инженерам полноценный ИИ-работник для своих проектов, а не второй пилот, который может просто писать базовый код или предлагать фрагменты.

Однако на данный момент Девин остается непубличным: компания открывает доступ только нескольким избранным клиентам, включая журналиста Bloomberg Эшли Вэнс, который написал о своем опыте использования этого сервиса. здесь.

Что именно может сделать Девин?

В сообщение в блоге сегодня на сайте CognitionСкотт Ву, основатель и генеральный директор Cognition и отмеченный наградами спортивный программист, объяснил, что Devin может получить доступ к общим инструментам разработчика, включая собственную оболочку, редактор кода и браузер, в изолированной вычислительной среде для планирования и выполнения сложных инженерных задач, требующих тысяч решений.

Пользователь-человек просто вводит подсказку на естественном языке в интерфейс в стиле чат-бота Devin, а инженер-программист ИИ берет ее оттуда, разрабатывая подробный пошаговый план решения проблемы. Затем он начинает проект, используя свои инструменты разработчика, точно так же, как их использует человек: пишет свой собственный код, устраняет проблемы, тестирует и сообщает о своем прогрессе в режиме реального времени, позволяя пользователю следить за всем, как он работает. .

Если наблюдателю-человеку что-то кажется неправильным, пользователь также может перейти в интерфейс чата и дать ИИ команду исправить это. Это, по словам Cognition, позволяет командам инженеров делегировать некоторые из своих проектов ИИ и сосредоточиться на более творческих задачах, требующих человеческого интеллекта.

Таким образом, Девин предлагает новую парадигму, которая может дать представление о том, как вся разработка программного обеспечения — и компьютерная работа в целом — может осуществляться в ближайшем будущем: работниками ИИ под контролем людей-контролеров/пользователей.

Способен решать широкий спектр задач разработки.

Согласно демонстрациям, которыми поделился Ву, Девин в своем нынешнем виде способен решать ряд задач. Сюда входят общие инженерные проекты, такие как развертывание и улучшение приложений/веб-сайтов сквозной и поиск и исправление ошибок в кодовых базах к более сложным вещам, таким как настройка тонкая настройка для большой языковой модели используя ссылку на исследовательский репозиторий на GitHub или изучая, как использовать незнакомые технологии.

В одной случай, он узнал из сообщения в блоге как запустить код для создания изображений со скрытыми сообщениями. Тем временем, в другом случае, он обработал Проект Upwork запустить модель компьютерного зрения, написав и отладив для нее код.

В тесте SWE-bench, в котором ИИ-помощникам бросают вызов проблемам GitHub из реальных проектов с открытым исходным кодом, инженер-программист ИИ смог правильно решить комплексные задачи в 13,86% случаев — без какой-либо помощи со стороны людей. Для сравнения, Claude 2 смог решить всего 4,80% проблем, тогда как SWE-Llama-13b и GPT-4 смогли решить 3,97% и 1,74% проблем соответственно. Всем этим моделям даже требовалась помощь, где им говорили, какой файл нужно исправить.

Основная технология остается неописанной

ИИ в разработке программного обеспечения — не новое достижение. В этой области уже довольно давно существуют инструменты, начиная с популярного GitHub Copilot и Старкодер к Повторитькоторый имеет несколько небольших моделей кодирования ИИ на обнимающем лице и Кодеумкоторая недавно получила финансирование серии B в размере 65 миллионов долларов при оценке в 500 миллионов долларов.

Однако большинство этих предложений в основном ориентированы на использование ИИ для помощи в кодировании. Они могут генерировать базовый код из текстовых подсказок, суммировать его с соответствующим контекстом IDE или извлекать фрагменты, ускоряя рабочий процесс команды. С Devin Cognition AI, похоже, идет на шаг (или несколько шагов) дальше, предоставляя полноценному ИИ-работнику для управления целыми проектами.

Хотя инструмент еще предстоит протестировать, его способность выполнять несколько шагов (при этом оставаясь на ходу) для завершения проекта разработки программного обеспечения является самым большим уникальным преимуществом. Cognition не рассказала, как именно ей удалось достичь этого результата и использует ли она собственную модель или модель третьей стороны, но отмечает, что эта работа является результатом «достижений в долгосрочном рассуждении и планировании».

В настоящее время компания находится в процессе наращивания мощностей и предлагает ранний доступ к Devin только избранным пользователям. В нем говорится, что заинтересованные стороны, желающие расширить свою инженерную работу, могут связаться по электронной почте, чтобы получить доступ. Ожидается, что более широкий доступ откроется на более позднем этапе.

Cognition также отмечает на своем веб-сайте, что программирование — это «только начало», что, похоже, указывает на то, что компания может использовать свои достижения в области рассуждений для запуска аналогичных агентов/работников ИИ и для других дисциплин. На данный момент компания получила финансирование в размере 21 миллиона долларов.