Почему ИИ иногда ошибается — и большие успехи в решении этой проблемы

Этот пост является первым в серии «Создание ИИ ответственно», в которой рассматриваются основные проблемы, связанные с развертыванием ИИ, и то, как Microsoft решает их с помощью своих методов и инструментов ответственного ИИ.

Технически галлюцинации представляют собой «необоснованный» контент, что означает, что модель изменила данные, которые ей были предоставлены, или добавила дополнительную информацию, не содержащуюся в ней.

Бывают случаи, когда галлюцинации полезны, например, когда пользователи хотят, чтобы ИИ создал научно-фантастическую историю или предложил нетрадиционные идеи во всем, от архитектуры до программирования. Но многие организации, создающие ИИ-помощников, нуждаются в них для предоставления надежной и обоснованной информации в таких сценариях, как медицинское обобщение и образование, где точность имеет решающее значение.

Вот почему Microsoft создала обширный набор инструментов для решения проблемы необоснованности, основанный на опыте разработки собственных продуктов искусственного интеллекта, таких как Microsoft второй пилот.

Инженеры компании потратили месяцы на то, чтобы обосновать модель Copilot с помощью поисковых данных Bing с помощью дополненной генерации — метода, который добавляет дополнительные знания в модель без необходимости ее повторного обучения. Ответы Bing, данные индексирования и рейтинга помогают Copilot предоставлять более точные и актуальные ответы, а также цитаты, которые позволяют пользователям искать и проверять информацию.

«Эта модель великолепно анализирует информацию, но мы не думаем, что она должна быть источником ответа», — говорит Бёрд. «Мы считаем, что источником ответа должны быть данные, поэтому первым шагом для нас в решении проблемы было внесение в модель свежих, высококачественных и точных данных».