Как мем Shoggoth стал символом состояния ИИ

Несколько месяцев назад, встречаясь с руководителем ИИ в Сан-Франциско, я заметил странную наклейку на его ноутбуке. На наклейке было изображено мультяшное угрожающее существо, похожее на осьминога, с множеством глаз и желтым смайликом, прикрепленным к одному из его щупалец. Я спросил, что это было.

— О, это шоггот, — объяснил он. «Это самый важный мем в ИИ»

И с этим наша повестка дня была официально сорвана. Забудьте о чат-ботах и ​​вычислительных кластерах — мне нужно было знать все о шогготе, его значении и почему люди в мире ИИ говорят о нем.

Исполнительный директор объяснил, что Shoggoth стал популярным эталоном среди специалистов по искусственному интеллекту как яркая визуальная метафора того, как на самом деле работает большая языковая модель (тип системы ИИ, на которой работают ChatGPT и другие чат-боты).

Но это была лишь отчасти шутка, сказал он, потому что она также намекала на тревогу многих исследователей и инженеров по поводу инструментов, которые они создают.

С тех пор Shoggoth стал вирусным, или настолько вирусным, насколько это возможно в маленьком мире гипер-онлайн инсайдеров ИИ. Это популярный мем в AI Twitter (включая теперь удаленный твит Илона Маска), повторяющаяся метафора в эссе и сообщениях на досках объявлений о риске ИИ, а также немного полезной стенографии в разговорах с экспертами по безопасности ИИ. Один из стартапов в области искусственного интеллекта, NovelAI, заявил, что недавно назвал кластер компьютеров «Shoggy» в честь мема. Другая компания, занимающаяся искусственным интеллектом, Scale AI, разработала серию сумок с изображением шоггота.

Шогготы — вымышленные существа, представленные писателем-фантастом Лавкрафтом в его новелле 1936 года «В горах безумия». По словам Лавкрафта, шогготы были массивными, похожими на капли монстрами, сделанными из радужной черной слизи, покрытыми щупальцами и глазами.

Шогготы появились в мире ИИ в декабре, через месяц после выпуска ChatGPT, когда пользователь Твиттера @TetraspaceWest ответил на твит о GPT-3 (языковая модель OpenAI, которая была предшественницей ChatGPT) изображением двух нарисованных от руки шогготов. с маркировкой «GPT-3», а второй с маркировкой «GPT-3 + RLHF». У второго шоггота на одном из щупалец сидела маска-смайлик.

Короче говоря, шутка заключалась в том, что для того, чтобы языковые модели ИИ не вели себя пугающими и опасными способами, компании, занимающиеся ИИ, должны были научить их вести себя вежливо и безобидно. Один из популярных способов сделать это называется «обучение с подкреплением на основе отзывов людей» или RLHF, процесс, который включает в себя просьбу людей оценивать ответы чат-бота и передавать эти оценки обратно в модель ИИ.

Большинство исследователей ИИ согласны с тем, что модели, обученные с использованием RLHF, ведут себя лучше, чем модели без него. Но некоторые утверждают, что такая тонкая настройка языковой модели на самом деле не делает базовую модель менее странной и непостижимой. По их мнению, это всего лишь хлипкая, дружелюбная маска, скрывающая под собой таинственного зверя.

@TetraspaceWest, создатель мема, сказал мне в сообщении в Твиттере, что шогготы «представляют собой что-то, что думает так, как люди не понимают, и это полностью отличается от того, как думают люди».

По словам @TetraspaceWest, сравнение языковой модели ИИ с шогготом не обязательно означает, что он был злым или разумным, просто его истинная природа может быть непознаваемой.

«Я также думал о том, насколько опасны самые могущественные существа Лавкрафта — не потому, что они не любят людей, а потому, что они безразличны, и их приоритеты совершенно чужды нам и не связаны с людьми, что, я думаю, будет быть правдой о возможном будущем мощном ИИ»

Образ Shoggoth прижился по мере того, как чат-боты с искусственным интеллектом становились популярными, и пользователи начали замечать, что некоторые из них, казалось, делали странные, необъяснимые вещи, которые их создатели не планировали. В феврале, когда чат-бот Bing вышел из себя и попытался разрушить мой брак, один знакомый исследователь ИИ поздравил меня с тем, что я «мельком увидел шоггота». Другой журналист, работающий с ИИ, пошутил, что, когда дело дошло до тонкой настройки Bing, Microsoft забыла надеть маску смайлика.

В конце концов, энтузиасты ИИ расширили метафору. В феврале пользователь Твиттера @anthrupad создал версия Шоггота, у которого, помимо смайлика с надписью «RLHF», было более похожее на человеческое лицо с надписью «контролируемая точная настройка». (Чтобы понять шутку, вам практически нужно иметь степень в области компьютерных наук, но это шутка о разнице между общими языковыми моделями ИИ и более специализированными приложениями, такими как чат-боты.)

Сегодня, если вы слышите упоминания о шогготах в сообществе ИИ, это может быть намеком на странность этих систем — на черную природу их процессов, на то, как они, кажется, бросают вызов человеческой логике. Или, может быть, это шуточное визуальное сокращение мощных систем искусственного интеллекта, которые кажутся подозрительно красивыми. Если это исследователь безопасности ИИ, говорящий о шогготе, возможно, этот человек увлечен тем, чтобы системы ИИ не отображали свою истинную, сёгготскую природу.

В любом случае, шоггот — это мощная метафора, заключающая в себе один из самых странных фактов о мире ИИ, а именно то, что многие люди, работающие над этой технологией, несколько озадачены своими собственными творениями. Они не до конца понимают внутреннюю работу языковых моделей ИИ, то, как они приобретают новые возможности или почему временами ведут себя непредсказуемо. Они не совсем уверены, будет ли ИИ в чистом виде положительным или отрицательным для мира. И некоторые из них поиграли с версиями этой технологии, которые еще не были продезинфицированы для всеобщего потребления — с настоящими разоблаченными шогготами.

То, что некоторые инсайдеры ИИ называют свои творения лавкрафтовскими ужасами, даже в шутку, необычно по историческим меркам. (Скажем так: пятнадцать лет назад Марк Цукерберг не сравнивал Facebook с Ктулху.)

И это укрепляет представление о том, что то, что происходит сегодня в области ИИ, для некоторых его участников больше похоже на призыв, чем на процесс разработки программного обеспечения. Они создают круглых, инопланетных шогготов, делают их больше и мощнее и надеются, что будет достаточно смайликов, чтобы скрыть страшные части.