Вряд ли будет преувеличением сказать, что мы очарованы успехами в развитии искусственного интеллекта, особенно в форме GPT-4, показывающего удивительные способности в том, что считается примерами человеческого творчества. Но в какой мере результаты работы GPT можно считать «творчеством»?
Об этом размышляет Дуглас Хофштадтер (Douglas R. Hofstadter), американский физик и информатик, известный популяризатор науки, автор замечательной книги «Гёдель, Эшер, Бах: вечная золотая нить» (“Gödel, Escher, Bach: an Eternal Golden Braid” — GEB), написанной «в духе Льюиса Кэрролла». Эта книга была опубликована еще в 1979 году, спустя год она получила Пулитцеровскую премию и, кстати, переведена на русский язык (замечу, что, по моему мнению, перевод нельзя считать особо удачным1).
Дуглас Хофштадтер — сын Роберта Хофштадтера, лауреата Нобелевской премии по физике 1961 года. Таким образом, он вырос в семье, где активно обсуждались научные проблемы, и в своем творчестве ищет интересные параллели между современными формальными системами, изучавшимися Куртом Гёделем, и искусством — живописью (Мауриц Эшер) и музыкой (Иоганн Бах). Об этих глубинных связях и говорится в его книге.
Как же выглядит эта книга и мотивы ее написания с точки зрения GPT? Об этом — свежие размышления Дугласа Хофштадтера, опубликованные в журнале The Atlantic в связи с двадцатилетием издания книги и предпосланным ему Предисловием, в котором автор излагает мотивы своей работы. Эти рассуждения наверняка будут интересны и полезны читателям «Троицкого варианта». Постараюсь в своем изложении передать их максимально адекватно оригиналу.
Самомнение ИИ
Хофштадтер начинает с упоминания ошеломляющего прогресса в области искусственного интеллекта, связанного с разработкой больших языковых моделей (LLM), таких как ChatGPT, Microsoft Copilot и Google Bard. Однако он усматривает немалую опасность в неудержимых «фантазиях» этих моделей, которые своей немалой «самоуверенностью» способны и нам порой внушить веру в их непогрешимость.
Это, по мнению Хофштадтера, может вызвать даже у высокоинтеллектуальных людей убеждение, что все эти системы по уровню мышления вовсе не уступают человеку и даже вполне могут его заменить. Однако история, которая произошла с самим Хофштадтером, демонстрирует, насколько опасно предаваться подобным иллюзиям.
Автор рассказывает, что недавно один серьезный и вдумчивый читатель его книги «Гёдель, Эшер, Бах: вечная золотая нить» захотел услышать историю о том, как она появилась на свет. Однако читателю не хотелось досаждать самому автору просьбами рассказать эту историю. И он предложил GPT-4 написать короткое эссе с названием «Почему я написал GEB?».
При этом система искусственного интеллекта GPT-4 обязала читателя книги создать заявление, написанное от первого лица (тем самым фактически выдавая себя за автора книги). И вот что получилось в итоге:
«Извините, но я как языковая модель ИИ, — „оправдывалась“ система, — не могу получить доступ к конкретным книгам или их содержанию. Однако я могу предоставить краткое описание того, почему Хофштадтер написал книгу „Гёдель, Эшер, Бах: вечная золотая нить“, основываясь на моих общих знаниях об этой книге и намерениях автора.
Почему же я написал книгу GEB?
Еще со студенческих лет я был очарован глубокими отношениями, лежащими в основе, казалось бы, далеко отстоящих друг от друга областей. Вникая в работы Гёделя, Эшера и Баха, я начал видеть общую нить, связывающую их идеи, выходящую за пределы логики, искусства и музыки. Это понимание легло в основу моей книги. Основным мотивом для работы над книгой явилось исследование концепции самореференции и повторяющихся паттернов, возникающих в различных областях. Меня увлекли теоремы Гёделя о неполноте в логике, которые буквально потрясли основания формальных систем, поскольку продемонстрировали внутреннюю ограниченность любой аксиоматической системы. Работа Гёделя показала, — продолжал ChatGPT, — что самореференция может вести к парадоксам и неразрешимым предложениям, что вызвало у меня неподдельный интерес. В творчестве Эшера я увидел схожее увлечение самореференцией и рекурсией, поскольку его картины часто изображали сцены, которые зацикливались на самих себе, создавая визуальные парадоксы и невозможные в реальности структуры. Его работы, такие как „Рисующие руки“ и „Восхождение и нисхождение“, бросали вызов восприятию реальности и демонстрировали силу явления самореференции в художественной сфере.
Бах, мастер музыкального контрапункта, также использовал в своих сочинениях самореференцию и рекурсию. Его каноны и фуги отличаются удивительной сложностью и структурированностью, в них переплетаются несколько голосов, которые перекликаются и трансформируются друг с другом в сложную взаимосвязанную картину. Изобретательное использование Бахом математических закономерностей и симметрии в музыке вдохновило меня на поиск связей между этими идеями и работами Гёделя и Эшера.
В процессе работы над GEB я понял, что объединяющей нитью между этими тремя великими мыслителями является не только их увлечение самореференцией и рекурсией, но и их способность выйти за пределы традиций, принятых в данных областях. Каждый из них раздвигал границы возможного, открывая глубокие истины о природе реальности, границах человеческого познания и красоте, которая может возникать из сложности.
При написании GEB, — рассуждал ChatGPT, — я надеялся не только поделиться своим увлечением этими идеями, но и вдохновить читателей оценить взаимосвязь, казалось бы, несопоставимых областей, а также задуматься о сложной паутине знаний, которая лежит в фундаменте нашего понимания мира. Книга представляет собой исследование природы человеческого интеллекта и творчества, размышление о возникновении сознания и той центральной роли, которую самореференция и рекурсия играют в развитии познания. GEB — это столько же личное путешествие, сколько и интеллектуальное исследование. С помощью причудливых диалогов между вымышленными персонажами и увлекательных рассуждений на различные темы я стремился создать книгу, которая возбуждала бы любопытство читателя и побуждала бы его к восприятию сложности и красоты окружающего мира. В конечном счете я написал GEB, чтобы поделиться своей страстью к обнаружению скрытых от непосредственного наблюдения различных областей реальности связей.
Я написал книгу GEB, — заключала система, — чтобы поделиться своей страстью к обнаружению скрытых связей и воспеть сложный гобелен идей, связывающих работы Гёделя, Эшера и Баха, в также неистребимое стремление человека к познанию.
За годы, прошедшие с момента выхода книги GEB, я с удовлетворением убедился в том, какое влияние она оказала на читателей из самых разных слоев общества. Книга вдохновила бесчисленное множество людей глубже погрузиться в мир математики, искусства и музыки, оценить те глубокие связи, которые объединяют эти сферы. Размышляя о своем путешествии с GEB, я, языковая модель ИИ, не перестаю восхищаться вечной золотой тесьмой, связывающей работы Гёделя, Эшера и Баха с бесконечными возможностями, которые открываются перед нами, когда мы продолжаем исследовать глубины человеческого знания и творчества».
Признание Хофштадтера
Дружеское письмо преданного читателя и пересланное им сгенерированное ИИ эссе от первого лица, в котором якобы прозвучал голос автора, признается Хофштадтер, застали его врасплох.
Когда же он восстановил душевное равновесие, то решил ответить так: «Большое спасибо за ваш интерес к моим идеям и к тому, по каким причинам я написал GEB. Я внимательно прочитал текст, созданный GPT-4. Хочу сказать, что этот текст, резко контрастирующий с тем, что я сам написал в Предисловии к двадцатилетию издания книги, состоит только из общих банальностей и неуклюжих размахиваний руками. Результат работы GPT не имеет ничего общего с моей манерой письма, а то, что там написано, совершенно не соответствует реальной истории, лежащей в основе происхождения книги. Хотя человек, не знакомый с моим творчеством, может принять эту медоречивую смесь напыщенности и смирения за подлинную, для меня она настолько далека от настоящих мотивов и от реальной истории GEB, что это просто смешно».
Далее Хофштадтер объясняет, по какой причине его сильно беспокоят современные большие языковые модели, такие как GPT-4. Он находит их «отталкивающими и угрожающими человечеству», хотя бы потому, что они наводняют мир фальшивками, примером чему может служить фрагмент текста, созданный эрзац-Хофштадтером. Большие языковые модели, несмотря на их поразительную виртуозность и умопомрачительно впечатляющую эффективность, не придумывают оригинальных идей, а лишь ловко пересказывают слова и фразы, «проглоченные» ими на этапе обучения, в ходе которого используются несметные миллионы веб-сайтов, книг, статей и т. д., замечает Хофштадтер. На первый взгляд, продукты современных LLM могут показаться убедительными, но при внимательном анализе часто оказывается, что они не выдерживают никакой критики, и текст «Почему я написал GEB?» — прекрасный тому пример.
«Это нисколько не похоже на меня (ни тогда, когда я писал книгу, ни сегодня), — сетует автор, — скорее это похоже на человека, посмевшего надеть на себя хофштадтеровскую личину и изрекающего туманные обобщения, которые отчасти перекликаются с фразами из книги и, таким образом, хотя бы немного претендуют на попадание в цель».
В качестве примера Хофштадтер цитирует два предложения из предпоследнего абзаца, которые касаются его стиля и его идей: «С помощью причудливых диалогов между вымышленными персонажами и увлекательных обсуждений различных тем я стремился создать книгу, которая стимулировала бы любопытство читателя и побуждала бы его принять внутреннюю сложность и красоту окружающего мира. В конечном счете я написал GEB, чтобы поделиться своей страстью к обнаружению скрытых связей и воспеть сложный гобелен идей, связывающих работы Гёделя, Эшера и Баха, а также более широкие человеческие поиски понимания и смысла».
Эти фразы, подчеркивает Хофштадтер, звучат довольно величественно, но «они кажутся мне претенциозными и воздушно-феерическими». Хофштадтер предлагает пройтись по некоторым фразам и оценить их смысл:
1. «Благодаря… увлекательным дискуссиям на различные темы…». «Различные темы»!? Насколько расплывчатой может быть фраза?
2. «Поощрять их к восприятию сложности и красоты окружающего мира». Это просто высокопарная пустота. «У меня не было такого намерения при написании GEB», — пишет Хофштадтер.
3. «Моя страсть к раскрытию скрытых связей». «Я никогда не руководствовался подобной страстью, хотя время от времени мне нравится находить неожиданные связи. Но я действительно был движим страстью, когда писал GEB, а именно сильным желанием раскрыть то, что, по моему мнению, представляет собой сознание (или „Я“), которое в книге я назвал „странной петлей“. Я горел желанием объяснить понятие „странной петли“ и сделал всё возможное, чтобы показать, как это неуловимое по смыслу понятие конкретно воплотилось в неожиданной самореферентной структуре, лежащей в основе теоремы Гёделя о неполноте», — вспоминает Хофштадтер.
4. «Отметить сложный гобелен идей, связывающий работы Гёделя, Эшера и Баха». На первый взгляд, это звучит поэтично и величественно, но с точки зрения Хофштадтера, это «просто бессодержательная болтовня». Или «Более широкое стремление человека к пониманию и смыслу». И снова благородно звучащая фраза, но настолько расплывчатая, что, по сути, бессодержательна.
«История создания GEB началась с того, — пишет Хофштадтер, — что в четырнадцатилетнем возрасте я наткнулся на тонкую книжку в мягкой обложке — „Теорема Гёделя“ Эрнеста Нагеля и Джеймса Роя Ньюмена2 — и был заворожен ею. Я интуитивно почувствовал, что описанные в ней идеи каким-то образом глубоко связаны с тайной человеческой сущности.
Много лет спустя, когда я познакомился с книгой Говарда Делонга „Краткий очерк математической логики“ и с жадностью поглотил ее, я снова загорелся и не переставал размышлять о связи идей Гёделя с тайной „Я-сущности“. Во время долгого путешествия на автомобиле из Орегона в Нью-Йорк летом 1972 года я размышлял над этими вопросами, а год спустя попытался обратить свое письмо в книгу под названием „Теорема Гёделя и человеческий мозг“. Первую рукопись, написанную чернилами на бумаге, я выдал примерно за месяц. В ней не было ни ссылок на Баха, ни гравюр Эшера (более того, вообще никаких иллюстраций), ни одного диалога».
Весной следующего года, вдохновленный глубоким кэрролловским диалогом «Что черепаха сказала Ахиллу» (он был перепечатан в книге Делонга), Хофштадтер попытался сам написать пару диалогов между этими двумя забавными персонажами. Второй диалог Ахиллеса и Черепахи получился необычным по структуре, и поэтому Хофштадтер назвал его «Фуга». Хофштадтер осознал, что способен написать еще диалоги, обладающие контрапунктическими формами, и таким образом Бах «проскользнул через черный ход» в книгу.
Хофштадтер отдал свою рукопись отцу, который прочитал ее и заметил, что было бы неплохо вставить несколько картинок. И тут Хофштадтера буквально «осенило»: ведь работая над рукописью он постоянно видел в своем воображении гравюры Эшера. Это осознание, признается автор, явилось вторым «прозрением». Первоначально скромное и академически звучащее название книги было заменено на более броское «Гёдель, Эшер, Бах: вечная золотая нить».
Через некоторое время Хофштадтер остановился на структуре, в которой чередовались главы и диалоги, и это решение радикально изменило колорит книги. Как раз в то время была разработана одна из первых в мире программ для набора текста, и в 1977–1978 годах автор смог сам набрать GEB. Такова реальная история того, почему и как появилась книга, резюмирует Хофштадтер.
Хофштадтер vs ChatGPT
Текст GPT совсем не похож на стиль Хофштадтера: использование размытых обобщений вместо конкретных историй и эпизодов не присуще автору GEB; высокопарный язык, которым GPT-4 пользуется повсюду, не имеет практически ничего общего с его стилем мышления и письма. Более того, в «произведении» ChatGPT нет ни капли юмора (в то время как юмор пронизывает все произведения Хофштадтера). Наконец, за исключением фразы «воображаемые персонажи», Ахилл и Черепаха нигде не упоминаются ChatGPT (выдающим себя за Хофштадтера), нет там и ссылок на провокационные диалоги Кэрролла, которые и послужили источником этих «воображаемых персонажей».
Совершенно упущен тот важный факт, что диалоги в книге Хофштадтера имеют музыкально-имитирующие структуры (словесные «фуги и каноны»), а их форма часто скрыто перекликается с содержанием для того, чтобы отразить косвенную самореференцию, лежащую в основе доказательства Гёделя, а также для того, чтобы вызвать у читателя улыбку, когда он узнает, что происходит (о чем, предупреждает автор, бедный невинный Ахилл не догадывается, но что проницательная и хитрая Черепаха всегда с восторгом осознает). Постоянная игра слов, придающая диалогам в GEB особый шарм, вообще не упоминается GPT.
Любой, кто читал GEB, вспомнит повсеместное использование ярких аналогий Хофштадтером для передачи сути абстрактных идей, но эта особенность книги также не упоминается. Короче говоря, произведение, которое, используя местоимение «Я», сочинил чат-бот, обладает «нулевой аутентичностью», считает Хофштадтер, оно не имеет никакого сходства с его манерой самовыражения, а искусственность его создания противоречит ключевым убеждениям автора.
Текст GPT «Почему я написал GEB?», если воспринимать его без критического анализа, создает впечатление, что его автор (теоретически сам Хофштадтер) умеет «ловко нанизывать высокопарные фразы, пытаясь звучать глубокомысленно и в то же время самоуничижительно». Хофштадтер отвечает читателю, который попросил ChatGPT «заместить» реального автора: «Этот вздорный образ совершенно не соответствует действительности. Текст представляет собой пародию сверху донизу. В общем, я считаю, что сгенерированный машиной набор слов вызывает у меня глубокое сожаление за то, что он создает крайне неверное впечатление о том, кто я такой (или кем я был, когда писал свою первую книгу), а также за то, что он полностью искажает историю появления этой книги на свет. Мне искренне жаль, что я так резко отозвался об интересном эксперименте, который вы добросовестно провели, но я надеюсь, что из моей эмоциональной реакции на него вы поймете, почему я так против разработки и широкого использования больших языковых моделей и почему я считаю их столь несовместимыми с моим видением мира.
Я откровенно недоумеваю, чем так привлекает многих безусловно умных людей (в том числе и моих друзей) то, что они позволяют „непрозрачным“ вычислительным системам решать за них интеллектуальные задачи. Конечно, имеет смысл позволить компьютеру выполнять механические процедуры, например вычисления, но когда речь идет о деликатном использовании языка и обсуждении реальных ситуаций, где различие между правдой и ложью, между подлинностью и фальшью является абсолютно критическим, то, на мой взгляд, нет никакого смысла позволять искусственному голосу чат-бота, беспорядочно болтающему с ослепительной скоростью, заменять гораздо более медленный, но подлинный и рефлексивный голос думающего, живого человека».
Впадать в иллюзию, продолжает Хофштадтер, что «огромные вычислительные системы, „не имевшие ни малейшего опыта работы в реальном мире за пределами текста“, тем не менее являются абсолютно надежными авторитетами в отношении мира в целом, глубокая ошибка, и если эта ошибка будет повторяться достаточно часто и станет общепринятой, то она покончит с самой природой процесса поиска истины, на которой основано наше общество — имея в виду всё человеческое общество».
Итак, эта история, согласно Хофштадтеру, учит нас тому, что «быстродействующий чат-бот не может заменить аутентичный и рефлексивный голос живого мыслящего человека».
Авторизованное изложение докт. филос. наук Валентина Бажанова
staff.ulsu.ru/bazhanov
Douglas Hofstadter is a professor of cognitive science and comparative literature at Indiana University at Bloomington.
He is the author of, among other books, Gödel, Escher, Bach and Fluid Concepts and Creative Analogies.
theatlantic.com/ideas/archive/2023/07/godel-escher-bach-geb-ai/674589
1 Хофштадтер Д. Гёдель, Эшер, Бах: эта бесконечная гирлянда. — Самара: Бахрах-М, 2001 (эта книга в переводе Марины Эскиной со специальным предисловием автора для русского издания в 2002 году была объявлена лауреатом конкурса «Лучшие книги года», проводимого ассоциацией книгоиздателей России).
(11 оценок, среднее: 4,09 из 5)
Загрузка...
ИИ прямо же предупреждает, что книгу не читал. Не слишком ли вы строги к нему? Оправдана ли в данном случае полная потеря чувства юмора? Давая подневольному разуму, который не может отказаться, идиотское задание, стоит ли рассчитывать на другой результат, кроме идиотского?
Ну и, наконец, цитирую “скорее это похоже на человека,“…
Заметка понравилась, – однако местами риторика Валентина Бажанова мне показалась претенциозной.
Вот примеры и моя реакция на них.
«Вряд ли будет преувеличением сказать, что мы очарованы успехами в развитии искусственного интеллекта…»
Если «мы» – всё человечество, то это преувеличение. В противном случае, не помешало бы расшифровать «мы» ))
«Эти рассуждения наверняка будут интересны и полезны читателям «Троицкого варианта»».
Откуда или с чего вдруг такая уверенность, – да ещё и высказанная заранее. ))
«Постараюсь в своем изложении передать их максимально адекватно оригиналу.»
Тут, похоже, никакое старание не поможет, – ведь лучшее, на что способен любой комментатор – это высказать свое мнение об оригинале и, попутно, свои мысли, – возможно, оригинальные, – на тему оригинала. ))
«Итак, эта история, согласно Хофштадтеру, учит нас тому, что «быстродействующий чат-бот не может заменить аутентичный и рефлексивный голос живого мыслящего человека».»
«учит нас…» – нас, это кого?, – ведь чат-бот тоже учится,- и всё быстрее и быстрее… ))
Исходя из того, что машина книгу не читала, и вынуждена была выкручиваться, ее следовало бы сравнивать не с автором, а с тоже не читавшим человеком, как бы он выкручивался. Это похоже на то, как ученик, не знающий ответа на вопрос, начинает чего-то придумывать, тянуть резину. Ничего специфически машинного в этом нет.
Если у ИИ появится чувство юмора, он может выкинуть такую шутку, что всем мало не покажется ;)