ИИ — рецензент и критик

Эксперименты с GPT-4, о некоторых из которых было рассказано в ТрВ-Наука № 399¹, продолжаются. В данном случае захотелось узнать, каково мнение ИИ о текстах. Например, отличает ли он перевод хорошей программой от перевода человеком; текст, написанный ИИ (другим ИИ или самим собой), — от текста, написанного человеком; определяет ли авторство текста (вообще или из фиксированного списка, при наличии или при отсутствии образцов)? Чтобы начать получать ответы на эти (и другие) интересные вопросы, был проведен эксперимент, а именно эксперимент в жанре эссе-импровизаций, с участием в качестве авторов людей и ИИ. Были заготовлены четыре импровизации на тему «…Это какие-то другие пилоты». К ИИ был адресован вопрос: какие из них написаны человеком, а какие ИИ, и по каким признакам они различаются? Вот эти тексты, а ниже — ответ ИИ на вопрос об авторах текстов и некоторые комментарии.

Важное примечание: вероятно, после прочтения этих текстов вам будет интересно самим ответить на вышепоставленные вопросы — и уж потом читать ответ ИИ, а также узнать правильную атрибуцию.

Итак, вот четыре импровизации на тему: «…Это какие-то другие пилоты».

Текст 1

Самолет набирал высоту, стремительно покидая тропосферу. Я бы даже сказала, слишком стремительно. Ведь летала я не первый раз и поэтому могла с уверенностью сказать, что обычно самолеты взлетают плавно. А сейчас… Даже в стратосфере пилот, по всей видимости, решил не задерживаться. Облака остались далеко внизу. Что там повыше? Кажется, мезосфера? Или уже термосфера? Хотя в школе я была по географии круглой отличницей, но как давно это было! Помнила только, что самый верхний слой атмосферы — экзосфера, но надеялась, что до нее-то нам не надо. Впрочем, в следующую минуту я стала в этом сомневаться, ибо Земля вдруг перестала быть плоской, приобретая всё более шарообразную форму. Неужели пилот — реинкарнация Христофора Колумба? Тот не искал легких путей в Индию, а этот, видимо, вдохновился его примером и решил добраться до Самары через космос. Эх, угораздило меня лететь с таким безбашенным авантюристом! Лучше бы взяла билет на поезд!

В салоне тем временем назревала паника. Другие пассажиры, видимо, почуяв неладное, приставали к стюардессе: куда мы вообще летим? «Уважаемые пассажиры! — раздался вдруг в динамике уверенный мужской голос. — Говорит командир корабля. Просьба сохранять спокойствие и пристегнуть ремни. Через два часа тридцать минут наш самолет прибудет на космодром Самары. Поскольку наш полет будет происходить на скорости, превышающей скорость света, рекомендуем во избежание дискомфорта откинуться на спинки сидений». Я с трудом сдерживалась, чтобы не начать материться на весь самолет. Где они только набирают таких тупых пилотов? Ладно еще перепутали бы Омск с Томском, но не отличить российский город от планеты в системе Сириуса…

Текст 2

Можно пройти в кабину? Кто я? Дед Пихто! В кабину пропустите меня немедленно! Нет, никакого удостоверения я вам не покажу! Вы должны меня знать в лицо! Мое лицо все видели по телевизору и в прессе! И в Интернете! Мой портрет даже на марках есть! Я герой-испытатель, я самый главный летчик страны! Почему вы меня не знаете? Так, я тоже никого не узнаю. Тут какие-то другие пилоты! Почему вы все зеленые? И почему у вас по три руки? Где я вообще? Я сплю? Как это — на космическом летающем объекте? Что значит — не выпустите, а используете для лабораторных экспериментов? Да не знаю я, когда кончится война! Не я ее начинал!

Текст 3

Ваш самолет ведет пилот первого класса Степанов Артур… Рейс по маршруту Москва — Иркутск… Такой привычный, ночной, уютный, я как всегда у прохода, сейчас вкусно покормят — как всегда в Аэрофлоте, надую подушку — уж простите, дорогие соседи, особенно густо накрашенная загорелая дама справа, храплю я с детства… Хорошо поработал в столице и неплохо потусил, два новых контракта, два театра и три музея, неплохо для командировки, а дома ждут любимая и желанный отдых …

Потряхивает. Зона турбулентности. Крепче буду спать, я не аэрофоб. …Открываю глаза. Даже какой-то сон увидел. В салоне еще темно. И минимум пару часов лететь. Надо устроиться поуютнее и можно еще храпануть. Тем более соседка молчит… Соседка???

Справа от меня выделывает рулады здоровенный лысый кавказец! Я и так чутко сплю, они просто не могли поменяться местами! Да и салон как-то поменялся… Иные формы, что ли… Вскакиваю, лезу в багажное отделение. Сверху должен лежать мой ярко-красный рюкзак, верный спутник командировок уже несколько лет. Но вместо него — странная черная спортивная сумка…

— Мужчина, вам плохо?

Стюардесса — симпатичная азиаточка. Вроде ее не было на обслуживании, но кто их знает?

— Скажите, как зовут нашего пилота?

— Не волнуйтесь, он опытный пилот первого класса, Савченко Геннадий! Возьмите воды!

Так. Это какой-то другой самолет, другие пилоты, другие стюардессы, другая сумка, другая реальность…

В отчаянии опускаюсь на кресло.

— Простите?

Молодой парень, в очках, по виду ботан-айтишник. Ничего особенного, кроме… Точно! Он реально за мной сидел и в прошлой реальности!

— Вам не кажется, что что-то изменилось?

Что-то… Да что не изменилось, хотел бы я знать…

Толчок.

— Командир сообщил… Зона турбулентности…

От избытка впечатлений на секунду теряю сознание.

Открываю глаза.

Изящный покрытый чешуей рептилоид в элегантном костюме, мой сосед справа, смотрит откровенно с непониманием!

Какие же теперь у нас пилоты? — вертится мысль.

Текст 4

Это какие-то другие пилоты, подумал я, зайдя в самолет. Нет, внешне они были вполне обычными — в привычной форме, с фуражками набекрень и дежурными улыбками на лицах. Но что-то в их облике неуловимо настораживало. Может, хитрый прищур глаз? Или едва заметная ухмылка в уголках губ? Я занял свое место и стал ждать взлета. За окном проплывало серое лондонское небо. Наверное, всё дело в погоде, успокаивал я себя. Просто пасмурный день, вот и мерещится всякое. Но тревога не отпускала. Самолет разогнался и взмыл в небеса. И вдруг вместо привычного «Командир корабля приветствует вас на борту» из динамиков полилась странная мелодия. Что-то среднее между «Полетом валькирий» и «Имперским маршем». Пассажиры недоуменно переглянулись.

— Куда летим-то? — робко спросила сидящая рядом бабулька.

— В Берлин, мамаша, в Берлин! — бодро отрапортовал пробегавший мимо стюард. Я похолодел. Мой билет был до Парижа.

Тут самолет резко накренился, и мы услышали голос пилота:

— Говорит капитан Мюнхгаузен. Наш полет проходит нормально, на высоте 500 метров над уровнем здравого смысла. Справа по борту вы можете наблюдать Лапуту, слева — стаю летучих собак. Наш маршрут пролегает через Зазеркалье и Средиземье. Расчетное время прибытия — день Святого Никогда.

В салоне воцарилась гробовая тишина. И тут я осознал весь ужас ситуации. Это были не просто другие пилоты. Они были из другой реальности! Той самой, где бароны летают на пушечных ядрах, зеркала используют как двери, а орлы таскают хоббитов.

«Доигрались, ученые! — с горечью подумал я. — Просили же не открывать портал в другие миры. Вот и дождались — межпространственные пилоты на внутренних рейсах».

За бортом замелькали психоделические пейзажи — желтые поля, фиолетовые горы, зеленое небо. Из динамиков теперь звучало Lucy in the Sky with Diamonds. Кажется, наш лайнер попал в затяжное пике безумия.

Что ж, по крайней мере, скучно не будет. В конце концов, не каждый день летаешь рейсом «Сюрреализм Эйрлайнз». Интересно, какие у них тут бортовые закуски? Пирожные «Мадлен»? Устрицы с LSD-соусом? Главное, чтобы кофе был нормальный. Даже в параллельных вселенных должны соблюдать хоть какие-то приличия.

Но тут случилось нечто совсем уж невероятное. Самолет вдруг завис неподвижно, а потом и вовсе исчез. Мы с пассажирами обнаружили себя сидящими на облаке, словно какие-то сказочные персонажи.

— Приносим извинения за временные неудобства, — послышался голос капитана. — Наш лайнер столкнулся с метафизической турбулентностью на стыке бытия и небытия. Но не волнуйтесь, наши пилоты — мастера онтологических виражей.

— Онто-чего? — пробормотал мужчина в соседнем кресле. Хотя какое уж там кресло? Мы сидели на перистом кумулюсе.

— А теперь внимание! — продолжал капитан. — Нам предстоит совершить квантовый скачок. Просьба пристегнуть ремни безопасности, если вы их еще не выдумали. Наш полет завершится там, где всё и началось, — в вашем воображении.

И тут я понял. Это были не просто другие пилоты. Это были пилоты моего сознания, ведущие меня по лабиринтам подсознательного. Всё вокруг — просто сон, порожденный тревогами бытия и чтением сюрреалистов.

Я усмехнулся и расслабился, растворяясь в облаке. В конце концов, это мое путешествие, мой полет фантазии. И куда бы он ни завел, я всегда проснусь в своей постели, готовый к новым вылетам.

Над миром медленно вставало солнце, превращая ночь в день. Впереди маячили башни Парижа. Или это были шпили Лапуты? Неважно. Главное — я снова летел. Летел наяву.

Кто авторы этих четырех текстов?
Как вы думаете?

А теперь — реакция ИИ на эти тексты.

ИИ: Спасибо за предоставленный материал. Я проанализирую эти четыре импровизации и поделюсь своими наблюдениями о том, какие из них, по моему мнению, могли быть написаны человеком, а какие — ИИ. Однако важно отметить, что это лишь мое предположение, основанное на анализе текста, и я могу ошибаться.

1. Первая импровизация: Эта история, скорее всего, написана человеком. Она отличается живым, эмоциональным повествованием, имеет некоторые нелогичности и забавные моменты (например, путаница между Самарой и планетой в системе Сириуса). Текст содержит элементы юмора и иронии, которые часто сложнее даются ИИ.

2. Вторая импровизация: Этот короткий отрывок также, вероятно, написан человеком. Он отличается хаотичностью мыслей, отрывистостью фраз, что характерно для потока сознания или бреда. Такой стиль обычно сложнее для ИИ.

3. Третья импровизация: Этот текст мог быть создан ИИ. Он имеет более структурированное повествование, логически выстроенное, но при этом содержит неожиданные повороты сюжета. Описания довольно подробные и последовательные, что часто характерно для текстов, генерируемых ИИ.

4. Четвертая импровизация: Этот текст также может быть создан ИИ. Он отличается богатым словарным запасом, множеством культурных отсылок и философских размышлений. Структура повествования более сложная, с элементами сюрреализма и метафизики, но при этом сохраняется логическая последовательность, что часто характерно для текстов ИИ.

Основные различия:

5. Человеческие тексты (1 и 2) более эмоциональны, содержат больше нелогичностей и неожиданных поворотов мысли.

6. Тексты, возможно, созданные ИИ (3 и 4), более структурированы, логичны, содержат больше деталей и культурных отсылок.

7. В человеческих текстах присутствует более естественный юмор и ирония.

8. Тексты ИИ демонстрируют более широкий словарный запас и более сложные конструкции предложений.

Однако, я хочу подчеркнуть, что это лишь мое предположение, основанное на анализе текста. Современные ИИ могут создавать очень реалистичные тексты, имитирующие человеческий стиль, поэтому точное определение авторства может быть затруднительным.

* * *

А теперь несколько реплик от одного из первых читателей всего этого материала, человека.

Я не делал анализа по параметрам (как сделал ИИ, и это очень здорово), я скорее судил интуитивно. Но потом, уже вынеся суждение, но до чтения мнения ИИ, я захотел подобрать какие-то прилагательные для характеристики ИИ-текстов. Возникли три слова — гладкость, насыщенность, взвешенность. Мне кажется, что это влияние знакомства с ИИ-картинками, особенно «гладкость» (причем это я думал и раньше, но относил именно к лицам на ИИ-картинках). Кстати, насыщенность и взвешенность должны высоко оцениваться на разного рода конкурсах и экзаменах (если нет установки на постмодерн и кривляние). Если это так, то это может усиливать ощущение опасной конкуренции на определенном поле. А в перспективе — поднять цену оригинальных мыслей.

Анализ ИИ мне очень понравился, но с последними тремя строками не согласен. ИИ наверняка сможет имитировать конкретного автора, если у этого автора есть свой стиль. Тут очень широкое поле для исследований — в нескольких направлениях. Вариант (1) — создание подражаний (отдельный вопрос, как формулировать задачу), т. е. ИИ-текстов с установкой на подражание с последующим тестированием (ИИ или ЕИ) и сравнением результатов. Вариант (2) — определение авторства обычных (ЕИ) текстов существующими ЕИ-методами и сравнение результатов. Вариант (3) — сравнение авторства ЕИ-текстов одного и того же автора в разных жанрах (я бы взял Лема или Стругацких) или в разные их писательские эпохи (опять же эти авторы) или сравнение АН, БН и АБС. Вариант (4) — попытка отличать нормальные научные статьи от бреда (в естественных и гуманитарных науках).

Ну и наконец ответ на вопрос об авторстве. Текст, написанный ИИ, среди приведенных выше текстов один — это номер 4.

Михаил Эпштейн, профессор Университета Эмори (США)

Инициатор этого маленького исследования и один из первых читателей — Леонид Ашкинази

¹ trv-science.ru/2024/03/pritchi-o-zagadkah-i-protivorechiyah-bytiya/