Я думаю, читателям ТрВ-Наука памятна история статьи-мистификации «Корчеватель: Алгоритм типичной унификации точек доступа и избыточности»1. В настоящее время появились достаточно сложные программы, основанные на так называемых больших языковых моделях, которые могли бы быть использованы при написании научных статей2, но сам я не особенно разбирался с этой проблемой, пока случай не привел к необходимости на некоторое время погрузиться в изучение данного вопроса. Мне попалась в руки целая книга о квантовых вычислениях, в создании которой, судя по всему, активное участие принимал искусственный интеллект.
Странная книжка
Недавно реферативный математический журнал zbMATH (Zentralblatt MATH) предложил мне написать обзор одной книги. Вот ее выходные данные: K. S. Kaswan, J. S. Dhatterwal, A. Baliyan, S. Rani. Quantum computing. A new era of computing. Piscataway, NJ: IEEE Press; Hoboken, NJ: John Wiley & Sons, 312 p. (2023).
Тема мне была интересна, и я согласился. Книгу пообещали прислать по почте. Между тем я посмотрел доступные отрывки в Интернете, и у меня возникло впечатление, что в электронной версии произошел серьезный сбой.
Во многих формулах верхние индексы были написаны как обычный текст, одна из картинок перевернута, да и другие иллюстрации не особо соответствовали описанию в тексте книги. Предположение о возможном сбое программного обеспечения для верстки текста вскоре пришлось отбросить, так как этим было бы сложно объяснить некоторые достаточно странные модификации. Например, в одном из отрывков на стр. 77 размерность векторного пространства измерялась в морских милях.
На стр. 73 можно было обнаружить забавную фразу о «непитательности» квантовых систем (nonnutritive behavior of quantum systems), что действительно было похоже на опечатку, однако значительную часть текста, включающего эту фразу, удалось обнаружить в Интернете на ресурсе Medium в статье3, посвященной не-интуитивности квантовых систем (non-intuitive behavior of quantum systems).
На стр. 74 в книге присутствовала картинка и искаженная версия формулы из этой же статьи (см. рис. 1). Сравнение текста в книге и на ресурсе Medium показывало достаточно специфические различия, которые сложно объяснить программным сбоем.
После этого я связался с zbMATH и привел несколько примеров, демонстрирующих, что часть книги является результатом работы компьютерной программы, добавив, что я не особо понимаю, как возможно написать обзор подобного материала. Вскоре получил ответ, что в zbMATH всё равно хотели бы получить критический обзор книги, полной «глюков и глупых ошибок». Ожидая прихода книги, я всё еще слабо надеялся, что часть проблем могут присутствовать только в вариантах, найденных в Интернете. Увы, пришедшая бумажная версия ничем не отличалась от электронной.
Вопиющие ошибки
У меня нет достаточного опыта в анализе генерируемых машиной текстов, поэтому в обзоре я постарался по возможности объективно изложить свои впечатления. Например, я обнаружил, что раздел 1.4, посвященный истории квантовых вычислений, представляет собой искаженную версию текста из англоязычной «Википедии»4. При этом около трехсот ссылок, имеющихся на соответствующей странице «Википедии», пропали, а вместо них были вставлены четыре ссылки на публикации, не особо согласующиеся с текстом.
Сравнивая текст из хронологии в «Википедии» и соответствующий раздел книги, можно было увидеть достаточно необычные модификации. Например, на стр. 14 среди достижений 2014 года без каких-либо ссылок на источники информации было упомянуто, что неким ученым удалось переслать данные на расстояние десяти футов, используя осцилляцию нейтрино. После сравнения с «Википедией» оказалось, что это предложение было немного перефразированной версией описания эксперимента по квантовой телепортации, в которой quantum teleportation было почему-то заменено на neutrino oscillation. Посмотрев статью, указанную по ссылке, можно было обнаружить, что нейтрино там даже не упоминались. Эксперимент был проведен с использованием лазеров. На той же странице книги среди достижений 2016 года в описании эксперимента по разложению числа на множители с помощью алгоритма Шора Исаак Чанг был заменен на Айзека Азимова.
Можно приводить и другие необычные примеры, но, наверное, этих двух уже достаточно. Помимо всего прочего, некоторые блоки исторических новостей еще и были повторены в книге дважды с небольшими вариациями.
В случае с историей квантовых вычислений по крайней мере была возможность свериться с источником информации и примерно понять, какие метаморфозы происходили с текстом. В других случаях об этом можно только догадываться. Скажем, в уже упомянутом конфузе с морскими милями можно было обнаружить некое искаженное описание формулы, в которой размерность векторного пространства выражалась через произведение двух чисел, n и m. В одной части предложения это произведение nm сохранилось, а в другой почему-то было интерпретировано как сокращение и преобразовано в nautical miles.
Я уже упомянул о проблеме с корректностью ссылок. Например, во второй главе на стр. 35 обнаружилось достаточно провокационное утверждение, перевод которого звучит примерно так: «Как ни странно, в первые годы квантовой запутанности [11] предполагалось, что NP является частью BQP».
Квантовая запутанность — свойство физических систем, так что если попытаться интерпретировать всё это серьезно, то «первые годы» тут просто не к месту. В качестве не особо приемлемого сарказма это еще могло иметь некий смысл, так как какая-то путаница с классами сложности квантовых алгоритмов, возможно, на первых порах и была. Так что посмотреть указанную ссылку было вполне естественно.
Однако, заглянув в ссылку 11 к соответствующей главе, я обнаружил публикацию5, которая описывала методы контроля квантовых систем, но при этом явно не относилась к «первым годам квантовой запутанности» и не обсуждала вопросы соотношения классов сложности NP и BQP.
Ссылка на черную дыру и другие сбои
Заметив множество несоответствий и в других ссылках, я даже предположил вначале, что это может происходить из-за какого-то сбоя нумерации. Однако после безуспешных попыток найти правильные ссылки стало понятно, что проблема гораздо глубже, так как некоторые ссылки абсолютно не соответствовали тематике книги.
Например, в самом начале третьей главы в качестве ссылки на принципы математических операций, на которых построены современные компьютеры, была использована статья, посвященная износу быстро вращающихся колес и других механических деталей. Чуть далее для нахождения количества битов, необходимых для записи чисел в двоичной системе счисления, почему-то потребовалось сослаться на статью, описывающую излучение, исходящее от аккреционных дисков черной дыры.
Просмотрев все 12 глав книги, я обнаружил некоторое количество согласованных ссылок только в шестой главе. Однако эта глава была посвящена достаточно дискуссионной теме «квантового познания», так что вопросов она вызывала ничуть не меньше любой другой. Судя по обилию искаженных формул, она тоже либо прошла какой-то набор непонятных модификаций, либо была создана компьютерной программой.
Проблемы с формулами присутствуют и в других книгах, однако тут поражало их количество. Среди формул внутри текста даже было трудно найти корректные примеры. И хотя среди формул, вынесенных в отдельную строку, ошибок было меньше, однако пример формулы из отрывка про «непитательные квантовые системы», уже приведенной выше, показывает, что и они могли быть изменены настолько, что оригинал уже было практически невозможно установить.
Да и проблема с верхними индексами, написанными обычным текстом, тоже доставляет определенные неудобства. Например, прочитав на стр. 46 (после ссылки на «черную дыру»), что 22 компоненты — это просто 4, еще можно как-то догадаться, что 22 — это два в квадрате, а обнаружив на стр. 36 «планковский масштаб», равный 1,61035 метрам, сообразить, что 1,61035 — это на самом деле 1,6, умноженное на 10 в минус 35 степени.
Однако всё уже не так понятно, когда в процессе объяснений, приводимых на стр. 76–77, описываются принципы образования составных систем в классическом и квантовом случае и сказано, что в классике будет получено векторное пространство с размерностью 2n, а у квантовой системы эта размерность будет… тоже 2n, так как два в степени n опять не смогло отобразиться подобающим образом.
Хотя после появления на стр. 77 морских миль такие мелочи, наверное, уже не должны никого особо интересовать. Я привел в том обзоре еще несколько примеров, однако не хочется и далее утомлять читателей подобным абсурдом. Тем более, что провисев на сайте zbMATH пару дней, обзор куда-то исчез, будучи заменен на обзор, предоставленный издательством, на тему, какая это замечательная книга и как она будет полезна студентам различных специальностей, а также исследователям и другим представителям научного сообщества.
Александр Власов, науч. сотр. ФБУН НИИРГ им. П.В. Рамзаева
1 trv-science.ru/tag/korchevatel
2 Fecher B., Hebing M., Laufer M. et al. Friend or foe? Exploring the implications of large language models on the science system. AI & Soc (2023). doi.org/10.1007/s00146-023-01791-1
3 medium.com/@vohramurtaza1999/quantum-computing-part2-analysis-of-quantum-systems-d3e06478fa69
4 en.wikipedia.org/wiki/Timeline_of_quantum_computing_and_communication
5 Niu M.Y., Boixo S., Smelyanskiy V.N. et al. Universal quantum control through deep reinforcement learning. npj Quantum Inf 5, 33 (2019). doi.org/10.1038/s41534-019-0141-3
(9 оценок, среднее: 4,89 из 5)
Загрузка...
Весьма актуальная и замечательно написанная, имхо, статья. По части так называемых “квантовых вычислений” и не только и не столько по этой самой части.
Л.К.
Да, занятно. Учитывая, что профессор K. S. Kaswan с соавторами опубликовал в прошлом году еще три подобных книги и более сорока статей, логично предположить, что роль искусственного интеллекта в этих исследованиях была велика.
Пока писал обзор, поискал по разным местам. Помимо этой, он входит в авторский коллектив у ещё четырёх за 2023
CYBORG: Human and Machine Communication Paradigm
Python for Beginners
Swarm Intelligence: An Approach from Natural to Artificial
Cyber Physical Systems: Concepts and Applications
и две даже записаны на 2024
Enabling Technologies for Smart Fog Computing (Computing and Networks)
DSS for blockchain technology using explainable multiagent system
Из того, что в следующем комментарии пишут, получается ещё и по Rani надо было поискать.
Печально это. От IEEE Press я такого не ожидал. Посмотрел наукометрию старшего из авторов книги S.Rani https://www.scopus.com/authid/detail.uri?authorId=56024601000
По наукометрическим показателям эта девушка является совершенно выдающимся индийским молодым учёным (первая статья 2014 года). По 50 статей и по 500 ссылок в год, половина статей в журналах Q1, самоссылок относительно немного, хирш 25, все дополнительные показатели, которые показывает Скопус на отличном уровне.
https://scholar.google.co.in/citations?view_op=view_citation&hl=en&user=VYL-JdMAAAAJ&citation_for_view=VYL-JdMAAAAJ:2osOgNQ5qMEC
У меня есть такая сциентифик гесс – если посмотреть на наиболее цитируемую ее работу, то, за исключением буквально каких-то единичных ссылок, там нет европейских имен. Разумеется, я никоим образом не хочу сказать, что наши коллеги
из Азии чем-то лучше или хуже, чем откуда-нибудь еще. Я хочу сказать кое-что другое, а именно, это ее соавторы, или, быть может, соавторы соавторов. К сожалению, гугл сколар не дают возможности это проследить. Вполне возможно, что
они и рецензируют какую-то часть этих статей, при их совместной плодовитости этого вполне достаточно, чтобы заспамить все квартили. Было бы неплохо, если бы кто более сведующий в сих науках ткнул туда на тему, есть ли в этих статях хоть какой-то смысл.
В любом случае, представляется весьма вероятным, что человек, не состоящий в большой коллаборации или не являющийся большим боссом и публикующий по 50 статей в год – очевидный жулик или фрик. Будучи существом немного злопамятным, хочу вспомнить, как на страницах журнала scientific.ru весьма активная компания прогрессоров (Штерн, Гельфанд, Сережа Попов, некто Северинов, наверное, кто-то еще) лет двадцать тому назад достаточно активно проталкивала наукометрические показатели везде, от агрономии до алгебраической геометрии, типа надо ориентироваться в основном на них, а рынок все отрегулирует. Ну, вот он и отрегулировал, таким вот макаром. Интересно, что в общем-то, тогда им много говорили, к чему это приведет, и, наколько я помню, прогнозы не далеко от реальности отошли. К сожалению, в точности вспомнить все это невозможно,так как Борис все никак не соберется выложить архивы scientific.ru в свободный доступ.
Посмотрел ещё раз показатели Shalli Rani в Скопусе.Монографий четыре и 12 глав в коллективных изданиях. Цитирующих публикаций 1791 и почти все за три последних года. На накрутку цитирования непохоже, поскольку в 1 цитирующей статье как правило цитируется только одна статья Rani. Половина цитирующих статей имеют индийскую аффиляцию, 1/5 китайскую. Есть 128 цитирований с американской и 61 с английской аффиляцией. Но и среди авторов этих статей европейские фамилии почти не встречаются, в основном это индусы, работающие в Европе и Америке. Среди сотни соавторов европейских фамилий тоже не видно.
А Вы, или какой-нибудь другой коллега, можете хотя бы одну ее статью, и любую цитирующую посмотреть, на тему, какой в них смысл?
Google предоставил мне возможность прочитать раздел 3.9 Information Content and Entropy этого опуса. “Content” весьма странный. В целом действительно про энтропию Шеннона и фон Неймана. Большинство предложений правильные и осмысленные, но встречаются и грамматическии правильные, но бессмысленные в данном контексте. Большинство формул правильные, несколько неправильных, но просто с очевидными опечатками. И есть пара формул вообще непонятно что означающих. Больших кусков размером хотя бы в полстраницы хорошего логически связного изложения в этом разделе не обнаруживается.
На всякий случай поясняю, что это не из статьи Рани, а из обсуждаемой книги. Кстати, с некоторой поддержкой Google можно найти, откуда это взято. Это испорченная версия текста из книги Quantum computing explained / David McMahon (2008) начиная со стр 296.
Там, оказывается, в третьей главе есть ссылка на эту книгу McMahon, правда она вставляется не всегда правильно и вперемешку со ссылкой на книгу Дао физики (Ф. Капра) и статью про теорию эволюционных игр. Главное, я наконец понял откуда взялся таинственный раздел Measuring distance. Оказывается, у McMahon это Trace distance. Догадаться было очень сложно, так ещё и в формуле этого раздела Tr было заменено на T с индексом gamma и некоторые другие изменения сделаны.
Таким образом, текст представляет собой компиляцию чужих работ, испорченную какой-то некачественной БЯМ. Вероятно, чтобы в плагиате не обвинили.
По моему дилетантскому мнению, вся тематика AI состоит из матстатистики, оптимизации, известных эвристик, огромных баз данных, чуть-чуть квантовой механики (ибо квантовые вычисления это модно) и безудержной саморекламы. В общем, полагаю, что у меня недостаточно квалификации, чтобы отличить “хорошую” статью по этой тематике от бессмысленной. Другое дело учебный текст про энтропию. В этом случае я точно знаю, что он должен содержать.
https://t.me/yferf/120
Л.К.
“Замыкая круг,…”
К.
Ну, я согласен с выдвинутыми тезисами.. Но, в одном можно и с хиршеманами, пожалуй, согласиться – другие используемые методы оценки приблизительно так же, имхо, вредят делу..
Проблема хирша в том, что его нельзя отменить. У всех известных учёных он неизбежно большой. Поэтому неистребимо желание всеми правдами и неправдами сделать себе хирш побольше.
Избежно :) Я знаю контрпримеры.. Из тех, которые на слуху у общей публики , среди физиков – Питер Хиггс, среди математиков –
Перельман..Ну а желание такое, в идеале,
должно имхо строго караться.
Карать за желание это прогрессивно (в духе современной культуры отмены). А как же ”Желаю славы я, чтоб именем моим…”?
Жирный шрифт это оно и есть – материализованное желание выделиться, так что не надо тут: ”Это не я, я не хотел”. ;)
ну ладно, черт с ним, будем считать,что развиртуализововалось мое бессознательное я :)
Посмотрел в наиболие авторитетной математической базе данных MathRev показатели Перельмана. Препринты в этой базе данных не реферируют, поэтому ни самих знаменитых препринтов Перельмана с доказательством гиптезы Пуанкаре, ни ссылок на них в ней нет. Есть только 16 предшествуюших им статей Перельмана. В этой базе данных у Перельмана h=10 и суммарное число ссылок 769. Для сравнения у любого из пяти кандидатов в директора Института математики СОРАН (министр ещё не согласовал кандидатуры, возможно останутся не все пять) ссылок меньше, а хирши 14, 11, 7, 7 и 5.
Перельман конечно всё сделал чтобы избежать и у него даже получилось, но это смотря с кем сравнивать.
PS Прошу не считать написанное выше текстом в поддержку важности хирша для оценки научной деятельности :)
ну вот, а у меня хирш сильно больше, чем у самого охиршованного из Ваших кандидатов.. Хочу директорскую зарплату и пофигу, что я ни в зуб ногой в ваших тематиках :)
А вот “поднятая за шкирку” тем же телеграмканалом (случайно? предвыборно? не могу знать! – Л.К.) статья некоего “культурника” господина Ипполитова, точнее его интервью, данное корреспонденту “Независимой Газеты” Дмитрию Писареву аж в конце давно минувшего 2019 года:
https://t.me/yferf/150
Случайность? Недогляд модераторов и админов канала?
“Не верю!” (К.С. Станиславский – Алексеев).
Л.К.
На наезд похоже, культурника Ипполитова. Смотрим на Ростовцева
https://ru.wikipedia.org/wiki/Ростовцев,_Андрей_Африканович
Пардон, он в экспериментальной физике частиц подвизается, там
все исследовательские статьи имеют сотни, а то и тысячи авторов..
Указывать их всех, скажем, в диссере довольно глупо, у этих ребят
какие-то свои правила игры, кто что сделал.. Но есть и другая сторона медали, там постдок может хирш сто иметь, Перельман, скажем, по сравнению с ними со всеми пренебрежимо мал по наукометрическим показателям. Поэтому, когда пишут “наиболее цитируемый автор” итд, неплохо бы хоть цитируемость на количество авторов поделить.
В ФВЭ и ФЭЧ далеко не все работы являются “братскими могилами”. Если соискатель не показал индивидуального мастерства (а на уровне докторской это могут быть хотя бы обзоры или оригинальные предложения), то это его никак не красит. Увы ((
Да, конечно, я просто совсем мало понимаю, как там экспериментальная жизнь устроена..
Она везде устроена примерно одинаково. Наука ревнива, что в эксперименте, что в теории. Если исследователь разрабатывает анти плагиаторский софт или увлекся классификацией вин, то для ФВЭ и ФЭЧ он потерян ;)
Предлагаю формулировку обвинительного заключения: “Виновен в классификации вин плагиаторов”
А он не виноват. Может наука выиграла от его перехода к другой деятельности? ;)
“А так же других алкогольных напитков…”.
Л.К.
Модератору – гражданин начальник, а почему я в спам попал?
Только что посмотрел одну из статей Rani, упомянутых в Scopus (https://doi.org/10.1016/j.infsof.2023.107349) — возникло ещё больше вопросов. Там она без трёх других соавторов книги (с какими-то другими исследователями). При этом, если посмотреть формулы 2 и 5, то опять «не переварены» обозначения из квантовой теории информации. Похоже, аналогичный софт используется с её участием. Предположим, опять использовали ИИ и никто не заметил, так как в обозначениях Дирака не разбираются. Но вот сразу после формулы 5 в пункте 3.4 пишут: Jane will send single photons to AMY. Тут же возникает подозрение, что AMY это не аббревиатура, а имя. Переворачиваем страницу, ну да, так и есть. Вот такие ошибки пропускать человек вообще может? Эту статью хоть один человек хотя бы проверял, если там ИИ использован?
Ошибки в формулах – типичный эффект распознавания текста. Формулы, вынесенные отдельно, опознаются в качестве именно формул, поэтому в них ошибок меньше. Морские мили – это интерпретация, но она применялась программами распознавания и до нейросетей. И вот вопрос – разве нейросеть стала бы таскать большие куски из Википедии или откуда-то ещё? В общем, кажется возможным, что текст был грубо сляпан человеком в некоей физической форме, и затем распознан программой с ИИ, а не написан полностью ИИ. Во втором случае бессмыслица должна встречаться на всех уровнях, т.е. текст должен оставаться бессмысленным и после исправления явных ошибок. Если этого нет, то, наверное, часть работы была поручена безответственным людям.
Безоглядное доверие к работе программы, хоть и доведено тут до абсурда, но вообще-то обычное явление.
Сам тоже проходил постепенно от примерно таких же рассуждений до желания разобраться, как же примерно устроены большие языковые модели (БЯМ). Текст Википедии, видимо, входил в набор текстов для обучения БЯМ. Книжка интересна, как некий наглядный пример генерации текста. Так как хронология Википедии очень часто меняется, то лучше было попытаться найти ту версию, которую загрузили в машину. Наиболее хорошо подходил вариант хронологии от 14 сентября 2020 (в книге хронология заканчивается августом 2020). Сейчас Willey выложило в открытый доступ всю вводную главу (https://media.wiley.com/product_data/excerpt/19/13941578/1394157819-4.pdf) и можно просто сравнивать и удивляться. А бессмыслица и некая чужеродность там на всех уровнях и встречается, но чтобы разобрать книжку в 300 страниц надо писать обзор в несколько сот страниц.
Я не специалист… но всё-таки, по моим представлениям, “настоящие” БЯМи, созданные крупными корпорациями, сами сочиняют текст, а не используют готовые куски – да и кто бы им разрешил. С другой стороны, отчего бы не зародиться где-нибудь в тёмных сырых подвалах программам, которые занимаются компиляцией? Надо у Denny спросить. Возможно, вышеназванные сотоварищи используют какие-то такие программы местного кустарного производства, как-то комбинируя их с плохо обученными нейросетями… в общем, не знаю:)
Кстати, проверил: формулы из Википедии не переносятся через клипбоард (по крайней мере, у меня:), т.е. расшифровать их как именно формулы непосредственно из сети в текстовый редактор или программу вёрстки – видимо, задача нетривиальная. Значит, распознавание приходится задействовать и для чтения из сети. Отсюда интересно, знают ли какие-нибудь формулы общедоступные БЯМи; хорошо бы кто-то, кто ими пользуется, это проверил.
Насколько я могу представить (не будучи специалистом) все определяется соотношением между размерами базы и запроса. Здесь программа работает почти как человек при написании … обзора. Если у человека в голове по теме пара сотен источников, то их компиляция будет выглядеть более-менее оригинальной чисто в силу комбинаторики. А если человек ничего по теме обзора не знает кроме википедии, то ничего кроме википедии написать и не может.
В пределе дробления мы все так делаем. В том смысле, что используем слова, обороты и предложения, которые использованы другими и есть у нас в голове. Мы комбинирует известные нам слова, чтобы составить свой осмысленный ответ на заданный вопрос.
Не совсем понимаю, что именно Вы хотели сказать. По Вашему мнению
А) Работала программа-компилятор[щик].
Б) Работала нейросеть с ограниченными базовыми знаниями.
В) Работала БЯМь, а причина явления – в специфичности запроса, именно по которому в сети мало материала.
Обсуждение данного вопроса “не специалистами” – занятие философское и умозрительное, но, может быть, Вы имели в виду собственный опыт решения аналогичных задач?
Мой весьма небольшой опыт работы с нейросетями предполагает третий вариант. Хотя ручаться, разумеется, не могу.
А вообще – все нейросети (в том числе у человека) работают как компиляторщики с ограниченными знаниями. И в случае малого материала по конкретному запросу все они производят такой тип реакции.
Разница в том, что у человека есть есть иной уровень (интеллект), который позволяет придавать ответу цельный смысл.
Интересно. А нельзя ли конкретный пример, раз опыт есть, хоть и небольшой? То есть Вы задали нейросети написать обзор по какому-то специфичному предмету, и нейросеть (БЯМь) выдала текст, в котором можно было опознать целые куски, заимствованные из конкретных источников? Это было бы, повторюсь, весьма любопытно.
Я никогда не просил сеть написать обзор. Давал небольшие вопросы, чтобы сгенерились куски текста как исходный материал. Просто чтобы не набивать все вручную.
Заметил закономерность. При более общих вопросах текст нейросети более-менее соответствовал теме.
А при более специфическом запросе текст часто теме не очень соответствовал, хотя и был связным. Создалось впечатление, что просто взят цельный кусок другого текста, опознанный нейросетью по ключевым словам. То есть произвести компиляцию под заданный вопрос нейросети просто не удалось. Видимо, по причине отсутствия материала.
Впечатление к делу не подошьёшь, но спасибо за ответ.
Может быть я не совсем понял суть вопроса — если вопрос о том, действительно ли в той книге был использован большой кусок из Википедии — да, без сомнений. Специально смотрел, у каждого пункта в книге есть прообраз в википедии (но не наоборот, кое-что пропущено). При этом даже есть некоторые огрехи википедии, которые позже были исправлены или удалены, а в книге остались. Именно поэтому я указал в предыдущем комментарии дату. При этом текст как-то нетривиально изменен (поисковиком его вряд ли можно было найти, я просто знал эту статью википедии, увидел нечто похожее в книге и стал проверять). Изменения были и не такие простые, как замена на осцилляции нейтрино или Айзека Азимова. Например, как раз перед нейтрино в достижение по поводу 7 ионов в ловушке было добавлено, что каждый ион ещё и паролем защищён.
И кстати, по поводу морских миль, тут тоже не всё так просто — почему вообще nm не был заменён на нанометры — это же более естественно и для человека и для какой-то простой программы. Первая гипотеза — если посмотреть определение морских миль в той же википедии, то видно, что они определяются через угол между векторами. А в книге речь шла о векторном пространстве, вот программа по ключевому слову и подставила. А это уже что-то похожее на работу какого-то непростого ИИ. Ну это конечно просто одна из возможностей. Например, есть и другая гипотеза — перефразировка иногда упоминается как метод, затрудняющий автоматическую проверку текста на использование БЯМ (одни нейросети другие ловят :). Поэтому там просто могли перебираться разные подстановки, с какой-то вероятностью нанометры, с какой-то морские мили.
Я имел в виду, что книга не была написана нейросетью полностью с нуля, а была изначально скомпонована человеком, который включил в неё некоторые уже существовавшие тексты, например, статью из Википедии (думаю, что человек её и сократил). Поскольку разные главы тем самым имели разные источники, среди них, помимо ворованных, могут быть и написанные нейросетью, а могут быть и написанные людьми специально для этой книги (например, та глава, в которой правильные ссылки). Затем, как следует из Вашего комментария, текст был обработан с целью скрыть плагиат, что предполагает, действительно, не безответственность, а злой умысел.
Сам обдумывал такую возможность примерно по тем же соображениям о слишком большом куске, но если сравнивать обе хронологии, то некоторые замены для человека кажутся слишком абсурдными. Да есть и другие намеки. Например, Исаак Чанг встречался в хронологии несколько раз, но на Азимова его заменили только один. Для ИИ со слишком коротким контекстным окном это нормально, но человек бы не забыл то что он делал на предыдущей странице.
Замены, конечно, произвела программа, которая обрабатывала исходные тексты. Очевидно, эта программа использовала ИИ, он и должен работать непредсказуемо.
Если человек запустил программу на куске текста, то почему он потом не убрал явный абсурд. Там ведь проблема не только в том, что сложно найти кусок с гарантией написанный человеком, но сложно даже найти кусок, с гарантией прочитанный и проверенный человеком. То есть возникает впечатление, что там только ИИ и творил.
А, понятно. Но тут можно придумать массу причин, почему так могло получиться. Составить рыбу, запустить программу, проверить результат – это разные действия, вообще говоря, не обязательно связанные. У книги указано четыре автора, о их внутренней кухне нам ничего не известно
Да, можно придумать массу причин, но в той же википедии пишут, например, что BERT тренировали на двух с половиной миллиардов слов из википедии и 800 миллионов слов из другого источника, так что если похожий софт применяли в книге, то появление большого куска из википедии не так и маловероятно.
Вот, я понял, что это такое – это карго-культ.
Александр, а Вы не думали направить свой обзор непосредственно в издательство? Вроде бы IEEE и Wiley довольно солидные ребята, и должны дорожить своей репутацией.
Думал, но я полагал, что им эта ситуация и так должна уже быть известна. Тем более, что Wiley выложило вводную главу на всеобщее обозрение.
За такую БЯМ-халтуру авторов надо лишать гонорара, а редактора – зарплаты.
Вспомнилось (с заменой единственной срединной гласной):
http://sovmusic.ru/text.php?fname=bam
Л.К.
В смысле “Встретим долгую пургу”?
Боюсь, действительно долгую – книга уже оказалась включена в некий список Bookauthority 8 лучших книг по “квантовым алгоритмам” рекомендованных к чтению в 2024. Кстати, книга Митио Каку “Квантовое Превосходство” 2023 туда не вошла. Её действительно критиковали, то есть этот список не совсем “с потолка”.
Простите, уважаемый А.В.!
А вот “деятельность” отечественного не “импортного” человека, к примеру вот этой персоны:
https://old.mipt.ru/education/chairs/fpfkt/supervisors/lesovik-gordey-borisovich/
подобная деятельность не представляется Вам как эксперту мало состоятельной / подозрительной с чисто научной точки зрения?
Очень хотелось бы знать (Ваше компетентное мнение).
Заранее спасибо за пару (и более) строк.
Л.К.
Вроде видел какие-то его работы, но к деятельности особо не присматривался, так что судить не берусь. В случае книги меня больше заинтересовала возможность её написания ИИ. Потом ещё посмотрел, её авторы писали о применении ИИ в медицинской диагностике, а это уже всех может коснуться.
Озабоченность общая и не только и не столько по сокращению реальных рабочих мест, но и в чисто научном плане, не медицински прикладном, если так можно выразиться.
Вот, например, прошу посмотреть хотя бы “по диагонали” следующий пост биолога проф. Барановой Анны Вячеславовны, бывшей выпускницы МГУ, ранее других почувствовавшей опасность:
https://t.me/anchabaranova/2835
Л.К.
Там хоть достаточно оперативно откликнулись – Elisabeth Bik из Нидерландов написала об этом в своём Science Integrity Digest уже через пару дней после публикации, то есть даже немного раньше, чем в ссылке, которую Вы приводите. Правда там ещё кое какие интересные мысли появились по поводу LLM.
А с книгой вообще не видно никакой реакции, кроме инициативы zbMATH послать её … на обзор.
Хорошо, что Вы держите “руку на пульсе”, это уже немало.
Имхо.
Л.К.
> …возможность её написания ИИ…
Тут, судя по всему, разоблачения пошли, что называется, “косяком” (в смысле количества):
https://t.me/ostorozhno_novosti/23717
Л.К.
Может быть именно поэтому zbMATH и перепроверял всё почти три недели. Но в любом случае продолжать продавать такую книжку как-то странно. А вдруг это какой-нибудь крупномасштабный социологический эксперимент?
Да, несомненно, и вот, например, один из отчётов об этом (далее как в речи пресловутого персонажа – недавно по “Культуре” – “батьки Ангела” из “Адъютанта его превосходительства”):
https://t.me/ostorozhno_novosti/23717
Л.К.
Ссылка уже давалась выше, но не грех такое и продублировать. Имхо.
К.
Про “инновационные эксперименты” с написанием книг ИИ пишут в пресс-релизе Springer Nature, так что такую терминологию даже не я придумал.
zbMATH вернул обзор на место.
Отлично. Вероятно отправляли обзор кому-то на рецензию и рецензент подтвердил правильность Ваших комментариев.
Как раз вчера они мне написали, что отправили даже двум редакторам. Но они ещё в декабре до отправки книги со мной общались, посмотрели на морские мили и прекрасно поняли, что это за книга. После того, как я отправил первый вариант он уже через пару дней появился 17 января и небольшая коррекция показывала, что они его хотя бы читали. Уже 19 января он пропал. Сегодня утром убрали обзор издателя. К вечеру появилась моя версия, где исправлено ещё несколько мелочей типа лишних артиклей и т.д.
ОК!
Л.К.
Партия сказала “нада!”, ну и комсомол как всегда ответил…:
https://m.mathnet.ru/php/conference.phtml?confid=2402&option_lang=
Л.К.
ИИ вроде уже год как эпатирует публику по всему миру, пора же как то отреагировать.
Реакция на уровне Правительственного Интеллекта:
“Мышление искусственного интеллекта (ИИ) зависит от обучающего набора данных и отражает специфику страны происхождения, заявил премьер-министр России Михаил Мишустин на форуме “Digital Almaty 2024: Industry X”. В “мозгах” российского GigaChat и западного ChatGPT разные картины мира, разное понимание, что такое “хорошо”, а что такое “плохо”, заметил он. И при допуске ИИ в критически значимые отрасли важно использовать модели, отвечающие общечеловеческим ценностям и собственным национальным интересам.”
Вот, кстати, что пишут в газете:
“В декабре газета New York Times дала первый залп, подав иск против OpenAI и Microsoft за нарушение авторских прав, начиная с использования ее документов при обучении LLM [БЯМ – Аlex].
Вполне вероятно, что первый раунд выиграют IT-компании. ИИ-продукты преобразуют текст в геометрические соотношения, которые принципиально отличаются от новостных сюжетов, откуда были взяты, и заменить оригинал этим математическим “векторам” не под силу. Иными словами, LLM, похоже, проходят проверку на добросовестное использование.
Только внедрив модель в потребительский продукт наподобие чат-бота или поисковой системы, можно увидеть потенциальное нарушение авторских прав. В конце концов, LLM может создавать вариации любого текста. Но даже несмотря на их очевидную способность заменять оригиналы, на которых обучалась модель, они все же представляют собой лишь вариации — сродни рерайтингу, к которому часто прибегают разного рода издания (обратите внимание: Times в своем иске представляет доказательства того, что ChatGPT абзацами цитировал ее контент — явное нарушение авторских прав, — но это можно легко исправить, как и рерайтеров можно научить не переписывать материалы из других источников дословно).”
https://inosmi.ru/20240208/ii-267765803.html
Я ничего не понял. Почему именно внедрение в потребительский продукт позволяет ИИ цитировать абзацами чужие тексты?
Насколько я понимаю, принципиальная возможность цитировать сплошные куски возникает когда вектор, соответствующий слову, включает и его позицию в используемом для обучения тексте. Но даже наличие такой возможности не подразумевает, что её надо использовать в потребительском продукте или где-то ещё.
Эта история с иском NYT развивается – как раз к вопросу о цитировании больших кусков текста. Кстати, помимо Википедии, обнаружились три книжки, из которых взяты достаточно большие куски. Есть ещё более мелкие заимствования и остались места, оригиналы которых найти не удалось.
Одна из книг уже упоминалась в комментариях (Quantum computing explained / David McMahon, 2008). Другая – Quantum computing : a gentle introduction / Eleanor Rieffel and Wolfgang Polak (2011) – оттуда был, например, взят кусок с морскими милями – там действительно вместо них стоит произведение nm, но текст и формулы настолько странно изменены, что трудно предположить, что такое мог сделать человек. Забавно, что кусок про “непитательные квантовые системы” на самом деле тоже из неё. То что я нашёл в Medium – это почти точная копия текста их этой книги (страница 9).
Две, имхо, очень важные ссылки. Спасибо!
Л.К.
Интересно! Но суть дела неясна без примеров этих “обманных запросов”. По тому, что написано, впечатление, что, для того, чтобы получить именно цитату, а не просто пересказ “фактов”, надо приложить какие-то специальные усилия.
В ссылках можно найти оригиналы документов с исками NYT и ответным иском OpenAI. Может я что-то там неправильно понял, но меня несколько смутила идея, что для получения дословного цитирования нужно вводить похожую информацию многократно. Мне более понятно рассуждение в одном из комментариев Дениса Борисовича на тему “малого материала по конкретному запросу”. Это же вроде совсем другая ситуация, если не сказать, что вообще противоположная.