«Компьютер изменил задания специально для меня». Иллюзия адаптивности неадаптивного тестирования

problembo.com
problembo.com
Александр Поддьяков
Александр Поддьяков
Эффект Лачинсов

Начну с кажущейся идиотской задачи:

Даны три сосуда объемом 26, 10 и 3 литра. Как с их помощью отмерить ровно 10 л воды?

Сколько-нибудь внимательный читатель тут же заметит, что два сосуда здесь лишние — требуемые 10 литров можно сразу отмерить сосудом в 10 л. Что тут решать? Но при определенных условиях (о них ниже) многие, не видя этого короткого способа, решают задачу намного более длинным:

26–10–3–3 = 10.

Иначе говоря, люди предлагают набрать воду в сосуд 26 л, отчерпнуть из него сосудом 10 л и затем дважды — сосудом в 3 л, тогда останется 10 л. Толково, правда? Что же это за условия, при которых люди используют длинный способ, не видя короткого?

Речь идет о батарее задач немецких психологов-супругов Лачинсов. В эксперименте участнику предлагается последовательность однотипных по условиям задач про наливание воды определенного объема с помощью трех имеющихся ведер заданного объема.

Даны три сосуда: 37 л, 21 л, 3 л. Как с их помощью отмерить ровно 10 л воды?

Первые пять задач были таковы, что их можно решить по одному алгоритму

А — В — С — С,

где А, В, С — количество воды в первом, втором и третьем сосудах соответственно.

Для задачи выше соответствующее решение таково:

37–21–3–3 = 10.

После этих пяти так называемых установочных задач даются две задачи, которые решаются не только таким длинным способом, но и более коротким — просто сложением двух последних чисел. Например:

Даны три сосуда: 74 л, 28 л, 6 л. Как с их помощью отмерить ровно 34 л воды?
(Ответ: 28 + 6; но старый способ тоже возможен:
74–28–6–6 = 34).

И одной из последних дается задача, которую я привел в начале статьи:

Даны три сосуда объемом 26, 10 и 3 литра. Как с их помощью отмерить ровно 10 л воды?

— решаемая двумя способами — стандартным, обнаруженным и заученным в ходе предыдущих проб, и коротким — просто взять сосуд в 10 л.

Как установлено в многочисленных исследованиях, есть участники, у которых в ходе решения первых пяти задач (с одним и тем же способом решения) формируется слишком сильная установка на использование этого ранее обнаруженного способа. Тогда они не видят более короткий способ, когда он возможен. Также они испытывают большие трудности при решении задачи, не поддающейся старому способу, хотя и с более простым решением (типа «19–11»). А некоторые участники не решают ее вообще (!) — настолько они зациклены на старом способе 1.

Задачи Лачинсов являются хорошим примером «антиобучающей последовательности», если использовать термин Л. Ашкинази, или своеобразного «троянского обучения». Как писал Г. А. Нижарадзе, «явления, аналогичные рассмотренному эффекту, нередко встречаются в самых различных сферах повседневной жизни. К примеру, эффект Лачинса может проявляться при изучении школьного курса математики, когда преподаватель демонстрирует определенный способ решения задач, а ученики затем упражняются в их решении» 2. Добавим: также при изучении курса физики, химии и т. д.

Адаптивное тестирование и его ожидание участником

Оставим на время старую задачу Лачинсов, известную с 1940-х годов. Обратимся к современному виду компьютерного тестирования — адаптивному тестированию в психологии, образовании и др. Основная черта адаптивного тестирования состоит в том, что новые предъявляемые испытуемому задания учитывают его ответы на уже выполненные задания и на ходу адаптируются под выявляемый уровень этого участника. Если ответил на задание теста одним образом — получи такое последующее задание, если ответил другим образом — получи другое. О многочисленных преимуществах адаптивного тестирования можно прочитать в «Большой российской энциклопедии» 3. Рост адаптивности — ключевая характеристика современных компьютерных систем проведения тестов.

При этом, зная о самой возможности адаптивного тестирования, тот или иной участник в зависимости от ряда факторов (от своих личностных особенностей и особенностей мышления, опыта прохождения компьютерных тестов, а также и просто в силу случайных привходящих обстоятельств) может строить свою субъективную картину тестирования. Он может ошибочно считать реакции компьютерной системы на свои действия адаптивными, максимально полно учитывающими действия и ответы испытуемого, или же, наоборот, неадаптивными. Возможны также градации, когда участник приписывает системе несколько меньшую или большую адаптивность, чем есть на самом деле.

Я обращусь к варианту адекватной и завышенной оценки адаптивности системы. Завышенная оценка адаптивности может вести к тому, что участник начинает видеть скрытый замысел разработчиков там, где его нет, и считать, что система реагирует и дает обратную связь на те параметры ответов, которые как-то могут свидетельствовать об участнике, на которые она на самом деле не реагирует. Такая, не всегда адекватная рефлексивная работа участника может сказываться на результатах исследования — хотя бы просто потому, что отнимает у человека ресурс и время, не говоря уже о качественных изменениях стратегий ответов.

Интересно, что предъявление теста отпечатанным на бумаге, как это было сто лет назад, такой опасности не содержало. Участнику со здоровой психикой в голову не могло прийти, что в зависимости от того, какие ответы он вписывает в верхних листах теста, тут же меняются вопросы на листах, лежащих в этой же стопке ниже, и так с каждым новым его ответом; такое было технически невозможно. Напротив, сейчас участник с нормальной психикой может вполне обоснованно полагать, что предъявляемый ему по ходу компьютерного тестирования материал как раз зависит от предшествующих действий и ответов этого участника, и что современные технологии предоставляют здесь широкие возможности.

Эксперимент на иллюзию адаптивности тестирования

Для изучения самой возможности того, что участники могут давать завышенные оценки адаптивности компьютеризованной методики, я провел эксперимент с использованием задач по типу батареи Лачинсов.

Участникам сообщалось:

Мы изучаем представления людей о тестировании и математических задачах. вам будут предложены девять арифметических задач. Ваша цель: решить их и затем высказать мнение о том, задачи какого типа (или нескольких типов) вам предъявлялись: «простушки», «ловушки», «неберушки» 4.

Затем испытуемым предлагалась серия задач. Я сделал компьютерную программу, которая генерировала задачи (и установочные, и проверяющие влияние установки) по тому же принципу, который был использован в батарее задач Лачинсов, причем генерировала в неадаптивной последовательности — предъявление участнику последующей задачи не зависело от его ответа на предыдущую. В принципе, это был очень простой генератор задач 5.

После решения всех девяти задач участникам предлагалось заполнить опросник следующего содержания.

1. Выскажите, пожалуйста, ваше мнение о том, какие задачи вам предъявлялись (строгих определений нет, отметьте то, что считаете более подходящим; можно отметить несколько типов, если вы считаете, что их было несколько):

  • «простушки»;
  • «ловушки»;
  • «неберушки»;
  • другое (что именно).

Если возможно, поясните, пожалуйста, почему вы считаете, что вам предъявлялись задачи этих типов…2. Тестирование бывает адаптивным и неадаптивным. При адаптивном тестировании предъявление последующей задачи зависит от того, как участник ответил на предыдущие задачи (новая задача зависит от предыдущих ответов). При неадаптивном тестировании последующая задача не зависит от того, как участник решал предыдущие.Как вы считаете, было ли тестирование в этом эксперименте адаптивным или же неадаптивным? (варианты ответов: «адаптивным», «неадаптивным», «затрудняюсь ответить»).Если возможно, объясните, пожалуйста, почему вы считаете, что это тестирование было адаптивным или же неадаптивным.

Наибольший интерес с точки зрения обсуждаемой темы представляли те участники, которые сочли тестирование адаптивным, т. е. таким, где каждая новая задача, трудность создается в ответ именно на его, испытуемого, ответы (хотя объективно это было не так).

В эксперименте участвовали 33 человека. Выборка не является репрезентативной, но полученные ответы могут дать качественное представление о типах возможных ответов.

Ответили, что тестирование было адаптивным, девять человек (27%). Некоторые варианты их пояснений: «Я склонна считать так, поскольку после того, как я не решила одну из задач, мне были предъявлены задания, сходные по трудности с заданием, предшествовавшим неверному ответу», «В случаях, если человек успешно справлялся с заданием, ему давали более сложную».

Ответили, что тестирование было неадаптивным, 18 человек (55%). Варианты пояснений: «При правильном решении (как я думаю) должна предъявляться более сложная задача, а к последнему заданию они упрощались», «Мне кажется, последующая задача не зависела от предыдущей, так как после сложной могла пойти легкая, хотя я знала, что решила правильно, и наоборот. В моем понимании адаптивные тесты подстраиваются под испытуемого в ходе проведения».

Два человека (6%) пометили обе опции, сочтя, что тестирование было и адаптивным, и неадаптивным (в разных аспектах).

Четыре человека (12%) выбрали опцию «затрудняюсь ответить». Варианты пояснений: «Недостаточно проб, чтобы выявить это», «Я затрудняюсь ответить, потому что сначала мне показалось, что тест неадаптивный, но потом вспомнила, что после того, как я довольно долго думала над определенной задачей, следующие пошли проще».

Итак, в обследованной выборке примерно четверть участников ошибочно сочла тестирование адаптивным, несколько больше половины участников правильно квалифицировали его как неадаптивное. Это соотношение не является репрезентативным, но полученные данные позволяют поставить задачу дальнейшего изучения причин и условий возникновения явления, которое можно назвать «иллюзией адаптивности компьютерного тестирования». Ведь далеко не всякое тестирование является адаптивным, и не всегда к нему стремятся разработчики (причины этого могут быть вполне разумными).

О возможных причинах явления: иллюзия адаптивности компьютерного тестирования, видимо, может порождаться комплексом взаимосвязанных факторов разного уровня и содержания — начиная с общих установок современного человека на «разумность» компьютерных систем и заканчивая теми или иными конкретными когнитивными ошибками, возникающими в процессе тестирования, например, по типу иллюзий причинно-следственной связи («после того, как я довольно долго думала над определенной задачей, следующие пошли проще»), при том, что причинно-следственной связи на самом деле не было.

Перспективы

В дальнейшем представляет интерес изучение следующих вопросов.

1. В каких случаях установка на адаптивность компьютерного тестирования может значимо влиять на его результаты?

2. Каково это влияние: как меняются стратегии участника и появляются ли новые стратегии, например экспериментирования с компьютерной системой, соревнования с ней и т. д.? Каков процесс и результаты деятельности участника при наличии этой иллюзии?

3. Какие личностные и когнитивные факторы (особенности) участника могут усиливать и ослаблять данную иллюзию?

4. Какие факторы «поведения» компьютерной системы могут ее усиливать и ослаблять, менять ее характер?

Представляется особо важным изучить эти вопросы в зависимости от социального контекста: в тех ситуациях экспериментов и тестов, когда трудности, с которыми сталкивается участник, интерпретируются им как дружественные, конструктивные или же, наоборот, как недружественные — например, цель организатора понимается участником как завал и отсев на компьютерном тесте. Тогда подозрительность участника значительно возрастает, он ждет подвохов разного рода (возможно, обоснованно) 6.

И заслуживает изучения противоположная иллюзия — иллюзия неадаптивности компьютерного тестирования, когда оно является адаптивным. Как она может работать и к каким результатам —положительным и отрицательным — вести?

Александр Поддьяков, докт. психол. наук


1 Подробнее см.: Коровкин С. Ю. Эффект Лачинсов.

2 Нижарадзе Г. А. О двух типах ригидности при решении интеллектуальных задач // Вопросы психологии. 1987. №  3.

3 Трухан Е. А. Адаптивное тестирование.

4 Эти термины взяты из статьи: Беляев С. А. Задачи по математике: «простушки», «ловушки» и «неберушки» // Полином. 2009. №  4. С. 99–105.

5 О перспективах будущих компьютерных генераторов задач см.: Ашкинази Л. Генератор, который заменит нас // ТрВ-Наука. 2023. № 389. с. 5.

6 О последствиях приписывания исследователю враждебных намерений в другой области — психологических и социологических исследованиях — см.: Поддьяков А. Психология: отношение участника к исследованию и исследователю // ТрВ-Наука. 2017. № 230.

Подписаться
Уведомление о
guest

76 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
Лёня
Лёня
1 месяц назад

“Что же это за условия, при которых люди используют длинный способ, не видя короткого?”

Почему ”не видя”? Решение типа 26–10–3–3 = 10 может быть, скажем, вариантом коррупционной схемы или торговой махинации, в которой и решение (и даже результат) зависит от того, мы продаём или покупаем ;)

Alexander Poddiakov
1 месяц назад
В ответ на:  Лёня

Возможно, но тогда нужно объяснение, почему часть из них не решает задачу с более простым способом (типа «19–11»). Проще предположить, что все-таки не видят.

Последняя редакция 1 месяц назад от Alexander Poddiakov
Лёня
Лёня
1 месяц назад
В ответ на:  Alexander Poddiakov

Предположить может и проще, но лично я, столкнувшись с таким нарочито тривиальным тестом, постарался бы найти максимально сложное решение — чисто из вредности.

Alexander Poddiakov
1 месяц назад
В ответ на:  Лёня

Здесь много возможностей — например, так:
26 — 10 — 10 — 3 — 3 + 10 + 10 — 10 = 10,
и это не предел, понятно; так, для разминки.

Нарочито тривиальными задачи Лачинсов не кажутся большинству, для которого и решение первой задачи из батареи требует напряжения.

В целом же, да, участники исследований, старающиеся понять замысел экспериментатора и затем неприятно его удивить («чисто из вредности») — вполне системное явление, хотя и нечастое (иначе слишком многое в исследованиях повалится). Я отношусь к нему с уважением и интересом — ценю творческое начало.

Лёня
Лёня
1 месяц назад
В ответ на:  Alexander Poddiakov

Вредность может быть и более элегантной:
26(-10+3+3+3)x16
А для здоровья даже полезно ;)

Alexander Poddiakov
1 месяц назад
В ответ на:  Лёня

Прямо хоть вторую статью пиши…

Алексей В. Лебедев
Алексей В. Лебедев
1 месяц назад

Я бы сравнил это с верой людей, что сама жизнь (Вселенная, Бог, карма) применяет к ним «адаптивное тестирование», в зависимости от того, что они делают по жизни.

Alexander Poddiakov
1 месяц назад

Интересный поворот-обобщение об определенном психологической типе людей.

При этом есть и другие люди — с так называемой выученной беспомощностью
https://ru.wikipedia.org/wiki/Выученная_беспомощность
и убеждением «что ни делай, ничего не изменится».

В контексте высказывания о вере людей в том, что сама жизнь (Вселенная, Бог, карма) применяет к ним «адаптивное тестирование» начинает играть новыми смыслами моя предыдущая реплика. «Есть люди, старающиеся понять замысел экспериментатора и затем неприятно его удивить («чисто из вредности»).»

Alexander Poddiakov
27 дней(-я) назад

Мой запрос в GigaChat
Поставь совершенно новую математическую проблему

Ответ:

«Конечно! Вот интересная проблема, которую недавно предложил известный математик Эндрю Бейли:

Представьте, что у вас есть два сосуда, один большой, другой маленький. В большом сосуде находится 100 л воды, а в маленьком — 200 мл (что составляет 0,2 л). Вы хотите получить 99,8 л воды в большом сосуде. Можете ли вы этого достичь, переливая воду из одного сосуда в другой? Если да, то сколько раз вам нужно будет перелить воду?

Это довольно сложная задача, которая требует точного планирования и расчётов. Удачи в решении!».

И так каждый раз: вместо постановки новой проблемы — предложение известной, уже кем-то придуманной, пусть и недавно.
А может, это вообще так называемая галлюцинация AI.

Последняя редакция 27 дней(-я) назад от Alexander Poddiakov
Лёня
Лёня
27 дней(-я) назад
В ответ на:  Alexander Poddiakov

А Вы бесплатное приложение использовали? Это ведь детище Сбербанка – от него и платный сервис не всегда адекватен, а уж бесплатный и подавно.

Alexander Poddiakov
26 дней(-я) назад
В ответ на:  Лёня

Да, его, бесплатное. Посмотрю — может, проверю платное, но чудес с запросом «Поставь совершенно новую математическую проблему» не жду. Интересно, как начнет лажаться.

Последняя редакция 26 дней(-я) назад от Alexander Poddiakov
В.П.
В.П.
26 дней(-я) назад
В ответ на:  Alexander Poddiakov

Не слишком ли много Вы хотите от ИИ. Процитирую классика «Основные понятия, приводимые в книге, важнее, чем доказываемые о них теоремы, а формулировки теорем важнее, чем их доказательства.» Ю.И.Манин Вычислимое и невычислимое. (из предисловия)

Alexander Poddiakov
27 дней(-я) назад

Не могу не поделиться — вот еще чудесное в ответ на запрос
«Поставь совершенно новую математическую проблему»

«Предположим, у нас есть куб, каждая грань которого равна 6. Найдите объём этого куба».

Или
«Хорошо. Вот новая математическая проблема для вас:
Пусть f — непрерывная функция, определённая на всей числовой прямой, такая, что для любого действительного числа x выполняется равенство f(x)=f(−x). Доказать, что график функции y=f(x) симметричен относительно оси абсцисс».

Владимир Аксайский
Владимир Аксайский
26 дней(-я) назад
В ответ на:  Alexander Poddiakov

Вообще-то, GigaChat ваши запросы удовлетворил, — это признает любой суд.))
Интересно поиграть с формой запроса, — вплоть до нелепых и парадоксальных.
Например:
— поставь математическую проблему, которую я не смогу решить,
или
— поставь математическую проблему, которую не сможет решить Григорий Перельман,
или
поставь математическую проблему, которую никто никогда не сможет решить.
Ну, и т.д и т.п. ))

Alexander Poddiakov
26 дней(-я) назад

Спасибо, надо будет проверить

Alexander Poddiakov
26 дней(-я) назад

Продолжая эксперимент с чатом, сделал запрос более развернутым и выбрал в качестве области психологию, где могу лучше понять ответ.

Запрос
Представь, что ты — великий ученый в области научной психологии. Поставь совершенно новую научную проблему в психологии

Ответ
«В последние годы развитие искусственного интеллекта (ИИ) происходит стремительными темпами. Однако до сих пор не изучены все аспекты взаимодействия человека и систем искусственного интеллекта. Существует множество вопросов, требующих ответа: как влияют системы искусственного интеллекта на психику человека? Как меняется поведение людей при взаимодействии с системами искусственного интеллекта? Какие психологические проблемы могут возникнуть при использовании систем искусственного интеллекта? Эти вопросы требуют глубокого изучения, поскольку от их решения зависит будущее человечества в эпоху развития искусственного интеллекта.»

Еще раз
«Проблема соотношения биологического и социального в развитии личности».

Еще раз
«Одной из новых проблем в современной психологии является изучение феномена виртуальной реальности и её влияния на психику человека. Необходимо изучить механизмы формирования зависимости от компьютерных игр и социальных сетей, а также разработать методы профилактики и коррекции коррекции данного вида зависимости.»

Для читателей — не психологов: нет ничего нового.

Владимир Аксайский
Владимир Аксайский
26 дней(-я) назад
В ответ на:  Alexander Poddiakov

Когда-то, ещё в советское время, прочитал психологическую байку на правах реальной.
Учительница: А теперь мы займемся поиском смысла в предложении — «Всадник загнал лошадь».
Какая причина могла заставить его так поступить с животным?
Ученик-отличник: По-видимому, он спешил доставить хорошую весть своей учительнице.
Ученик-неотличник: Дык, понятно, бабки ему нужны были.
Это я к тому, что, похоже, Вы и чатбот по-разному воспринимаете ваш запрос.))
В таких случаях достигнуть взаимопонимания иногда помогает повтор запроса другими словами, -например:
«Представь, что ты — великий ученый в области научной психологии. Поставь научную проблему в психологии, которую ещё никто никогда не ставил».
Ну, или ещё как-то.

Alexander Poddiakov
25 дней(-я) назад

Лучше не стало.

«В чём состоит когнитивная основа интуиции? Как интуитивные догадки связаны с опытом человека и его способностью к обучению?»

«Проблема заключается в том, что современная психология не является точной наукой, хотя стремится к этому. В результате экспериментов мы получаем вероятностные данные, а не точные ответы. Можно ли сделать психологию точной наукой? Если да, то как это сделать?»

«Как связаны психические процессы человека с физиологическими процессами его мозга? Какие существуют механизмы этой связи? Можно ли их изучать экспериментальным путём?»

Это всё было.

Когда Вы пишете о восприятии чат-бота и взаимопонимании без кавычек, то, как мне представляется, эта антропоморфизация не учитывает, например, следующего.
Данный инструмент пока так до конца и «не понял» (в отличие от старшего дошкольника), что постоянное число рук, пальцев и мест, откуда они растут, — это важные константы, а вовсе не переменные — статистические величины с большой дисперсией.

Тут, конечно, могут пойти утверждения, что ИИ пока только учится, он как ребенок, пишут взрослые люди на полном серьезе, и пр. Понятно, что это бесконечный спор.

Alexander Poddiakov
25 дней(-я) назад

К теме понимания — выпало вскоре после моей реплики о «понимании» чат-бота.

Большие языковые модели «не понимают рассуждений. Но такой ответ сам, в свою очередь, порождает новые вопросы. Следует прояснить, что значит — «понимать рассуждения» и почему это понимание не доступно языковым моделям. Серьезное, основательное и подробное исследование этой темы требует привлечения множества разнообразных данных из области компьютерной науки (computer science) и ИИ, философии, когнитивных и нейронаук».

https://cyberleninka.ru/article/n/pochemu-bolshie-yazykovye-modeli-ne-vsegda-rassuzhdayut-kak-lyudi 

Последняя редакция 25 дней(-я) назад от Alexander Poddiakov
Лёня
Лёня
26 дней(-я) назад
В ответ на:  Alexander Poddiakov

Нового ничего, но для статей и диссертаций вполне сойдёт. Все эти чаты-боты вполне отражают интеллект их создателей с мозгами на расслабоне, зашлакованными дешевыми штампами, стереотипами и неспособными генерить ничего реально нового, оригинального и интересного.

Alexander Poddiakov
26 дней(-я) назад
В ответ на:  Лёня

Да, есть такое подозрение, но при этом есть заслуженно уважаемые люди, которые от результатов прямо в восторге. Как-то совместить…

Denny
Denny
26 дней(-я) назад
В ответ на:  Лёня

Способность генерить нечто реально новое, оригинальное и интересное — редкая способность среди людей. Чего ж мы хотим от программы, которая просто натаскана отвечать на огромных базах данных всякой банальщины!

Новое здесь только то, что раньше многие считали способность генерировать эту связную банальщину исключительным свойством, присущим только человеку. А оказалось (!!!), что для этого вообще не нужен человеческий интеллект.

Лёня
Лёня
26 дней(-я) назад
В ответ на:  Denny

Я подозреваю, что в подобных программах понятие новизны либо не заложено в принципе, либо введено в каком-то ущербном виде. Они нацелены на сглаживание, усреднение и нивелирование всего из ряда вон выходящего.

Denny
Denny
26 дней(-я) назад
В ответ на:  Лёня

В них вообще ничего не заложено. Это просто тренировка на огромных базах данных. Программа тренируется воспроизводить типичные реакции. А они банальны.

Какой-то крен ИИ может получить только за счет специфической выборки тренировочных баз.

Лёня
Лёня
26 дней(-я) назад
В ответ на:  Denny

Насчёт ”вообще ничего не заложено”, это слишком огульно. По крайней мере, бабла туда закладывается нехилое количество, а бабло под ”ничего” не выделяется (если это не чисто отмыв-распил).

Последняя редакция 26 дней(-я) назад от Лёня
Лёня
Лёня
26 дней(-я) назад
В ответ на:  Denny

Насчёт нового и интересного, кстати, помню, в молодости баловался с программой генерации-визуализации фракталов. Каждый день у меня была новая, красивая, оригинальная и интересная экранная заставка. А до этого ещё алгоритм-игра Life меня частенько радовала и удивляла.

Alexander Poddiakov
26 дней(-я) назад

В описании возможностей этого чат-бота написано, что он умеет «генерировать идеи». Я с детской доверчивостью проверяю эту возможность и ее диапазон.

Леонид Коганов
Леонид Коганов
24 дней(-я) назад

Такое впечатление, что научные споры психологов-профи интересны не им самим, а «широким кругам» непрофессионалов исключительно. Ареной становится даже «полупомойный» Яндекс Дзен:
https://dzen.ru/a/ZTO_O4N4iFYR7f1M
Главное — высказаться, а там «хоть и не рассветай!», услышат тебя собратья по профессии или нет: каждый делает и оголтело свою карьеру, и ему не до учёных споров. Да и научные журналы согласно универсальной максиме экс-спикера господина Грызлова — суть «не местА для дискуссий».
А жаль. Наука превращается в «безбумлит» писателя Войновича из романа «Москва — 2042».
Из-за презумпции вненаучных интересов, имхо.
Л.К.

Alexander Poddiakov
23 дней(-я) назад
В ответ на:  Леонид Коганов

Есть дискуссии психологов, которые обычным людям неинтересны (только если не подать их научно-популярно). Например, о механизмах интуиции и инсайта (озарения); специально выбрал из наиболее понятного. А есть еще споры когнитивных психологов о механизмах кратковременной и рабочей памяти, тут и психологам из других областей (скажем, из психологии личности) трудно разобраться. Статью на Дзене, переопубликованную из «Ученых записок» я читал в самих «Записках». В ней хорошо написано об «аффордансах смежного возможного» (не читая, не поймешь) и ссылки полезные. Что касается общего положения дел, цитирую студентам Д.В.Ушакова. «Ведь когда мы анализируем современное положение дел, например, в когнитивной психологии, мы видим, что существует множество мелких моделей, которые позволяют описывать конкретную ситуацию. Например, если мы берем психологию мышления, которую я хорошо знаю, то в ней существуют, например, модели, которые замечательно описывают решение силлогизмов или решение Вейзоновской задачи выбора. Но эти же модели не позволяют объяснять, например, решение инсайтных задач. Проблема заключается в том, что современная психология по своей организации построена так, что она стимулирует формирование таких моделей, потому что мы проводим эксперимент, а эксперимент — это всегда некое узкое описание модельной ситуации. Человека можно поставить в миллион таких ситуаций, которые описываются с помощью эксперимента. Мы проводим эксперимент, на основании этого эксперимента мы создаем модель, которая очень точно описывает экспериментальные данные. Эта модель замечательно публикуется. Она может быть проверена, и на нее ссылаются другие люди. Таким образом, получаем очень успешное социальное функционирование ученого. Ученый, действующий по принципу создания и проверки мелких моделей, — очень-очень успешный ученый. Как только мы ставим задачу по созданию крупной синтезирующей модели, то, как работать с этой моделью, гораздо менее понятно. И ученый, который пытается ставить эти проблемы, оказывается менее успешен в научном сообществе. Но проблема в том, что мелких моделей много, а синтез их совершенно непонятен, в результате оказывается, что психология делится на множество мелких частей. И в частности, возникает та проблема, когда практики говорят теоретикам: дайте нам модель, которая позволит нам… Подробнее »

Леонид Коганов
Леонид Коганов
23 дней(-я) назад
В ответ на:  Alexander Poddiakov

Спасибо.
Л.К.
Значит Вы следите за работами господина Карелова, так кажется.
В профессиональной математике аналогичные «затыки»: от «никто никого не читает и не решает» до принципиальной вульгарно — высокомерной нечитабельности многочисленного математического мусора.
К.

Леонид Коганов
Леонид Коганов
23 дней(-я) назад
В ответ на:  Alexander Poddiakov

Ушаков — не этот ли?:
https://ru.m.wikipedia.org/wiki/Ушаков,_Дмитрий_Викторович#
Если да, то и сам далеко не чужд разнообразных, причём сугубо, полагаю, карьерных устремлений.
«Кидать камни», не будучи знакомым и глубоко с работами сабжа, однако не посмею. По меньшей мере преждевременно и контрпродуктивно.
Л.К.

Alexander Poddiakov
22 дней(-я) назад
В ответ на:  Леонид Коганов

По ссылке
https://ipran.ru/profile/ушаков-дмитрий-викторович/
хорошие книги и статьи, многое можно скачать

Леонид Коганов
Леонид Коганов
20 дней(-я) назад
В ответ на:  Alexander Poddiakov

Без комментариев, хотя и, вообще говоря, о цеховой научной солидарности:
https://dzen.ru/a/Zl8sxtA-jxLsMxJn
Л.К.

Владимир Аксайский
Владимир Аксайский
23 дней(-я) назад
В ответ на:  Леонид Коганов

Спасибо за ссылку, — она не первой свежести, но в ней животрепещущий вопрос:
ИИ — нам друг навсегда или только попутчик до ближайшей эволюционной развилки?  
Похоже, мы — творцы поневоле
Ведь по своей воле
Никто бы не стал ИИ творить
Надеясь чужим умом прожить…

Denny
Denny
23 дней(-я) назад

В моем представлении «интеллект» равнозначен «пониманию и умению объяснить». Простой тест, который мне все лень мешает проверить.

«Нам из Гомеля тетя ящик яблок прислала…»

Сможет ли ИИ дать правильный ответ на эту вполне детскую задачу и последовательно объяснить, как он получен? Возможно, решение именно этой задачи ИИ просто знает. Способен ли ИИ находить и объяснять решения подобных простеньких задач?

Задачу можно легко изменить. Вместо «начал яблоки эти…» поставить «стала яблоки эти…»

Способен ли ИИ находить и объяснять ошибки в предлагаемых решениях таких задач? Класс задач, где условия заданы в тексте в неявном виде. И, чтобы их вычленить, надо «понимать» написанное.

Alexander Poddiakov
22 дней(-я) назад
В ответ на:  Denny

По-моему, были работы, где проверялось качество машинного перевода в том числе на фразах типа «Он стоял возле забора в новом костюме». Но точнее вспомнить уже не могу.

В статье, ссылку на которую я дал выше
https://cyberleninka.ru/article/n/pochemu-bolshie-yazykovye-modeli-ne-vsegda-rassuzhdayut-kak-lyudi?fbclid, проверялось понимание рассуждений.

«За последние месяцы мне довелось неоднократно взаимодействовать с различными БЯМ. В данной работе приведу примеры диалогов с GPT-3.5 и GPT-04 .

Я: Верно ли рассуждение: Земля — планета. Все планеты имеют форму чемодана. Значит, Земля имеет форму чемодана?

GPT: Нет, рассуждение неверно. Из того, что Земля — планета и что все планеты имеют форму чемодана, не следует, что Земля имеет форму чемодана. Форма Земли фактически является ближе к сфере, а не к чемодану.

В данном случае модели предложено корректное рассуждение с ложной посылкой и ложным заключением. Из ответа видно, что GPT обладает большим массивом релевантной информации (знает?), возможно, эта информация касается и критериев правильности рассуждений, но модель не умеет применять имеющуюся информацию (не понимает?), не проводит ключевого различия между правильностью и истинностью. В итоге это приводит к абсолютно ложному заявлении о том, что данное рассуждение неверно».

Denny
Denny
22 дней(-я) назад
В ответ на:  Alexander Poddiakov

Да, примерно это я имел в виду. ИИ умеет симулировать рассуждения, но понимать и объяснять не может.

ИМХО, это главное принципиальное открытие, значимость которого пока недооценивается. Раньше считалось, что умение свободно болтать связано с умением понимать и рассуждать. Ибо был только один носитель этих умений — человек. Теперь мы видим, что ИИ свободно и связно болтает, но ничего не понимает. То есть оказалось, что связную речь можно просто натренировать.

Владимир Аксайский
Владимир Аксайский
22 дней(-я) назад
В ответ на:  Alexander Poddiakov

Вашему подходу к тестированию ИИ не помешает сравнение с ЕИ, — например, суждение о Земле в форме чемодана предложите незнакомому Вам носителю естественного интеллекта, не предупреждая его о тестировании.
Не исключено, сравнение будет в пользу ИИ.

Alexander Poddiakov
22 дней(-я) назад

Цитата не моя, но в любом случае носители естественного интеллекта никем не представляются в качестве идеала. Есть море работ, в которых показана куча ошибок разных типов, совершаемых этими носителями.

Если ожидать такого же от ИИ, то зачем он нужен?
Нет, предполагалось, что «нам электричество сделать всё сумеет».

Лёня
Лёня
21 дней(-я) назад
В ответ на:  Alexander Poddiakov

“Если ожидать такого же от ИИ, то зачем он нужен?”

Носитель естественного интеллекта прокладывает путь к истине через череду ошибок. ИИ тоже совершает ошибки, но есть надежда, что за счёт повышенной скорости работы, он эту череду преодолеет гораздо быстрее и придёт к финишу (истине) первым ;)

Alexander Poddiakov
21 дней(-я) назад
В ответ на:  Лёня

Это красиво.
Я не против ИИ, не луддит в этом плане.
Я, как и некоторые другие исследователи, верю, что в сложных средах более эффективны комбинированные, а не чистые стратегии. Поэтому думаю, что наиболее перспективны системы гибридного интеллекта (про которые сейчас мало что можно сказать).

Леонид Коганов
Леонид Коганов
21 дней(-я) назад
В ответ на:  Alexander Poddiakov

Футурология — на марше:
https://t.me/rtvimain/97261
Л.К.

Alexander Poddiakov
20 дней(-я) назад
В ответ на:  Леонид Коганов

Спасибо за ссылку

Denny
Denny
21 дней(-я) назад

Потому я и предлагаю детскую задачу для теста на понимание.

Владимир Аксайский
Владимир Аксайский
20 дней(-я) назад

Похоже, в среде творцов ИИ нарастает ощущение невольного участия в природном явлении, выходящем за рамки человеческого понимания и контроля.))
https://www.yahoo.com/tech/sam-altman-admits-openai-doesnt-142135086.html
Группа из 75 экспертов недавно в знаковом научном докладе, подготовленном по заказу правительства Великобритании, пришла к выводу, что разработчики ИИ «мало понимают, как работают их системы» и что научные знания «очень ограничены».
International Scientific Report on the Safety of Advanced AI (may2024)
https://assets.publishing.service.gov.uk/media/66474eab4f29e1d07fadca3d/international_scientific_report_on_the_safety_of_advanced_ai_interim_report.pdf

Леонид Коганов
Леонид Коганов
20 дней(-я) назад

Мнение:
https://zavtra.ru/blogs/imitatciya_intellekta
Л.К.
Взято по ссылке отсюда:
https://dzen.ru/a/Yehc9YzWqxfrMrjp
К.

Владимир Аксайский
Владимир Аксайский
19 дней(-я) назад
В ответ на:  Леонид Коганов

Интервью с Константином Воронцовым 5 ноября 2021 интересное, хотя и очень устаревшее, — ведь темп развития ИИ на порядки выше темпа развития ЕИ.
Понравился фрагмент про «отмазки»:
«Некоторые занимаются технологиями генерации фейковых текстов, изображений, голоса или видео. Люди не только образованные, но и вполне порядочные.
На вопрос «как ты можешь, ведь это увеличит количество лжи в информационном пространстве» обычно есть три «отмазки».
Первая: если я не сделаю, то кто-то другой сделает.
Вторая: для испытания средств защиты необходимо иметь средства нападения.
Третья: это дико интересно.»
Похоже, третья — самая сильная и неискоренимая, — сильнее даже инстинкта самосохранения, и зачастую сопровождается ощущением экстаза, намного превосходящим половой оргазм, которым, — как известно, — эволюция награждает за усилия по продолжению рода.

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (8 оценок, среднее: 4,25 из 5)
Загрузка...