Искусство интеллекта

Сергей Марков, специалист в области искусственного интеллекта, начальник Управления экспериментальных систем машинного обучения Департамента общих сервисов «Салют» Сбера, основатель научно-популярного портала XX2 ВЕК, отвечает на вопросы Ксении Королёвой о нейросетях. Видеозапись беседы см. youtu.be/P7Yp1zk-nI8

— В чем, на ваш взгляд, заключается различие между интеллектом искусственным и естественным?

— Прежде всего — определений интеллекта у нас слишком много. Единственный бесспорный пример интеллекта — человеческий. Конечно, если вы не солипсист, вы предполагаете наличие интеллекта у других людей. Собираясь дать определение интеллекту, мы оказываемся в неприятном положении: по одному-единственному примеру надо построить некоторое множество. Через одну точку можно провести бесконечное количество прямых; точно так же дело обстоит и с определением интеллекта. Оно может быть узким — охватывая только человеческий интеллект и никакой больше, — а если попробовать его расширить, то придется признать наличие интеллекта у некоторых животных. Только у высших приматов или у приматов вообще? Или же у всех зверей без исключения? Неизбежно какие-то из этих определений интеллекта будут включать в себя некие искусственные системы — и уже сделанные нами, и те, которые мы надеемся создать в будущем.

Впервые словосочетание искусственный интеллект прозвучало из уст Джона Маккарти в 1956 году на семинаре в Дартмутском колледже ¹. Со времен Дартмутского семинара наука стала понимать под искусственным интеллектом прежде всего направление технологии, занимающееся автоматизацией решения интеллектуальных задач. То есть если мы пытаемся создать систему, способную заменить человека в решении задач, которые он традиционно решает при помощи своего разума, то мы создаем систему искусственного интеллекта. Такие системы вовсе не обязаны быть похожими ни на человека, ни на его разум. Конечно, в науке и технологиях популярен такой подход, как бионика: если решения проблемы нет, то иногда можно «подглядеть» его у природы. Так, создатели первых самолетов наблюдали за птицами и летучими мышами — достаточно вспомнить французского инженера Клемана Адера и его аппараты «Эол» и «Авион». Современные самолеты, безусловно, далеко ушли от своих биологических прототипов и крыльями не машут. Теперешние системы искусственного интеллекта тоже если и напоминают человеческий мозг, то отдаленно. Искусственный интеллект — огромное направление, где есть место как системам, вдохновленным природой, так и весьма отдаленным от нее.

Пора упомянуть, что обыватели, говоря об искусственном интеллекте, часто имеют в виду общий (универсальный) AI — то, что в науке именуется artificial general intelligence. Это гипотетическая система, которая будет способна решать неопределенно широкий круг интеллектуальных задач. На такое же способен и человеческий разум. Мы постепенно движемся к тому, чтобы научиться создавать подобные системы. В начале 2010-х годов почти что каждая система ИИ была узкоспециализированной, предназначенной для решения лишь одной задачи. Шахматная программа не сыграет с вами в покер и откажется распознать котиков на картинке. Как ни странно, она даже не сможет сыграть партию на доске 9×9. Но благодаря своей узкой специализации шахматный движок способен состязаться с такой сложной системой, как человеческий мозг.

Теперь обратимся к системам, появившимся после 2017 года и основанным, в частности, на больших трансформерных моделях. Тут заметно движение в сторону универсализации. ChatGPT может решать много разных задач — не обязательно тех, на которые его натаскивали. Специалисты предполагают, что дальнейшее развитие и масштабирование этих моделей рано или поздно приведет к появлению долгожданного общего искусственного интеллекта.

— На ваш взгляд, умение делать выбор — ключевой признак искусственного интеллекта?

— Нет: ведь выбор в каком-то смысле может сделать даже подброшенная монетка. Вообще, довольно непросто ввести какие-то простые критерии, отделяющие искусственный интеллект от естественного. Тут в дело вмешивается полемика на тему творчества. Многие люди, говоря о наличии творческих способностей, ставят во главу угла умение создавать что-то новое. Но это не так-то и сложно. Бросьте игральные кубики много раз — они почти гарантированно создадут вам совершенно новую последовательность чисел, которая раньше ни у кого не выпадала. В XVIII веке была популярна музыкальная игра в кости ² (одну из ее вариаций приписывают Моцарту): отобрать несколько коротких музыкальных фрагментов, пронумеровать их и бросать кости, определяя новую последовательность отрывков и получая новую, доселе не встречавшуюся, композицию. Такое же можно проделывать и с нотами, и с буквами…Случайный выбор — дело нехитрое; создать что-то новое при помощи технологических решений ничуть не сложно. Другое дело, насколько это новое будет соответствовать критериям, предъявляемым нами творчеству: мы вряд ли признаем случайную последовательность букв произведением искусства. С интеллектом то же самое: просто что-то выбрать — элементарно, а вот сделать выбор, соответствующий заданным критериям или целям, куда сложнее.

Для оценивания человеческого интеллекта мы придумываем некие наборы тестов, например, тест Айзенка на коэффициент интеллекта. Мы даем человеку задачи и считаем процент правильных ответов. Такой критерий оценки не лишен дефектов: откуда берется набор задач для теста, почему одни вопросы включаются, а другие нет? Так, в тесте Айзенка встречаются проблемы, схожие с теми, что обычно решают «белые воротнички» в современном урбанистическом обществе: операции с абстрактными образами, логикой… Теперь возьмем набор задач из серии «Как обмануть антилопу на охоте» — и наш тест поощрит интеллект охотника-собирателя. Вот так попытки выстроить «интеллекты» на линейке разбиваются о насущные проблемы: не совсем понятно множество интеллектуальных задач, которые предлагаются тому или иному разуму — каким из них отдавать приоритет? Но тем не менее для современных систем ИИ создаются большие наборы тестов, в какой-то степени напоминающие проверку IQ, — да и сам тест коэффициента интеллектуальности находит применение, вдобавок к задачам Михаила Бонгарда.

В прошлом году вышла фундаментальная работа — продукт исследования целых двух с лишним сотен научных коллективов — тест BIG-bench, в котором собрано огромное количество интеллектуальных задач ³. Они прекрасно подходят для автоматизированной оценки интеллектуальных возможностей генеративных нейросетей. BIG-bench дает довольно хорошее представление о том, на что подобные модели способны и не способны, где догнали и перегнали естественный интеллект, а где всё еще статистически значимо отстают от человеческого разума. Всё это — скорее композитный подход к тому, что является искусственным интеллектом и определяет его критерии.

— Возможно ли сделать искусственный эмоциональный интеллект?

— Опять же вопрос в определении: что есть эмоциональный интеллект? Если мы, например, говорим о способности машины опознать эмоциональную окраску тех или иных высказываний человека или его поведения, а затем оперировать полученной информацией, то машины умеют делать это довольно давно. Есть системы, которые распознают проявления человеческих эмоций на фотографиях или видеосъемке лица, по записи голоса или, например, по тексту — машина, способная проводить сентимент-анализ, может отсеять хвалебные комментарии от ругательных. Передавать эмоциональную информацию в тексте, изображениях и голосе компьютеры тоже уже научились. Для всего этого есть стандартизованные наборы данных, на которых производится оценка этих способностей машины. Но эмоциональное состояние человека и проявление эмоций — вещи разные: в душе может быть смятение, а на лице равнодушие. Связь между конкретными физическими явлениями вроде учащения сердцебиения и сокращения мимических мышц и нашим подлинным внутренним состоянием — довольно сложная фундаментальная проблема нейрофизиологии. Как физические процессы в теле соотносятся с психическим миром, миром субъективных ощущений человека? Здесь мы пока что можем говорить только о корреляциях: поэтому часто и звучат термины наподобие коррелятов эмоциональных состояний. Машина имеет дело с внешними проявлениями человеческих чувств и эмоций, но ведь точно так же дело обстоит и с людьми. Они не могут залезть друг другу в голову и поэтому делают выводы об эмоциональных состояниях других людей, основываясь на наблюдениях и, возможно, представлениях о том, что люди могут испытывать в тех или иных ситуациях.

Поэтому в целом непреодолимого барьера в плане эмпатии или построения эмоционального диалога с людьми для машины нет. Более того, за последний год было проделано много интересных экспериментов. Например, ChatGPT использовали в качестве медицинского консультанта, а потом попросили пациентов оценить уровень его эмпатии. Те сочли ответы нейросети в среднем более эмпатичными, нежели ответы настоящих врачей. Получается, машины в какой-то степени могут проявлять эмоциональный интеллект — почему нет?

— Что является ограничителем в развитии трансформерных сетей, кроме бутылочного горлышка фон Неймана ⁴?

— Хороший вопрос. Я бы сказал, что эта проблема — фронтир для многих исследовательских групп. Можно сказать, что трансформерные сети хорошо масштабируются. С увеличением числа их параметров, вычислительных мощностей и используемых для обучения данных растет и «интеллект» сетей. Здесь мы пока что не видим уменьшающейся отдачи — diminishing returns — сети по-прежнему масштабируются стабильно. Но есть и ограничивающий фактор такого масштабирования — имеющиеся вычислительные мощности и количество данных. Человечество увеличивает свой цифровой след экспоненциально: каждые два года общий объем цифровых данных удваивается. В обучении больших трансформерных моделей используются открытые данные мировой информационной сети. Вычислительные мощности растут примерно пропорционально тенденциям, замеченным еще Гордоном Муром в свое время. (Закон Мура: каждые два года количество элементов на промышленно производимых интегральных схемах удваивается.) Конечно, бывают споры относительно того, насколько мы отклонились от этого тренда. Бутылочное горлышко фон Неймана действительно выступает важным ограничивающим фактором, ведь нынешние тензорные процессоры, используемые для обучения больших трансформерных сетей — по-прежнему фоннеймановские машины, несмотря на свою способность оперировать сразу с целыми многомерными матрицами, а не единичными скалярными величинами. Узкое место — шина, используемая для обмена градиентами между вычислительными узлами суперкомпьютеров. Само собой, здесь работают и ограничения на параллельные вычисления, иллюстрируемые, в частности, законом Густавсона — Барсиса и законом Амдала. Еще Марвин Ли Мински предполагал, что интеллект вычислительных систем будет расти подобно логарифму от количества вычислительных ядер; в некотором смысле это действительно так.

Активно ведется работа над альтернативными архитектурами, которые позволят расширить бутылочное горлышко. Загвоздка в том, что для эффективного расширения горлышка нам нужна не просто технология построения нефоннеймановских машин (сейчас уже есть огромное количество разных моделей нейроморфных систем), а технология промышленная, которая позволит производить такого рода системы в товарном объеме. Пока что мы лишь приближаемся к созданию таких альтернативных технологий.

Параллельно ведется поиск алгоритмов локальной оптимизации или поиска разреженных алгоритмов оптимизации вообще. Это позволит снизить нагрузку на шины передачи данных. Градиент можно будет не пробрасывать через всю сеть целиком, но задействовать для этого лишь малую, локальную часть сети — объем передаваемых данных уменьшится, и это тоже позволит расширить горлышко фон Неймана. Не случайно ведущие специалисты в области машинного обучения — такие, как Ян Лекун или Джеффри Хинтон, — уделяют локальной оптимизации много времени.

Отдельно стоит вопрос с данными: можно ли по цифровому следу человечества построить адекватное представление об окружающем мире? Хватит ли того, с чем машина имеет дело, — с текстами и полученными при помощи сенсоров данными — для того, чтобы, допустим, сделать какие-то исчерпывающие представления о физике окружающего мира или о глобальных закономерностях? Ведь машина подобного рода не взаимодействует с окружающим миром активно, а лишь выступает в роли пассивного наблюдателя за данными, возникающими в результате взаимодействия людей с окружающей действительностью. Единого мнения по этому поводу нет. Одни говорят, что цифрового следа будет достаточно для создания универсального искусственного интеллекта: в конце концов, помимо текста есть еще видеоролики на YouTube и TikTok. Люди не только описывают окружающий мир письменным словом, но и запечатлевают физические явления камерой. Другие полагают, что не бывать универсальному AI без инструментов активного обучения, без агентов в физическом мире, без построения механизмов обратной связи. Сейчас функцию этих механизмов в случае ChatGPT выполняет обучение с подкреплением на основе обратной связи от человека (Reinforcement Learning with Human Feedback, RLHF). Эксперты смотрят на варианты ответа, выдаваемого нейросетью на один и тот же вопрос, и ранжируют их в порядке убывания качества. Однако собрать действительно много человеческих оценок сложно, поэтому выбор пользователей используется не напрямую. Вместо этого собранные ответы становятся материалом для обучения отдельной нейросети — так называемой модели вознаграждения (reward model), и уже ответы этой сети применяются в качестве сигнала обратной связи при дообучении нейросети-генератора.

— Мне кажется, острее всего сейчас стоит проблема того, что правду от вымысла отличить сложно — где слова человеческие, а где машинные? Специалист, само собой, может определить компьютерного собеседника, задавая ему вопросы; отличить нарисованную нейросетью кошку от подлинной фотографии. Вот вопрос: как в самой сути AI заложено определение того, что реально, а что — вымысел?

— Для современных нейросетей правдой чаще всего является то, что чаще встречается в обучающих выборках. Сеть чаще всего получает ответ «четыре» на вопрос, сколько у кошки лап; другие варианты встречаются куда реже, так AI и понимает, как следует отвечать. Но это проблема не специфична лишь для искусственного интеллекта: люди тоже склонны принимать за правду то, что чаще всего озвучивается. Наши представления о правильном и неправильном, истинном и ложном зачастую основаны на той информации, что мы получаем от других людей, от книг и от СМИ. (Хорошей иллюстрацией тому может послужить религия: в каком религиозном окружении вы выросли, такую религию вы, скорее всего, и примете как истинную.) В этом-то и кроется глобальная проблема и для машин, и для людей: как отличить мнение от фактической правды или неправды? Конечно, есть простые истины, которые непосредственно сам человек может проверить экспериментально. Какое-то количество подобных проб и ошибок мы регулярно совершаем в своей жизни, набиваем шишки, накапливая опыт, проверяя правильность представлений об окружающем мире. Но на самом деле у каждого человека лишь одна жизнь и одно тело — всего не перепробуешь, приходится доверяться мнению других людей и информации, ими уже собранной. Машина же возможностью так активно взаимодействовать с миром не обладает (если не рассматривать специальные эксперименты, включающие обучение с подкреплением), зато может взглянуть на мир глазами самых разных людей. Они оставляют свой опыт в текстах, записывают его на видео — с этим компьютер работать может. В некотором смысле телом для машины служит всё создающее цифровой след человечество — с его помощью искусственный интеллект получает опыт и критерии правильности-неправильности. Здесь возникает та же самая проблема, что и у людей, — распространенные заблуждения в отношении некоторых явлений окружающего мира. Какие-то из заблуждений могут тиражироваться, и это неизбежно приведет к тому, что у машины будут ложные представления.

Бороться с этим можно путем ресемплинга: размножать более надежные, авторитетные источники в обучающей выборке; привлекать экспертов из разных областей науки, чтобы они составляли более качественные обучающие выборки; заранее узнать о массовых заблуждениях и о том, как их лучше всего опровергать. Вообще, модели, подобные ChatGPT, обучаются в три стадии. Первая — предобучение: машина решает простую задачу в режиме самообучения, например предсказывает следующее слово (точнее, токен) в тексте на основе предыдущих или восстанавливает по контексту удаленные из текста фрагменты. Затем модель дообучается на чистом наборе данных — на инструктивном массиве (SFT-dataset, от supervised fine-tuning — дообучение с учителем). Он включает в себя набор модельных диалогов — вопросы людей и желаемые ответы на них. В английском языке этот этап носит название fine-tuning (в русском же обычно применяют термин «дообучение»). Данные из массива не только настраивают модель на диалоговые режим работы, но и формируют предпочтения модели, в том числе ее своеобразную этику. На третьем этапе обучения — обучения с подкреплением от людей — эксперты общаются с машиной, отмечая хорошие и плохие ответы. Это позволяет машине еще точнее отличать хорошие и нравящиеся людям правильные ответы от ответов «нехороших» и пользователей не устраивающих. Так же, как и при обучении людей, всё зависит от учителей и учебного материала. Модели неизбежно могут обладать той или иной субъективностью, быть носителями разных систем ценностей — всё зависит от того, что подкладывается в обучающие данные модели.

— Вот этический вопрос. В соцсетях встречаются разные сообщения по поводу нейросетей: одни говорят о безусловной опасности нейросетей и призывают запретить их, а другие утверждают, что искусственный интеллект поможет человечеству выбрать «правильный путь». Любая технология может представлять опасность — существуют и атомные бомбы, и атомные электростанции. Что вы думаете по поводу опасности нейросетей, как мы можем себя обезопасить? Есть ли конференции или тематические собрания, на которых обсуждают вопросы этики использования нейросетей — могут ли они завести общество не туда?

— Тематика рисков, ассоциируемых с искусственным интеллектом, неисчерпаема, как атом. Риски могут быть совершенно разными. Некоторые из них пробуждают интерес общественности, другие же игнорируются. Технологии искусственного интеллекта могут применяться в самых разных целях: тут принципиального отличия ни от других технологий, ни даже от других инструментов, нет. Любая технология, связанная с повышенной опасностью, требует методов управления рисками. Здесь можно провести параллели с инженерными подходами, выработанными по отношению к той же атомной энергетике или к автотранспорту. Понятно, что должны быть разработаны определенные технические регламенты, определенные средства сертификации и оценки. Нужно определить границы регулирования: какие из интеллектуальных систем являются средствами повышенной опасности или ассоциируются с оными? Нужно ли нам регулировать все модели вплоть до тех, что рисуют котиков, или же надо подойти к более точечному регулированию? Любое регулирование сопряжено с затруднениями развития для технологии; чрезмерный контроль может вылиться в замедление или даже в остановку того или иного направления исследований. Есть знаменитая байка о том, что в свое время первые законы в отношении автотранспорта требовали того, чтобы перед автомобилем шел человек с флажком (в действительности так называемые «Законы о локомотивах», или, как их называют, «Законы о красном флаге» требовали этого только в некоторых случаях, однако содержащиеся в них ограничения действительно нанесли серьезный урон развитию автотранспорта). Таких фактически запретительных способов регулирования можно придумать немало. Помимо торможения исследований, это может привести к тому, что новые технологии смогут осваивать лишь крупные корпорации, которые могут пройти через сложные регуляторные барьеры, а индивидуальные исследователи вместе с участниками движения Open Source просто останутся за бортом.

Таким образом, у регулирования есть две стороны: с одной стороны, рисками, сопряженными с развитием технологий, можно управлять; а с другой — контроль может нести вред. Сейчас ведутся активные дискуссии по поводу того, какие риски требуется купировать, а какие лучше оставить в покое. Взрыв на атомной станции и сгенерированный котик с тремя глазами — небо и земля. Масштабы рисков нужно понимать. Проблема «горячая»; она волнует не только обывателей, но и профессионалов, которые устраивают специализированные конференции и выпускают тематические научные издания. Множество исследовательских групп фокусируется на этических проблемах. Еще в 2015 году группа под руководством Жана-Франсуа Бонфона выпустила в Science статью, посвященную этике автопилотирования⁵. Какие принципы мы должны закладывать в автопилоты для аварийных ситуаций? Перед машиной, несущейся на огромной скорости по трассе, выскакивают бабушка с ребенком и столкновения не избежать — что делать машине? Понятно, что всем хочется, чтобы системы искусственного интеллекта разделяли наши этические ценности. Обучать модель принимать решения, которые мы одобряем, — в этом заключается проблема выравнивания (alignment). Здесь мы неизбежно наталкиваемся на то, что среди людей нет единого мнения относительно многих этических задач. В проблеме бабушки и ребенка разные общества примут разные решения.

В целом, риски развития искусственного интеллекта можно разделить на экзистенциальные и неэкзистенциальные. При первых возникает глобальная угроза для всего человечества или биосферы, вторые же включают в себя всё остальное. Но неэкзистенциальные риски, на мой взгляд, не менее важны. Сегодня огромное количество алгоритмов стало частью жизни нашего общества. Каждый раз, когда вы подаете заявку в банк на получение кредита или откликаетесь на вакансию, в отношении вас решение зачастую принимает алгоритм. По степени влияния на вашу жизнь это решение может соперничать с вердиктом суда. Но в суде у вас всегда есть право на доступ к собранным против вас доказательствам, на квалифицированную юридическую помощь, на состязательность судебного процесса… Всего этого при взаимодействиями с могущественными алгоритмами у вас нет. Получается аналог тайного суда, который за глаза принимает решение, — тут не узнать, какие факторы принимались в расчет и были ли в процессе дефекты. Эта проблема так и называется — проблема цифрового тайного суда.

Если же говорить о проблемах этики, то они связаны с неэкзистенциальными рисками довольно плотно. Одним из фундаментальных исков является тиражирование предрассудков и несправедливости. В обучающие выборки для систем машинного обучения может попасть некое предубеждение, например в отношении каких-то групп людей, и обученная на несбалансированных данных модель будет его множить. Создавая какую-то систему искусственного интеллекта для массового использования, мы рискуем размножить предрассудки, положив начало системному угнетению. Хорошим примером может служить работа Джой Буоламуини в медиалаборатории Массачусетского технологического института, где она в середине 2010-х годов изучала способности распространенных тогда коммерческих систем распознавания лиц. Выяснилось, что они гораздо хуже распознавали лица женщин и темнокожих людей. Потенциально это могло привести к системному неравенству, например при использовании автоматических сервисов регистрации в аэропортах и кредитоматов. Представим себе, что сегодняшний ChatGPT будет выдавать негативные высказывания в отношении определенных социальных или этнических групп людей — результат крайне нежелательный. В свете этой проблематики важную роль играет то, как общество такие системы воспринимает и как относится к ним. На мой взгляд, необходимо объяснить людям, чем современные генеративные нейросетевые модели являются и не являются. Они — инструмент для генерации контента, вроде «Фотошопа» или «Ворда», но куда более продвинутые. Раньше людям приходилось рисовать всё от руки, самим делать штриховку и закраску, а сейчас этот труд можно переложить на плечи машины. Очень классные инструменты, которые потенциально могут нам помочь решить немало задач, сэкономив уйму времени. Нейросетевые модели — средства автоматизации, направленные на снижение трудозатрат при выполнении тех или иных задач. Это инструмент усиления возможностей нашего интеллекта: человек с калькулятором будет считать куда эффективнее коллеги без вычислительной машины, а человек с разумом, усиленным большой генеративной нейросетью, выполнит многие интеллектуальные задачи лучше человека, который не использует такой инструмент. Нейросети — средства для генерации развлекательного контента. Сейчас такого рода системы нередко используются просто для развлечения, генерации мемов, шуток. Такое направление нельзя недооценивать: драйвом развития технологий во все времена очень часто становились развлечения. Вдобавок нейросетевые модели — демонстрация возможностей современных технологий искусственного интеллекта всему человечеству, включая инвесторов, ученых, специалистов из смежных областей.

При этом подобные системы не являются средствами массовой информации или официальными источниками мнений своих создателей. ChatGPT не представляет собой точку зрения своей компании OpenAI. Нейросети не являются сверхразумами, священными оракулами, источниками истины. Напрасно ждать от искусственного интеллекта того, чтобы он стал арбитром, который порешает все проблемы человечества и отсеет правильные мнения от неправильных. Ни одну нынешнюю нейросетевую модель нельзя считать искусственной личностью — у них нет самосознания, нет собственных целей. Рано или поздно мы сможем сделать искусственный интеллект, обладающий самосознанием, но не сейчас, не при помощи современных методов: нам потребуются куда более сложные эксперименты, чтобы получить на выходе сознание. И, разумеется, нейросети — не средство пропаганды тех или иных идей. Множество людей, как только появилась возможность, бросилось задавать ChatGPT вопросы по поводу правильности идеологий и ценностей. Но таковы уж люди: в баталиях вокруг нейросетей мы наблюдаем отражение человеческого общества, ведь искусственный интеллект обучался на данных, собранных людьми. Иногда это зеркало кого-то пугает — думаю, ситуация нормальная, и к отражению нужно просто привыкнуть, понять, каким его нужно принимать. Вот вызов человечеству: сумеет ли оно извлечь из такого классного инструмента пользу, а не вред?

— Сергей, огромное спасибо за интервью! Очень познавательный рассказ. Надеюсь, мы с вами еще не раз увидимся и сможем задать еще много других вопросов.

— Спасибо вам, что пригласили! До встречи.

¹ en.wikipedia.org/wiki/Dartmouth_workshop

² en.wikipedia.org/wiki/Musikalisches_Würfelspiel

³ github.com/google/BIG-bench

⁴ en.wikipedia.org/wiki/Von_Neumann_architecture#Von_Neumann_bottleneck

⁵ Bonnefon J.-F., Shariff A., Rahwan I. The social dilemma of autonomous vehicles // Science. 2016. Vol. 352, Iss. 6293, pp. 1573—1576.