12 июня 2017 года восемь исследователей — семеро сотрудников Google и стажер из Университета Торонто — выложили на arXiv статью “Attention Is All You Need” — «Внимание — всё, что нужно». В ней описана архитектура нейросети, получившая название «трансформер». Прошло девять лет, и на этой архитектуре построены все флагманские языковые модели: ChatGPT и Claude, Gemini и Llama, DeepSeek и GigaChat. При общей базовой архитектуре они различаются тем, на каких данных модель обучали, сколько в ней настраиваемых параметров и как ее доводили после основного обучения. Эта колонка разбирает сам принцип: что такое веса и обучение, почему создание модели стоит больше ста миллионов долларов, а один короткий запрос к готовой — доли цента, чем чат-бот…
Метка: ChatGPT
О Нобелевской премии 2024 года и ИИ
Ведущий специалист в области искусственного интеллекта и методов машинного обучения Сергей Марков отвечает на вопросы Алексея Кудря и нейронных сетей.
ИИ — рецензент и критик
Эксперименты с GPT-4, о некоторых из которых было рассказано в ТрВ-Наука № 399, продолжаются. В данном случае захотелось узнать, каково мнение ИИ о текстах. Например, отличает ли он перевод хорошей программой от перевода человеком; текст, написанный ИИ (другим ИИ или самим собой), — от текста, написанного человеком; определяет ли авторство текста (вообще или из фиксированного списка, при наличии или при отсутствии образцов)? Чтобы начать получать ответы на эти (и другие) интересные вопросы, был проведен эксперимент, а именно эксперимент в жанре эссе-импровизаций, с участием в качестве авторов людей и ИИ…
«Слепоглухонемой» ChatGPT, нейрографомания и свёрточные функции
Максим Борисов и Борис Штерн беседуют о проблемах искусственного интеллекта с Михаилом Бурцевым, канд. физ.-мат. наук, Landau AI Fellow, London Institute for Mathematical Sciences. Видеоверсию интервью см. по адресу https://youtu.be/UxPXE2Ug3A0
Дуглас Хофштадтер: «Cознание в общепринятом понимании — это иллюзия»
Беседа Дугласа Хофштадтера (Douglas Richard Hofstadter), заслуженного профессора Университета штата Индиана, лауреата Пулитцеровской премии, с Альбертом Ефимовым, канд.филос.наук. Видеоверсию этого интервью, состоявшегося в июле 2023 года, см. по адресу https://youtu.be/mDETjisIur8.
Наука в середине XXI века: какой она будет? Часть 2
Продолжаем публикацию авторизованного транскрипта беседы Сергея Попова, Александра Сергеева и Павла Амнуэля о том, как будет развиваться наука в ближайшие десятилетия. Ранее собеседники задавались вопросами о том, как может повлиять на развитие науки принцип гарантированного дохода, повышение роли искусственного интеллекта, насколько вообще «эзотерична» современная наука, общедоступна ли научная информация, к каким целям наука стремится и сможет ли она их достичь. С видеоверсией этой беседы можно ознакомиться на YouTube-канале Павла Амнуэля «Наука будущего»: https://youtube.com/watch?v=qt4EB8-gfxc.
Искусство интеллекта
Сергей Марков, специалист в области искусственного интеллекта, начальник Управления экспериментальных систем машинного обучения Департамента общих сервисов «Салют» Сбера, основатель научно-популярного портала XX2 ВЕК, отвечает на вопросы Ксении Королёвой о нейросетях. Видеозапись беседы см. https://youtu.be/P7Yp1zk-nI8