12 июня 2017 года восемь исследователей — семеро сотрудников Google и стажер из Университета Торонто — выложили на arXiv статью “Attention Is All You Need” — «Внимание — всё, что нужно». В ней описана архитектура нейросети, получившая название «трансформер». Прошло девять лет, и на этой архитектуре построены все флагманские языковые модели: ChatGPT и Claude, Gemini и Llama, DeepSeek и GigaChat. При общей базовой архитектуре они различаются тем, на каких данных модель обучали, сколько в ней настраиваемых параметров и как ее доводили после основного обучения. Эта колонка разбирает сам принцип: что такое веса и обучение, почему создание модели стоит больше ста миллионов долларов, а один короткий запрос к готовой — доли цента, чем чат-бот…
Метка: GPT-4
Искусственный — это естественно, или Против артифобии
Рост интереса к искусственному интеллекту нельзя не заметить. Причин несколько, как объективных — разработки в области ИИ, такие как AlphaGo, Watson, GPT-4, достигли высокого уровня развития, — так и субъективных: эти программы «ведут себя» похоже на человека, достаточно умного, чтобы оказаться и полезным, и вредным. Человек чувствует, что имеет дело с могучей силой, и ему хочется, чтобы она и всё за него делала, и беспрекословно ему подчинялась. Ощущая, что это вряд ли совместимо, он начинает испытывать страх, приписывая этой силе свойственные человеку мерзости, которые видит вокруг, не понимая, что люди — участники и продукт определенной истории, а у ИИ такой истории нет.
ИИ — рецензент и критик
Эксперименты с GPT-4, о некоторых из которых было рассказано в ТрВ-Наука № 399, продолжаются. В данном случае захотелось узнать, каково мнение ИИ о текстах. Например, отличает ли он перевод хорошей программой от перевода человеком; текст, написанный ИИ (другим ИИ или самим собой), — от текста, написанного человеком; определяет ли авторство текста (вообще или из фиксированного списка, при наличии или при отсутствии образцов)? Чтобы начать получать ответы на эти (и другие) интересные вопросы, был проведен эксперимент, а именно эксперимент в жанре эссе-импровизаций, с участием в качестве авторов людей и ИИ…
Дуглас Хофштадтер: «Cознание в общепринятом понимании — это иллюзия»
Беседа Дугласа Хофштадтера (Douglas Richard Hofstadter), заслуженного профессора Университета штата Индиана, лауреата Пулитцеровской премии, с Альбертом Ефимовым, канд.филос.наук. Видеоверсию этого интервью, состоявшегося в июле 2023 года, см. по адресу https://youtu.be/mDETjisIur8.