12 июня 2017 года восемь исследователей — семеро сотрудников Google и стажер из Университета Торонто — выложили на arXiv статью “Attention Is All You Need” — «Внимание — всё, что нужно». В ней описана архитектура нейросети, получившая название «трансформер». Прошло девять лет, и на этой архитектуре построены все флагманские языковые модели: ChatGPT и Claude, Gemini и Llama, DeepSeek и GigaChat. При общей базовой архитектуре они различаются тем, на каких данных модель обучали, сколько в ней настраиваемых параметров и как ее доводили после основного обучения. Эта колонка разбирает сам принцип: что такое веса и обучение, почему создание модели стоит больше ста миллионов долларов, а один короткий запрос к готовой — доли цента, чем чат-бот…
Метка: нейросеть
Империя Илона Маска, или Всё не то, чем кажется?
Нередко встречаю в комментариях к моим постам в соцсетях резкую критику системы Starship. Мол, с момента первого анонса Falcon 9 в сентябре 2005 года до первого успешного орбитального пуска прошло четыре года и девять месяцев, а с момента анонса Starship в 2012 году уже прошло около 13 лет, а орбитального полета до сих пор не было. Так что происходит, неужели хваленый Илон Маск «сломался» и не может за 13 лет создать ракету? Почему он не желает менять конструкцию Starship? И вообще, зачем всё это? Давайте разбираться.
«Зловещая долина» и розыгрыш
Кукла часто вызывает страх, но может ли она выиграть жалость? Если театральная игра всегда в чем-то розыгрыш, то как марионетки могут вызвать серьезные внутренние переживания у зрителей? Культурологи Александр Марков и Оксана Штайн, обращаясь к размышлениям Юрия Лотмана о кукле и теориям искусственного интеллекта, по-новому прочитывают катарсис Аристотеля.
Поэзия искусственного интеллекта. Эксперименты и выводы
Михаил Эпштейн, заслуженный профессор теории культуры и русской литературы Университета Эмори (Атланта, США), недавно разместил в социальных сетях стихи, сгенерированные нейросетью Claude 3.5 Sonnet в стиле известных русских поэтов XX века. Эксперимент вызвал бурную дискуссию.