Титаны уничтожили трансформеров. Google представляет новую архитектуру ИИ с памятью

Новости
Титаны уничтожили трансформеров. Google представляет новую архитектуру ИИ с памятью

В последние годы искусственный интеллект демонстрирует впечатляющие успехи, превосходя человека в математике, создании кода и решении сложных аналитических задач. Эти достижения во многом стали возможны благодаря архитектуре трансформеров — особому типу нейронных сетей, которые совершили революцию в обработке текста. Трансформеры используют механизм «внимания» (attention), позволяющий им фокусироваться на наиболее важных частях текста, учитывать контекст и связи между словами. Именно на этой архитектуре построены такие известные модели, как ChatGPT, которые умеют генерировать связный и осмысленный текст, переводить языки и выполнять другие сложные задачи.

Однако, существующие модели, основанные на архитектуре трансформеров, имеют ряд ограничений, особенно в области памяти. Одной из главных проблем является ограниченная длина контекста — трансформеры испытывают трудности при обработке очень длинных текстов, так как вычислительные затраты и требования к памяти растут с увеличением длины текста. Это приводит к потере контекста и затрудняет запоминание деталей, особенно из начала текста.

Google сделал важный шаг к преодолению этих ограничений, представив новую архитектуру под названием «Титаны». Ключевая особенность титанов — это мета-контекстная память, которая позволяет модели не только запоминать большие объемы информации, но и учиться запоминать непосредственно во время работы с данными. Это означает, что титаны могут адаптироваться и улучшать свои способности к запоминанию «на лету», что приближает их к человеческому способу обучения.

Как отмечается в недавней статье, посвященной проблеме достижения общего искусственного интеллекта (AGI), современные модели, включая модели на основе трансформеров, часто являются лишь «снимком» знаний, полученных во время предварительного обучения. Они не могут эффективно учиться на небольшом количестве примеров и не обладают способностью к открытому обучению, то есть самостоятельному приобретению новых навыков в реальном мире.

Титаны же решают важную проблему — ограниченную память, позволяя обрабатывать контекст размером более двух миллионов токенов. Это значительно улучшает способность модели понимать и генерировать связный текст, а также решать задачи, требующие запоминания большого количества информации.

Хотя титаны и не являются полным решением проблемы AGI, они представляют собой значительный шаг вперед. Они приближают нас к созданию ИИ, способного не только выполнять узкоспециализированные задачи, но и эффективно работать с большими объемами информации, запоминать и использовать контекст на протяжении длительного времени. Возможно, именно такие архитектуры станут основой для создания искусственного сверхинтеллекта (ASI) в будущем.



Загляни в наш telegram-канал!

164
Нет комментариев. Ваш будет первым!
Яндекс.Метрика