Это всего лишь краткий обзор статьи Яна Лекуна Путь к автономному машинному интеллекту (A Path Towards Autonomous Machine Intelligence), доступной здесь https://openreview.net/pdf?id=BZ5a1r-kVsf.

Тщательно впечатлен недавно опубликованной статьей Yann LeCun. Он разбивает общую архитектуру следующим образом:

  1. Модуль конфигуратора осуществляет исполнительное управление:
  2. Модуль восприятия получает сигналы от датчиков и оценивает текущее состояние мира.
  3. Модуль модели мира представляет собой наиболее сложную часть архитектуры. Его роль двояка: (1) оценить недостающую информацию о состоянии мира, не предоставленную восприятием, и (2) предсказать правдоподобные будущие состояния мира.
  4. Модуль стоимости вычисляет один скалярный вывод, который предсказывает уровень дискомфорта агента.
  5. Модуль актера вычисляет предложения для последовательностей действий.
  6. Модуль кратковременной памяти отслеживает текущее и прогнозируемое состояние мира, а также связанные с этим затраты.

Статья умна, чтобы оттолкнуть алеаторическую (тип 1–3) и эпистемологическую (тип 1–4) неопределенность мира от моделирующего распределения, как в RL (который моделирует многообразия как действие, критику и политику на кривой Беллмана). с обобщенным вознаграждением) в скрытую переменную, которую можно оптимизировать или выбрать.

Этот «трюк репараметризации» предлагается реализовать с помощью архитектуры прогнозирования иерархического совместного встраивания (H-JEPA). JEPA фиксирует зависимости между двумя входными данными, x и y, и эти входные данные x и y передаются обучаемым кодировщикам, которые извлекают их абстрактные представления. Затем модуль прогнозирования обучается прогнозировать абстрактное представление с использованием скрытой переменной z.

На сегодняшний день для обучения такого JEPA использовались только методы сжатия, которые не работают для моделей высокой размерности. Но статья Лекуна о VICReg позволяет обучать многомерные модели с использованием регуляризованных методов (настоятельно рекомендуем прочитать это)

Остается открытым вопрос о том, как точно упорядочить скрытую переменную, чтобы минимизировать энтропию. Я нахожу умным то, что ЛеКун рассматривал Рассуждение как модель, основанную на энергии, и рассматривал возможность использования LVEBM (модели, основанные на скрытой переменной энергии).

Конкретные мысли.

1) Много мыслей ушло на создание моделей мира, которые являются самой сложной частью архитектуры. Неясно, возможно ли такое представление модели мира с помощью H-JEPA и подобных методов. Теория категорий в машинном обучении имеет некоторые ключевые перспективы в «инвариантном и эквивариантном обучении» посредством функториального обучения без учителя, которые можно изучить.

2) Роль многоагентного обучения с подкреплением в предложении неясна. Модель в значительной степени полагается на оптимальный контроль в отличие от самоконтролируемого обучения, особенно в больших языковых моделях.

Я буду писать в блоге более подробные мысли по этому поводу, когда буду более глубоко изучать.