Учиться усваивать знания

Современные подходы к мета-обучению [4] разработаны для решения простых задач обучения. Это ограничивает применимость и масштабируемость фреймворка метаобучения другими проблемами машинного обучения. Нельзя сказать, что не было проведено никакой работы по другим типам задач [3] (например, неконтролируемое обучение, обучение с подкреплением и т. Д.). Быстрое обучение [6] считается фаворитом из-за его сходства с «человеческим обучением» [5]. Использование нескольких примеров для построения моделей, которые могут быть обобщены для задач с похожими распределениями. Я считаю такой подход неправильным. Финн [2] упоминает в своей диссертации, что это предположение справедливо, и основывает на нем свой подход к обучению с использованием нескольких кадров. Однако в реальном мире мы хотим построить самоадаптирующуюся систему, которая способна изучать любую задачу в режиме метаобучения (избегая обучения с нуля и используя прошлый опыт) [4]. Один важный аспект, который упускают из виду многие исследователи, - это данные. Текущие оценки производительности выполняются для обработки наборов данных (MiniImageNet и CIFAR-10). Мы знаем, что машинное обучение - это правильный выбор и построение модели в сочетании с надлежащей очисткой и обработкой данных. Производительность алгоритма обучения зависит от характеристик данных. Это та часть, которую не принимают во внимание большинство исследований в области метаобучения. Мета-характеристики описывают данный набор данных [7]. Использование этой информации может помочь в выборе алгоритмов обучения или модификации уже выбранных и обученных моделей [8]. Ренделл [1] исследует взаимосвязь характеристик данных и алгоритма обучения. Ренделл приходит к выводу, что определенные характеристики данных имеют большое влияние на производительность алгоритма обучения и на само поведение при обучении. Изучение этого аспекта структуры метаобучения затрагивает определенные темы, такие как изучение поведения при обучении, количественная оценка качества обучения и оценка сложности задачи. Все эти темы необходимо изучить, чтобы достичь полностью самоадаптивных структур метаобучения, которые способны понять поставленную цель, выбрать правильную стратегию обучения, оценить процесс обучения и соответствующим образом изменить его [7, 8].

Несмотря на отсутствие четкого направления, которому следуют исследователи в этой области, проводятся высококачественные исследования. Ниже приведены исследовательские проекты, которые продвинули эту область вперед за последние пять лет:

Предлагает изучить функцию потерь без меток на наборе для мета-валидации, чтобы улучшить обобщение базовой модели, превращая проблему в полууправляемое обучение с преобразованием.

Статья в центре внимания, которая послужила толчком к недавним исследованиям в области метаобучения. «Самоадаптивный» подход к метаобучению, при котором изучаются хорошие инициализации для быстрого изучения любой конкретной задачи, не начиная с нуля.

Подход к обучению с подкреплением для обнаружения подходящей архитектуры нейронной сети для новых невидимых задач с ограниченными ресурсами.

База данных крупномасштабных экспериментов с открытым исходным кодом. Этот проект сочетает метаобучение с AutoML, который предлагает доступ к наборам данных, задачам, результатам выполнения алгоритмов обучения и многому другому.

Презентация на семинаре по метаобучению в NeurIPS 2019 рассказала о проделанной работе над метаобучением на уровне теории искусственного интеллекта. Создание самоадаптирующихся и самообучающихся агентов.

Ссылки

  1. Л. Ренделл, Эмпирическое обучение как функция концептуального характера
  2. С. Финн, Учимся с градиентами
  3. WL. Чао, Новый взгляд на метаобучение как обучение с учителем
  4. "Р. Вилалта, Перспективный взгляд и обзор метаобучения »
  5. А. Задор, Критика чистого обучения и того, чему искусственные нейронные сети могут научиться у мозга животных
  6. С. Рави, Оптимизация как модель для быстрого обучения
  7. J. Ваншорен, Мета-обучение: обзор
  8. "П. Б. Браздил, Р. Вилалта, К. Г. Карриер, К. А. М. Соарес, Metalearning: Applications to Data Mining »