Пришло время подумать о решении меньшего размера, более простом и менее требовательном к данным, которое позволит настроить ИИ на будущее. Знакомство с активным обучением памяти.

Фон

В 2018 году я начал свой путь к изучению компьютерного программирования с намерением узнать об искусственном интеллекте (ИИ). Изначально я хотел изучать только концепции поверхностного уровня, потому что ИИ становился все более распространенным в повседневной жизни. После того, как я погрузился в предмет ИИ в течение следующих двух с половиной лет, я начал влюбляться в эту область и начал изучать предмет.

Как ни мило звучит эта история, изучать ИИ самому иногда было довольно сложно. Большинство фреймворков (отправные точки / общие функции, например: Tensorflow, Pytorch) часто предполагают, что у вас есть предварительное образование в области ИИ или математики. В то время я не был ни тем, ни другим. Я чувствовал, что у меня есть хорошие идеи, и если бы ИИ был немного проще для новичка, я мог бы преуспеть и создавать значимые приложения. Перенесемся вперед, несколько лет спустя, я преодолел первоначальные проблемы роста и начал создавать проекты в области ИИ.

Проработав всего 2 года в этой области, я уже видел, как тенденции приходят и уходят. Есть одна тенденция, которая, на мой взгляд, является неотложной проблемой в области ИИ, которую необходимо решить для следующего поколения ИИ. Я считаю, что нашел серьезного претендента на решение, не связанное с нейронными сетями.

Краткое описание: нейронные сети, наборы данных и размер модели

Что я имею в виду для тех, кто не знаком с нейронными сетями, такими терминами, как размер модели и набор данных? Позвольте мне сначала кратко объяснить нейронные сети, а затем я объясню размер модели и наборы данных. Если вы уже все это знаете, переходите к следующему разделу.

Искусственные нейронные сети (нейронные сети) - это программный метод, используемый для построения моделей искусственного интеллекта. Причина, по которой этот метод называется нейронными сетями, заключается в том, что первоначальные создатели нейронных сетей хотели имитировать то, как мы учимся как люди на компьютерах. Нейронные сети содержат «искусственные нейроны», которые позволяют компьютерам выполнять базовые задачи, такие как распознавание изображения собаки, или выполнять сложные задачи, такие как вождение автомобиля. Как это работает? Нейронные сети проходят процесс, называемый «Обучение». Я избавлю вас от технических деталей, но для того, чтобы нейронная сеть «изучила» задачу, она показывает тысячи входных данных (например, изображения), чтобы можно было обобщить для выполнения этой конкретной задачи. Так, например, если вы хотите, чтобы нейронная сеть распознавала объекты дорожного движения, вы должны показать ей 10 000 изображений знака остановки, 10 000 изображений светофоров и т. Д. После этого модель будет практиковаться (обучать) распознаванию этих изображений в течение часов, дней или даже недель после прохождения набора данных. Это то, что набор данных - это: набор входных данных, которые позволяют модели ИИ или нейронной сети изучить задачу.

Теперь, когда у вас есть краткое представление о наборах данных, давайте поговорим о размере модели. Простой способ подумать о размере модели в контексте нейронных сетей - это вспомнить часть нейронных сетей искусственный нейрон. Как и наш человеческий мозг, каждый нейрон связан с другим нейроном. Это похоже на нейронные сети и простой способ думать о размере модели, когда речь идет об искусственном интеллекте. Каждое искусственное соединение имеет функцию, которая позволяет нейронной сети делать прогноз или решение. Итак, Размер модели можно рассматривать как необработанное количество искусственных нейронов в одной модели.

Теперь, когда у вас есть общее представление о наборах данных и размере модели, позвольте мне продолжить объяснение насущной проблемы: Первая эра вычислений.

Вычислительная первая эра искусственного интеллекта

Изучая ИИ, я заметил три основных тенденции:

Размеры моделей, вычислительные ресурсы и требования к наборам данных растут с экспоненциальной скоростью.

Этот график взят из исследования, проведенного OpenAI. На графике показана вычислительная мощность, необходимая в пета-флоп-днях для старых и современных моделей ИИ (примечание: один пета-флоп-день определяется как способность компьютера выполнять ~ 1 квадриллион операций в секунду в течение одного полного дня).

Что можно сделать из этого графика? Для начала, график показывает значительный всплеск требуемой вычислительной мощности с 2011 года, когда глубокие нейронные сети начали набирать обороты. Когда размеры модели AI увеличиваются, требования к вычислениям также возрастают. Почему это так важно для ничего не подозревающего глаза?

Количество транзисторов в компьютерах увеличивается вдвое со скоростью ~ 2 года (вычислительная мощность)

Размеры моделей искусственного интеллекта удваиваются со скоростью от 3 до 4 месяцев (требуемая вычислительная мощность)

Требуемые вычисления на основе моделей искусственного интеллекта увеличиваются, но у нас нет вычислительных ресурсов, чтобы поддерживать эту тенденцию в долгосрочной перспективе.

Но ведь для этого есть причина, не так ли? Да, есть. Причина в том, как улучшаются нейронные сети:

Когда предоставляется больше данных, размер модели и вычислительная мощность увеличиваются. В свою очередь, нейронные сети улучшаются. Однако эта тенденция увеличивает стоимость разработки моделей ИИ, что фактически вытесняет людей из ИИ. Чтобы быть стартапом или любителем в сегодняшней экосистеме искусственного интеллекта, вам нужно иметь масштаб, чтобы поддержать это. Для большинства людей и стартапов это невозможно.

Так что можно сделать? Конечно, мы не хотим откладывать прогресс в области ИИ, но мы также не можем продолжать эту тенденцию.

Сегодня я хотел бы представить то, что я называю активным обучением памяти, которое решает все эти проблемы.

Представляем Active Memory Learning (AML)

Активное обучение памяти - это новый метод искусственного интеллекта, который я создал для устранения недостатков нейронных сетей. С помощью AML вы можете создавать высокоточные модели искусственного интеллекта, используя всего 3 точки данных. AML - это часть развивающейся области искусственного интеллекта под названием Few-Shot-Learning (FSL). FSL - это способность ИИ изучать задачу с очень небольшим количеством данных, сохраняя точность современных методов.

Проблема с FSL проста: большинство методов - отстой по сравнению с нейронными сетями, или они упускают из виду суть FSL, добавляя дополнительные вычислительные потребности. Здесь на помощь приходит активное обучение памяти: с помощью AML вы можете строить модели ИИ практически без каких-либо данных, поддерживать точность и избавляться от обучения.

Подожди ... Я сказал, избавься от тренировок? да. Модели AML в среднем создаются за 10 секунд на процессоре начального уровня. Не требуется ни обучения, ни дорогостоящего оборудования.

Модели AML не только не нуждаются в обучении, их можно редактировать. Если ваша модель имеет низкую точность, вы можете динамически редактировать ее, показывая ей больше входных данных. Это сделано потому, что модели AML имеют активную память, что означает, что модели могут точно запоминать то, что им было показано ранее. Благодаря возможности точно запомнить то, что ему было показано ранее, и применить это к новой ситуации, это снижает потребность в больших данных.

Еще одно огромное преимущество AML заключается в том, что один метод можно легко обобщить на текст, изображения, числовые и категориальные данные, что делает его легко адаптируемым по сравнению с нейронными сетями.

В целом, AML имеет множество преимуществ по сравнению с нейронными сетями для предприятий, разработчиков и любителей, которые хотят начать работу с искусственным интеллектом.

Будущее искусственного интеллекта - за активными учениками, а не учащимися один раз

Двигаясь вперед в области ИИ, большинство компаний и исследовательских групп преследуют одну цель: Общий искусственный интеллект (AGI). AGI описывает (по определению большинства людей), когда искусственный интеллект столь же умен, как человек. Люди могут брать задания, показывая им маленькие примеры, и адаптировать их к новым ситуациям. Никто точно не знает, как будет выглядеть AGI, но люди могут строить догадки, как мы этого добьемся.

Я лично считаю, что нам нужно двигаться к активным ученикам и отказываться от учеников разового обучения. Это причина, по которой я построил активное обучение памяти. Нейронные сети учатся один раз: они изучают задачу и не улучшаются после этого. Активное обучение памяти - это метод, который позволяет машинам быть активными учениками и улучшаться после того, как они начали.

Если обратиться к предыдущему графику (улучшение нейронной сети), мы в конечном итоге столкнемся с узким местом либо в вычислениях, либо в производительности. Что тогда происходит? Сообщество искусственного интеллекта в значительной степени полагалось на нейронные сети для решения проблем, не задумываясь о дальнейших действиях, кроме увеличения масштабов.

Я добавлю, что AML не является решением AGI, по крайней мере, сейчас. Однако возникает хороший вопрос о том, на чем мы должны сосредоточиться в разработке ИИ.

Нам нужно думать вперед и думать, в каком направлении мы движемся. Active Memory Learning - это решение растущих потребностей в вычислениях, проблема больших данных и переход к активным ученикам.

Используйте AML для вашего следующего проекта

Если вы хотите опробовать AML, попробуйте единственный онлайн-интерфейс Developer API, который использует Active Memory Learning: clevrML. clevrML стремится упростить процесс создания, развертывания и редактирования ИИ для всех, сохраняя при этом низкие затраты. Нет более сложной документации, руководств или длительного процесса обучения. Просто создайте учетную запись, скопируйте и вставьте фрагмент кода и используйте API. Поверьте, попробовать стоит.

Проверьте это здесь, на www.clevrml.com.

Спасибо, что прочитали этот пост, и не стесняйтесь делиться. Если вы хотите быть в курсе новостей AML / clevrML, зайдите на сайт прямо сейчас! Скоро появится блог.

  • Приземляться