Чувственные машины
Взрослый эксперимент компьютерного зрения
«Во-первых, мы учим их видеть.»
«Тогда они помогают нам видеть лучше.»
Постепенно мы даем машинам зрение. Во-первых, мы учим их видеть. Затем они помогают нам лучше видеть. Впервые человеческие глаза будут не единственными, кто размышляет и исследует наш мир . - Fei Fei Li
Sensual Machines - это серия экспериментов по изучению систем компьютерного зрения. Эти эксперименты стремятся явно подчеркнуть важность не только входов, но также, что, возможно, даже более важно, выходов и результатов такой машинной активности. Как бы мы увидели наш мир лучше глазами машин?
Эксперимент начался невинно с веб-краулера, собравшего 10 ГБ изображений из Интернета. Затем данные были проанализированы. К сожалению, большая часть этих изображений оказалась порнографической или милитаристской по своему характеру. Давайте исследуем эту взрослую статистическую аномалию глазами машин, чтобы лучше видеть.
Признание
Распознавание изображений с помощью нейронных сетей
Распознавание объектов решает проблему поиска и идентификации объектов на изображении или видео. Люди без особых усилий распознают множество объектов на изображениях. Мы узнаем объекты, даже если они частично закрыты для обзора или перекошены. Эта задача по-прежнему остается проблемой для компьютерного зрения.
Эксперимент начался с исследования RCNN. RCNN - это современная система обнаружения объектов , основанная на сверточных нейронных сетях. RCNN делает относительно простым высококачественное обнаружение объектов и лиц. Дополнительно использовался Project Oxford, так как он предлагает встроенную классификацию по полу и возрасту.
Предупреждение NSFW. То, что далее следует, потенциально шокирует и вызывает сомнение с точки зрения морали.
Отредактированный выбор из 1000 изображений, проанализированных с помощью распознавания изображений:
Сегментация
Семантическая сегментация с помощью нейронных сетей
Семантическая сегментация связывает заранее определенные метки с каждым пикселем изображения. Он разделяет входное изображение на области, которые соответствуют объектам в сцене. Обнаружение объектов легко сводится к семантической сегментации.
Недавно в исследовании Оксфордского университета было предложено использовать Условные случайные поля как рекуррентные нейронные сети для семантической сегментации. Код исследования не был опубликован, но онлайн-демонстрация позволяет нам использовать систему с изображениями по выбору. Выходы были проанализированы с помощью t-SNE . Наконец, изображения были вручную отобраны и рекомбинированы с использованием наивного метода упаковки в корзину.
Предупреждение NSFW: Это становится немного ... мясистым ... здесь.
Еще одна отредактированная выборка из 1000 семантически сегментированных изображений:
Визуализация
Проверка нейронных сетей. Глубоко.
Методы визуализации помогают нам понять, как работают нейронные сети, особенно какие вычисления они выполняют на промежуточных уровнях. Изучение моделей активации, которые меняются, помогает выработать ценную интуицию.
Этот этап эксперимента начался с исследования Deep-Visualization-Toolbox ( бумажный ). Это позволяет нам визуализировать активации, производимые на каждом уровне обученной сверточной нейронной сети, когда она обрабатывает изображение или видео. Этот инструмент дает нам представление о том, что представляют собой машины.
Отредактированный набор изображений, созданных с помощью Deep-Visualization-Toolbox.
Поколение
Рост генеративного содержания (совет от профессионала: начнем с порнографии.)
Эти эксперименты исследуют методы, которые можно использовать для создания контента с помощью вычислений. На протяжении всего этого процесса стал очень очевидным один редко признаваемый факт: входные, выходные и результаты нужно было выбрать. Человеком. Мы по-прежнему получаем только то, что вложили.
Говоря более тонко: очень скоро кто-нибудь будет использовать машинное обучение для создания невиданных уродств изображений взрослых по вашему запросу. Вскоре ввод ваших самых сокровенных желаний приведет к созданию результатов фото и видео. Пришло время начать дискуссию о последствиях этого.
Я решил не создавать порно, а сосредоточился на общей картине. Не относитесь к этому эксперименту слишком * серьезно *: пока мы являемся свидетелями появления чувственных машин, жизнь слишком коротка, чтобы не смеяться ;-)
Свяжитесь с нами здесь: https://twitter.com/samim | Http://samim.io
Подпишитесь на информационный бюллетень, чтобы увидеть больше подобных экспериментов!
Редакционная поддержка: Борис Антоний.
Последующая разработка
Всего через 2 дня после того, как я опубликовал Чувственные машины, Google опубликовал код Inceptionism на G ithub. Как и предполагалось в этом посте, всего через 10 часов неизвестный аккаунт T witter разместил следующее изображение. Хочу четко заявить, это сделано НЕ мной. Я делюсь этим здесь для полноты картины. ВНИМАНИЕ: NSFW!
Чувственные футболки
Мода на создание одежды:
КУПИТЬ: Чувственная футболка №1
КУПИТЬ: Чувственная футболка №2
Скоро будет больше! Дайте мне знать, что бы вы хотели видеть дальше в Твиттере.
Ссылки для дальнейшего изучения
LSD: крупномасштабная глубокая нейронная сеть, визуализирующая функции верхнего уровня: https://317070.github.io/LSD/
Inceptionism: углубление в нейронные сети: http://googleresearch.blogspot.de/2015/06/inceptionism-going-deeper-into-neural.html
Разоблачение мечты о вложениях слов: на пути к созданию изображений на основе языка: http://arxiv.org/abs/1506.03500
NeuralNets проекта Eyescream мечтают о естественных изображениях: http://soumith.ch/eyescream/
Генеративные состязательные сети: https://github.com/goodfeli/adversarial
Понимание представлений глубоких изображений путем их инвертирования: https://github.com/aravindhm/deep-goggle и http://arxiv.org/pdf/1412.0035v1.pdf
HOGgles: функции визуализации обнаружения объектов: http://web.mit.edu/vondrick/ihog/
DeepStereo: учимся предсказывать новые виды на основе изображений мира: http://arxiv.org/pdf/1506.06825v1.pdf и https://www.youtube.com/watch?v = cizgVZ8rjKA
DeepPose: оценка позы человека с помощью глубоких нейронных сетей: https://github.com/mitmul/deeppose
DeepFace: устранение пробелов в проверке лиц на уровне человека: http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Taigman_DeepFace_Closing_the_2014_CVPR_paper.pdf
Сверхвысокое разрешение изображения для аниме-стиля: https://github.com/nagadomi/waifu2x
Визуальный мониторинг пульса: измерение частоты пульса на лицах при окружающем освещении: https://github.com/shelhamer/visual-pulse-monitor
Обнаружение наготы: http://www.patrick-wied.at/static/nudejs/ и http://sightengine.com/
Алгоритм вычислительной эстетики определяет красоту, которую люди не замечают: http://www.technologyreview.com/view/537741/computational-aesthetics-algorithm-spots-beauty-that-humans-overlook/
Глубокая сверточная нейронная сеть для деконволюции изображений: http://lxu.me/mypapers/dcnn_nips14.pdf и http://lxu.me/projects/dcnn/