Понимание различных компонентов и ролей в науке о данных
В науке о данных есть много областей, и иногда эти роли похожи друг на друга или используются взаимозаменяемо. Сначала перечислим эти термины и попробуем их понять.
Различные части науки о данных могут быть следующими:
- Большие данные
- Сбор данных
- Аналитика данных
- Анализ данных
- Наука о данных
- Машинное обучение
Наука о данных — это зонтик, под которым укрываются все эти термины. Наука о данных в питоне — это как бы законченный предмет, который имеет внутри себя разные этапы. Предположим, розничный продавец хочет спрогнозировать продажи товара X, имеющегося в его запасах, в следующем месяце. Это известно как бизнес-проблема, и наука о данных стремится предоставить оптимизированные решения для нее.
Наука о данных позволяет нам решить эту бизнес-проблему с помощью ряда четко определенных шагов.
Шаг 1. Сбор данных
Шаг 2. Предварительная обработка данных
Шаг 3. Анализ данных
Шаг 4. Получение информации и создание отчетов бизнес-аналитики
Шаг 5. Принятие решения на основе информации
Как правило, это шаги, которые мы чаще всего выполняем для решения бизнес-проблемы. Все термины, связанные с наукой о данных, подпадают под разные этапы, которые мы скоро поймем. Различные термины относятся к разным этапам, перечисленным выше.
- Сбор данных. Для решения любой проблемы с использованием подхода, основанного на данных, первое, что требуется, — это данные. Чтобы что-то анализировать, нам сначала нужны данные. Иногда данные будут предоставлены вам в готовом к использованию формате (что бывает редко), в противном случае вам придется собирать данные из клиентской базы данных и других источников. Здесь подходит наш первый термин БОЛЬШИЕ ДАННЫЕ. Большие данные — это не что иное, как любые данные, которые слишком велики/сложны для обработки. Большие данные не обязательно означают большие данные в науке. Большие данные характеризуются тремя различными свойствами, и если ваши данные обладают этим свойством, их можно назвать большими данными. Эти свойства определяются тремя параметрами V.
– Объем: данные в терабайтах
– Скорость: потоковая передача данных с высокой пропускной способностью
– Достоверность: данные с различной структурой
В розничном бизнесе множество транзакций совершается каждую секунду большим количеством клиентов, хранится множество данных в структурированном или неструктурированном формате о клиентах, сотрудниках, магазинах, продажах и т. д. Все эти данные, собранные вместе, очень сложны для обработки или даже понимания. Технологии больших данных, такие как Hadoop, Spark, Kafka, упрощают нашу работу здесь. - Очистка данных. Это одна из задач, которую вы всегда будете выполнять. Очистка данных, по сути, означает удаление несоответствий из ваших данных, таких как отсутствующие поля, неправильные значения, установка правильного формата данных, структурирование данных из необработанных файлов и т. д. Любой процесс с этого момента до получения аналитических сведений подпадает под анализ данных. Он включает в себя извлечение, очистку, преобразование, моделирование и визуализацию данных с целью выявления значимой и полезной информации, которая может помочь в выводах и принятии решений. Данные, к которым он применяется, могут быть структурированными или неструктурированными. Мы можем получить данные о каком-то розничном магазине, в котором отсутствует информация о фамилии или телефонных номерах сотрудников. Знание того, как справляться с такими ситуациями, является частью процесса очистки данных.
- Анализ данных. Теперь мы создаем план анализа данных. Существуют различные типы аналитики данных, которые можно выполнять с данными в зависимости от решаемой проблемы. Различные типы аналитики могут включать описательную аналитику, прогнозную аналитику и предписывающую аналитику. Поэтому сначала мы определяем, какой тип аналитики мы собираемся выполнять. Это часть анализа данных. После получения структурированных данных от операций очистки (что обычно и бывает) мы выполняем операцию интеллектуального анализа данных, чтобы идентифицировать и обнаруживать скрытые закономерности и информацию в большом наборе данных. Это известно как интеллектуальный анализ данных. Например, определение сезонности в продажах. Анализ данных — это более целостный подход, но интеллектуальный анализ данных имеет тенденцию находить скрытые закономерности только в данных. Эти обнаруженные шаблоны используются для анализа данных, используемого для выработки гипотез и поиска идей.
- Поиск информации и отчеты бизнес-аналитики: проанализировав данные, мы собираем информацию из данных, которая позволяет нам предпринимать действия. Эти идеи могут быть основаны на информации, которую мы собрали в процессе интеллектуального анализа данных или на основе некоторых прогнозов. Эти прогнозы могут исходить из математической модели, которая просто принимает входные параметры и прогнозирует некоторые окончательные значения. Машинное обучение в основном применяется на этом этапе, когда мы делаем прогнозы на будущее и проверяем нашу ранее определенную гипотезу. Машинное обучение — это метод, при котором мы получаем математическую модель, изучая закономерности, присутствующие в данных.
- Действия. Основываясь на всех выводах, которые мы получили в результате наблюдения за данными или результатов модели машинного обучения, мы переходим в состояние, в котором мы можем принимать некоторые решения относительно любой бизнес-проблемы. Например, сколько товара X нам нужно иметь на складе. Какую скидку следует предоставить на товар X, чтобы увеличить его продажи и сохранить баланс между скидкой и прибылью?
Разные роли в отрасли обработки и анализа данных
Есть несколько ролей, которые профессионал может взять на себя в индустрии науки о данных. Есть сертификаты по науке о данных, которые тоже пользуются большим спросом. Все эти роли так или иначе имеют дело с данными, но отличаются друг от друга в зависимости от того, что вы делаете с данными.
Ученый по данным
Он/она овладевает целым рядом навыков и талантов, начиная от возможности обрабатывать необработанные данные, анализировать эти данные с помощью статистических методов, делиться своими взаимодействует со своими сверстниками убедительным образом. Неудивительно, что такие профили очень востребованы такими компаниями, как Google и Microsoft.
Аналитик данных
Он/она владеет такими языками, как R, Python, SQL и C. Основная ответственность заключается в сборе, обработке и проведении статистического анализа данных.
Инженер данных
Инженер данных часто имеет опыт разработки программного обеспечения и любит экспериментировать с базами данных и крупномасштабными системами обработки данных.
Архитектор данных
С появлением больших данных важность работы архитектора данных быстро возрастает. Человек в этой роли создает чертежи систем управления данными для интеграции, централизации, защиты и обслуживания источников данных. Архитектор данных владеет такими технологиями, как Hive, Pig и Spark, и должен быть в курсе всех инноваций в отрасли.
Статистик данных
Исторический лидер в области данных и их анализа. Хотя часто забывают или заменяют более причудливыми названиями должностей, статистик представляет собой то, что означает область науки о данных: получение полезной информации из данных.
Инженер по машинному обучению
Искусственный интеллект — это цель инженера по машинному обучению. Они программисты, но их внимание выходит за рамки конкретного программирования машин для выполнения конкретных задач. Они создают программы, которые позволяют машинам выполнять действия без специального указания на выполнение этих задач. Примером системы, над которой будет работать инженер по машинному обучению, является беспилотный автомобиль. Они играют ключевую роль в предоставлении информации для работы, выполняемой аналитиками, например, в прогнозировании продаж продуктов, сегментации различных типов клиентов на основе их привычек и характеристик и т. д.
Бизнес-аналитик
Бизнес-аналитик, менее технически ориентированный, компенсирует это своим глубоким знанием различных бизнес-процессов. (S) он овладевает навыками связывания информации из данных с практическими бизнес-идеями и может использовать методы сторителлинга для распространения сообщения по всей организации.
Заключение
Большие данные: сбор и обработка любых данных, которые огромны по объему, скорости поступления/обработки или неизменны по структуре.
Интеллектуальный анализ данных: процесс обнаружения скрытых закономерностей. в структурированных данных и найти скрытую информацию в данных
Аналитика данных: это процесс, который на один шаг выше интеллектуального анализа данных. Аналитика данных определяет тип выполняемого анализа, в рамках которого будут выполняться методы интеллектуального анализа данных.
Анализ данных: это более общий подход к получению информации из необработанных данных путем формирования гипотезы и подтверждение их с помощью статистических тестов.
Наука о данных: определяет процесс понимания бизнес-проблемы для предоставления решения
Машинное обучение: Это инструмент, используемый в аналитике данных для прогнозирования/обнаружения скрытого слоя информации в данных. Примером может быть прогнозирование коэффициента убыли в организации / останется ли сотрудник в организации или покинет ее.