Публикации по теме 'data-quality'


Управление качеством данных с большими_ожиданиями
В последние годы наблюдается постоянная тенденция использования больших данных для решения сложных задач. Это могут быть какие-то бизнес-задачи, рекомендации или какой-нибудь современный ИИ, который учит, кому играть в судоку. Что является общим в этих задачах? Правильно, это данные, которые являются святым Граалем в нашем сегодняшнем мире. Вы можете собирать тонны данных от своих пользователей или продукта и создавать конвейеры больших данных, чтобы получать ценную информацию. Но что,..

Подход к анализу качества данных дат с использованием z-score и IsolationForest (с Python)
Простой способ обнаружения выбросов с помощью z-score и Isolation Forest. В продолжение статьи Подход к анализу качества данных дат с использованием основных статистических методов (с Python) мы собираемся использовать z-score, статистический расчет, основанный на стандартном отклонении. Z-оценка После импорта и изучения набора данных о датах рождения (из соответствующей статьи) нам нужно преобразовать все даты в числа (даты в простые числа и даты в возрастах с настоящего..

ИИ, ориентированный на данные: почему это будущее ИИ
Аспект качества данных, наконец, получает заслуженное внимание. вот почему. Имя Эндрю Нг вошло в историю благодаря его теории, которая реформировала развитие ИИ. Мы знаем, что он бывший глава Google Brain , бывший главный научный сотрудник Baidu и самая плодовитая и уважаемая фигура в ИИ-сообществе.

Раскрытие скрытых издержек низкого качества данных
В современную цифровую эпоху данные служат источником жизненной силы бизнес-операций, стимулируя принятие решений, инновации и качество обслуживания клиентов. Однако качество данных имеет первостепенное значение, поскольку низкое качество данных может привести к значительным скрытым затратам на каждом этапе типичного рабочего процесса машинного обучения, которые влияют на деятельность и успех компании. Недавно мы выпустили блог, в котором рассматриваются далеко идущие последствия..

Уроки, извлеченные из опыта Uber: разработка интеллектуального монитора качества данных
Работая в Uber, я руководил разработкой монитора качества данных (DQM) для отслеживания состояния данных критически важных платформ. В этом сообщении в блоге о работе в Uber я обсуждаю подход к статистическому моделированию, который позволил моей команде контролировать качество данных в масштабе, на уровне петабайтов и тысяч заданий конвейера данных. Хотя решение было разработано специально для Uber, из процесса проектирования и разработки следует извлечь универсальные уроки, которые..