Когда и как использовать ИИ-решения в вашем продукте

Логическая анкета

Чтобы объективизировать дискуссию, основанную на наших архаичных чувствах страха и надежды, к которым глубоко привязан человеческий мозг, я создал небольшой скрипт анкеты на Python ниже. Я не ожидаю, что это добавит в дискуссию совершенных рассуждений или будет следовать неукоснительно, как совершенная проповедь, и вы не должны этого делать. Но лучше рассуждать на основе логической системы, когда в основе нет механизма рассуждений. Вы можете заменить такие слова, как инженер в анкете, на художник, чтобы получить представление, которое вы хотите получить в своей отрасли. В конце этого сообщения в блоге я поделюсь потенциальным примером использования ИИ, который мы можем использовать в SerpApi.



Почему внедрение ИИ важно?

Часто бывает сложно решить, нужно ли решение, включающее искусственный интеллект в ваш продукт, или нет. По моим наблюдениям, в таких ситуациях участвуют три группы. Есть крайние защитники природы, которые презирают любые родственные слова, такие как машинное обучение, прогностическое глубокое обучение, нейронная сеть и т. д. Другая крайняя группа — это люди, движимые шумихой, которые не в полной мере понимают последствия того, как технология ИИ может создать дефицит в сектор. Третья сторона — это сторона срединного пути, действующая с учетом потенциала будущего, при этом не забывая о рыночных реалиях, или, проще говоря, оптимизируя альтернативные издержки.

Я не думаю, что какая-либо из трех групп является антагонистической. Я думаю, что для функциональной эволюции любой технологии все три группы являются необходимыми частями общей дискуссии. Но критически важной частью, которую я должен подчеркнуть, является обсуждение. Без обратной связи и обсуждения первая группа не сможет защитить то, что они должны сохранить, поскольку это также является продуктом обсуждения. Без надлежащей обратной связи в ходе обсуждения вторая группа не сможет следить за новыми приложениями ИИ и новыми возможностями автоматизации, а только за научно-фантастическими журналами. Если бы не было этого контраста между первыми двумя группами, срединный путь не смог бы понять, какой потенциал является экспоненциально полезным или вредным.

Десять лет назад мы не так часто использовали инструменты ИИ в нашей жизни. Теперь у нас есть боты, торгующие на алгоритмах, обученных на больших наборах данных, чат-боты, которые используют лидогенерацию, когда человеческий труд короток, обработка естественного языка (NLP) в реальном времени для видеоконтента, беспилотные автомобили, упреждающее обнаружение заболеваний в здравоохранении, алгоритмы обучения для повышения кибербезопасности, более совершенные алгоритмы распознавания речи для виртуальных помощников, таких как Siri от Apple или Alexa от Amazon, и т. д. У нас также не было потенциально опасных технологий, таких как дипфейки, обеспечиваемые достижениями в области компьютерного зрения, социальных сетей и поведения потребителей в электронной коммерции. алгоритмы прогнозирования, предсказательная аналитика для криминалистики, которая может нанести ущерб частной жизни людей, распознавание изображений с помощью общедоступного видеонаблюдения на этнических меньшинствах и многие другие опасные варианты использования. Однако есть один фундаментальный элемент, который привел все эти системы ИИ в нашу повседневную жизнь, и это обсуждение.

Сегодня мы видим, что даже в самых консервативных корпоративных культурах реализована по крайней мере одна жизненно важная технология искусственного интеллекта. Кроме того, в компаниях с культурой, основанной на рекламе, мы можем видеть, что механизм принятия решений должен делать все возможное, чтобы с большой осторожностью удовлетворять потребности реальных клиентов, чтобы выжить в своем секторе.

Также сегодня мы находимся в другой эпохе, когда большие модели обслуживаются через API с помощью простых в реализации команд, прорывы достигаются каждые пару месяцев, а цены демократизируются, а пользовательский опыт и приложения ИИ улучшаются. Достижения в области науки о данных и информатики также позволяют практически любому проводить исследования в области ИИ с открытым исходным кодом. По моему скромному мнению, этот процесс ведет нас к рассвету нового потенциала. Сегодня мы близки к созданию сложных ИИ-алгоритмов решения проблем на индивидуальном уровне, как никогда в истории до нас. Я думаю, что компании, которые имеют оптимальный уровень интеграции ИИ в свою культуру, получат большие преимущества на конкурентном рынке.

По моему личному наблюдению, проще создать мем, указывающий на недостаток большой модели. Это не только проще, но и популярно. Мы, люди, существа социальные. Поэтому, когда кто-то изо всех сил старается дать нам большую модель, мы оглядываемся и видим дурацкий мир в стиле GTA, который издевается над всем и вся, что может. Я не говорю, что они неправы. Но они такие, какие есть. Оптимальной первой реакцией должно быть соображение о корректировке, чтобы заставить ее работать для вашего использования или искать потенциальное будущее, в котором вы могли бы использовать ее, не считая миллионов лет ошибкой в ​​своем прогнозе. Но даже тогда нужно остерегаться фальшивого чувства славы в ожидании лучших условий. Также в отношении архаичных человеческих чувств разумно помнить, что мы развивались в различных условиях, которые заставляют нас принимать решения в определенных условиях. Таким образом, хотя логическое обоснование может облегчить страдания, связанные с объяснением каждой изменяемой детали другой стороне, канал для обсуждения может быть заблокирован с самого начала.

Пример возможного использования ИИ

Я буду использовать анкету, чтобы проверить, нужно ли нашей компании какое-либо решение ИИ, когда оно понадобится или как это решение должно быть реализовано.

  • Нужно ли инженерам время, чтобы сообщить об ошибках в вашей функции?

Да, в SerpApi мы постоянно проверяем наличие ошибок и предотвращаем появление возможных ошибок в коде посредством тщательного процесса проверки. Наши инженеры постоянно ищут ошибки в функциях, которые мы обслуживаем.

  • Нужно ли клиентам время, чтобы сообщить об ошибках в вашей функции?

Да. Хотя мы стараемся принимать упреждающие меры для устранения ошибок, иногда мы получаем отчеты от наших клиентов.

  • Проходит ли какое-то время между сообщением об ошибке и исправлением функции вашего сервиса, которая влияет на производительность клиентов?

Нет. Это должно вызвать какие-то нарушения. Но я не могу сказать, что это сбой на уровне производства, потому что мы пытаемся решить проблемы оперативно.

  • У вас есть какая-то автоматизированная система обслуживания, которая требует меньшего вмешательства инженера для этой функции?

Да. Мы тестируемая компания. Это означает, что каждый раз, когда мы что-то исправляем или поддерживаем новую функцию, она сопровождается собственными модульными тестами. Поэтому каждый раз, когда мы работаем над чем-то еще в той же функции, мы обеспечиваем безопасность, проверяя, не аннулируются ли предыдущие действия настолько, насколько это возможно.

  • Требует ли заказчик ТОЧНОГО решения для этой функции?

Да. Большинство наших клиентов требуют точности данных, которые мы предоставляем, чтобы они имели хорошую основу.

  • Требует ли клиент ДЕШЕВОЕ решение для этой функции?

Да. Ценовая категория за оказанные услуги играет важную роль для большинства наших клиентов, поскольку является жизненно важной частью свободной конкурентной экономики.

  • Требует ли клиент БЫСТРОЕ решение для этой функции?

Да. Скорость играет важную роль, особенно при работе с данными в реальном времени. Большинство наших клиентов требуют быстрого отклика от нашего сервиса.

  • Обеспечивает ли решение ИИ более или столь же ТОЧНЫЙ результат, чем функция вашего сервиса?

Да. Объем, который я хотел бы взять, - это синтаксический анализ. Большие модели LLM, такие как GPT-3, стали достаточно точными, чтобы делать то, что делает парсер HTML. Некоторые ограничения, такие как размер токена и шум при работе с большим корпусом, не следует рассматривать как проблему точности. Это потому, что он подпадает под категорию скорости. Вы всегда можете переопределить область подсказки и получить лучшие результаты при нескольких вызовах.

  • Обеспечивает ли решение ИИ НЕДОРОГОЙ результат, чем функция вашего сервиса?

Нет. По большинству наших функций даже доработанная модель предыдущего поколения не может конкурировать с нашей ценой. Для получения дополнительной информации вы можете проверить Цены на SerpApi.

  • Обеспечивает ли решение AI БЫСТРЫЙ результат, чем функция вашего сервиса?

Нет. Традиция синтаксического анализа HTML присутствует в древностях эпохи Интернета. Скорость, с которой мы анализируем HTML, даже не стоит сравнивать с большими моделями LLM, обслуживаемыми через внешние API. Вы можете проверить Статус API SerpApi, чтобы получить информацию о среднем времени отклика для глубоко заполненных результатов JSON.

  • Является ли решение ИИ ЛЕГЧЕ в обслуживании, чем функция вашего сервиса?

Да. Сегодня довольно легко каким-то образом внедрить ИИ для поддержки или замены синтаксического анализа, а также упростить обслуживание. Количество ошибок, с которыми вы можете столкнуться, гораздо меньше в решении ИИ, особенно в режиме поддержки.

Помимо этих моментов, рассмотрим следующий сценарий: у вас есть 10 ключей, которые нужно очистить и обслужить. В вашем традиционном парсере есть ошибка, которую вы не осознавали и не дорабатывали 2 недели. У вас также есть синтаксический анализатор ИИ, где вы можете извлечь 9 элементов из одного и того же тела, которое вам нужно очистить и обслужить, и 1 ключ дает нечеткий результат здесь и там. Это означает, что ваш анализатор AI имел точность 90%, тогда как ваш традиционный анализатор имел точность 80%.

Таким образом, нечеткие результаты не всегда являются признаком проблем, если сравнивать их с традиционными методами. Но если вы можете помочь с обслуживанием традиционного анализатора с помощью анализатора ИИ, вы можете выиграть время, необходимое для поиска тонкой проблемы в этих двух ключах. В целом точность 80% в течение 2 недель будет увеличена.

  • Результаты
It takes time for both your engineers and customers to report bugs.
Your team is using an automated system to maintain the feature. Customers are happy with which speed of bug resolution.
The Customer demands PRECISION, INEXPENSIVENESS, and SPEED from the feature, and the feature is EASY to maintain.
AI Solution is better at MAINTAINABILITY, and PRECISION. AI solution is worse at PRICE, and SPEED.
You can use the precision of AI as a supportive tool for tasks such as bug reporting or maintenance to enhance your current feature.

Таковы результаты, к которым привели нас логические рассуждения. Как видите, предложение не в том, чтобы заменить текущую функцию или использовать ее как отдельную функцию. Это потому, что ИИ не может обеспечить дешевизну и скорость, которые уже требует клиент. Однако лучше использовать его как вспомогательный инструмент для обнаружения ошибок. Таким образом, нет риска для безопасности, связанного с требованиями клиентов. В целом, он направлен на то, чтобы в большей степени удовлетворить спрос на точность и отнимать у клиентов и инженеров меньше времени на этот процесс.

Предложение для бота для отчетов об ошибках с искусственным интеллектом

Я полагаю, что если мы сможем внедрить инструмент обнаружения ошибок ИИ, который прост в обслуживании, мы сможем значительно сократить время, затрачиваемое на сообщение об ошибках.

Вот основная теоретическая схема такого инструмента:

  • Инструмент берет основные элементы HTML, которые мы анализируем по отдельным частям.
  • Выполняется вызов одного из механизмов SERP SerpApi.
  • Ответ JSON от SerpApi, в котором собирается интересующий элемент.
  • Необработанный HTML-код берется из конечной точки SerpApi.
  • Необработанный HTML используется в подсказке для создания ответа JSON в той же схеме, что и SerpApi.
  • Сравниваются отдельные ответы JSON.
  • Если есть разница в одном из ключей, автоматический бот сообщает о возможной проблеме в Дорожной карте SerpApi Public.

Я благодарен читателю за уделенное мне время. Я поделюсь подробностями такого проекта, если мы решим его реализовать.