Когнитивный поиск
Когнитивный поиск (с лат. cognitio «познание, осознание») — технология поиска связей между объектами с помощью когнитивных вычислений, которые распознают контекст, релевантность, намерение и интерес. Для когнитивного поиска используется как объективная, так и субъективная оценка предмета поиска[1].
Наличие когнитивного поиска является одним из базовых элементов при создании когнитивных системы. Для реализации когнитивного поиска предлагается рассматривать систему как автономный регистратор событий, автоматически выстраивающий связи между ними с использованием предыдущего опыта.
Особенности когнитивного поиска
- Понимание данных любых форматов (в том числе аудио, видео, текст, изображение и т. д.). Когнитивные поисковые решения подключаются и получают данные из разных источников. Поиск происходит в структурированном и неструктурированном контенте.
- Обработка больших данных. Крупные организации имеют множество различных приложений, которые могут генерировать петабайты данных.
- Понимание естественного языка и машинное обучение для обработки и организации данных, прогнозирования намерения поискового запроса, улучшения релевантности результатов.
- Возможность создавать собственные поисковые приложения.
Алгоритм реализации когнитивного поиска
Когнитивная система способна за считанные секунды обрабатывать огромные массивы информации для получения правильного ответа, рассмотрим порядок действий, которые она выполняет в процессе поиска:
- Получение запроса и выполнение его синтаксического анализа для выделения особенностей.
- Генерация ряда гипотез и поиск фраз, содержащих с определённой долей вероятности необходимый ответ.
- Глубокое сравнение языка вопроса и языка каждого из возможных вариантов ответа, применяя различные алгоритмы логического вывода. Алгоритмы логического вывода могут выполнять поиск совпадающих терминов и синонимов, рассматривать временные и пространственные особенности, а также, анализировать подходящие источники контекстуальной информации.
- Выставление каждым алгоритмом логического вывода одной или несколько оценок, показывающих, в какой степени возможный ответ следует из запроса, в той области, которая рассматривается данным алгоритмом.
- Присвоение весового коэффициента каждой выставленной оценке по статистической модели, которая фиксирует, насколько успешно справился алгоритм с выявлением логических связей между двумя аналогичными фразами. Эта статистическая модель может быть использована впоследствии для определения общего уровня уверенности системы в том, что возможный вариант ответа следует из запроса.
- Процесс повторяется для каждого варианта ответа до тех пор, пока не будут найдены ответы, которые будут иметь больше шансов оказаться правильными, чем остальные[2].
Для правильного ответа на вопрос системе необходимо обращаться к дополнительным источникам данных. Это могут быть учебники, мануалы, новости и подобное.
Эволюция поисковых технологий
В 2017 году аналитическая компания, которая занимается исследованиями рынка информационных технологий, Forrester Research[3], сообщает о когнитивном поиске, который активно используют ИТ-компании. Когнитивный поиск — это новое поколение поисковых систем предприятия, которое использует искусственный интеллект для получения результатов, которые более релевантные для пользователя[4].
Впервые о технологиях поиска заговорили в 1996 году. В то время, она сводилась к нахождению словесных совпадений, компания Google создала алгоритм, обеспечивающий ценность определённых ключевых слов. Самый ранний алгоритм поиска Googlе просматривал веб-сайты, чтобы увидеть, как часто появляется ключевое слово, поэтому чем чаще слово встречалось, тем выше становился сайт в ранжировании поиска.
В 2003 году на Консорциуме Всемирной паутины была упомянута теория семантического поиска. Переход от теории к практике занял некоторое время, 10 лет спустя, в 2013 году, произошел первый крупный прорыв в области семантического поиска для рядовых пользователей. Был создан алгоритм поиска «Колибри». Семантическая поисковая оптимизация отличалась тем, что предоставляла результат, основанный на множестве факторов, а не только на нескольких словах запроса[5].
Следующей технологией поиска стал — контекстный[6]. Его основной формой является процесс сканирования полнотекстового запроса, чтобы понять, что нужно пользователю. Веб-поисковые системы просматривают HTML — страницы для контента и возвращают рейтинг индекса в зависимости от того, насколько релевантное содержание введенного запроса.
Вендоры рынка когнитивного поиска
По результатами исследования компании Forrester Research, в 2017 году на рынке присутствуют девять основных поставщиков ИТ-услуг, предоставляющих возможность когнитивного поиска: Attivio, Сoveo, HPE IDOL (со второй половины 2017 разработка принадлежит Micro Focus), IBM, Lucidworks, Mindbreeze, Еlastic.сo, Sinequa, and Squirro.
Лидерами рынка являются[7]:
По данным исследования Forrest Research, высшую позицию занимает поисковая платформа IDOL. Она может анализировать всевозможные форматы из любых источников. IDOL поддерживает интенсивную аналитику текста, речи, изображений и видео. Платформа IDOL способна выявлять массивы дополнительной информации об объектах исследования, включая имена, адреса, информацию о кредитной карте, настроение, намерения и т. п. Самые последние усовершенствования IDOL в 2017 году включают возможность ответа на вопрос, которую разработчики могут использовать для создания чатов или виртуальных помощников. Комплексные возможности и настройка платформы могут привести к сложной реализации, но компания работает над упрощением установки для случаев общего использования. IDOL уже использует: Dubai police, the Olympic Games Security Committee, British Airports Authority, Boeing, Toyota, General Motors, BMW, Canon, KPMG, BBC[8]
Ключевой особенностью поисковой платформы Coveo является релевантность выдачи. Coveo’s R&D фокусируется на использовании расширенной аналитики и машинного обучения для автоматического изучения поведения отдельных пользователей и выдачи им наиболее релевантных результатов. Сoveo также глубоко интегрируется с Salesforce и может быстро подключать клиентов к облаку. Компания добилась значительных успехов в предоставлении контекстно-зависимого поиска таким технологическим компаниям как: Adobe, Logitech и Salesforce, Brocade Communications Systems, the Hershey Company, TIBCO Software[9].
Sinequa’s NLP — это путь к познавательному пониманию. Большинство поставщиков поисковых систем начинают индексирование, а затем продвигаются в контентную аналитику. Эта компания начала с NLP, потому что понимание, как поискового запроса, так и контента является ключом к поиску релевантных данных и обнаружению знаний. В дополнение к аналитике NLP и анализу контента решения Sinequa решение интегрируется с Apache Spark, чтобы использовать расширенную аналитику в программах с открытым исходным кодом. Sinequa специализируется на разработке поисковых приложений, которые встраиваются в важнейшие бизнес-процессы в таких отраслях, как фармацевтика, обслуживание самолётов и финансовые услуги. Клиентами компании являются Airbus Group, AstraZeneca, Biogen, Engie, Mercer, and Nasdaq[10].
Attivio создает комплексные поисковые приложения. В дополнение к расширенной аналитике и компьютерному обучению, которые необходимы для поисковой платформы, Attivio предоставляет клиентам шаблоны решений, такие как управление знаниями, борьба с отмыванием денег, клиент 360 (Knowledge management, Anti-money laundering, Customer 360) и т. д. Уникальной особенностью Attivio является способность разработчиков использовать структурированный язык запросов (SQL). Клиентами Attivio являются Citi, Cisco Systems, HSBC, Sikorsky Aircraft, and Thermo Fisher Scientific[11].
Примечания
- ↑ What’s Cognitive Search? // Search Technologies. — 2018. — Режим доступу до ресурсу: https://www.searchtechnologies.com/blog/why-cognitive-search Архивная копия от 4 декабря 2017 на Wayback Machine.
- ↑ Основные характеристики когнитивной системы // Хабрахабр. — 2015. — Режим доступу до ресурсу: https://habrahabr.ru/company/ibm/blog/266015/ Архивная копия от 7 августа 2016 на Wayback Machine.
- ↑ Forrester Research // Wikipedia. — 2017. — Режим доступу до ресурсу: https://en.wikipedia.org/wiki/Forrester_Research Архивная копия от 21 марта 2018 на Wayback Machine
- ↑ The Forrester Wave™: Cognitive Search And Knowledge Discovery Solution // Forrester research. — 2017. — Режим доступу до ресурсу: https://go.forrester.com/blogs/17-06-12-cognitive_search_is_the_ai_version_of_enterprise_search/ Архивная копия от 16 ноября 2018 на Wayback Machine.
- ↑ Эволюция семантического поиска и его влияние на SEO // LPGenerator. — 2016. — Режим доступу до ресурсу: https://lpgenerator.ru/blog/2016/02/16/evolyuciya-semanticheskogo-poiska-google-i-ego-vliyanie-na-seo/#ixzz4P4J7MZtc Архивная копия от 22 ноября 2017 на Wayback Machine.
- ↑ Contextual_searching/Wikipedia. — 2017. — Режим доступу до ресурсу: https://en.wikipedia.org/wiki/Contextual_searching Архивная копия от 15 августа 2017 на Wayback Machine.
- ↑ Forrester research. — 2017. — Режим доступу до ресурсу: https://www.forrester.com/report/The+Forrester+Wave+Cognitive+Search+And+Knowledge+Discovery+Solutions+Q2+2017/-/E-RES136544# Архивная копия от 16 ноября 2018 на Wayback Machine
- ↑ Cognitive Search And Knowledge Discovery Solutions, Q2 2017 // Forrester Research. — 2017. — Режим доступа к ресурсу: https://techbeacon.com/sites/default/files/res136544_forrester_cognative_search.pdf Архивная копия от 7 мая 2018 на Wayback Machine.
- ↑ Сoveo Enterprise Search // Сoveo. — 2018. — Режим доступу до ресурсу: https://www.coveo.com/en/solutions/enterprise-search Архивная копия от 26 июля 2018 на Wayback Machine.
- ↑ Platform Overview // Sinequa. — 2018. — Режим доступу до ресурсу: https://www.sinequa.com/insight-platform-2/ Архивная копия от 30 сентября 2017 на Wayback Machine.
- ↑ A platform to power innovation // Attivio. — 2018. — Режим доступу до ресурсу: https://www.attivio.com/platform Архивная копия от 7 апреля 2018 на Wayback Machine.