Системы обработки сложных событий

Я ранее уже приводил ссылки по Complex Event Processing — этот пост даже вышел первым при поиске по русскоязычным страницам в Гугле.

А ведь сама тема очень интересная, правда условно сложная, как и все другие темы связанные с обработкой огромных объёмов информации, но актуальная по тем же причинам.

Наиболее часто CEP применяется в анализе фондового рынка в реальном времени — это анализ взаимосвязей событий, их повторяемости, кластеризации, корреляции с историческими данными, фильтрация по значимости и многое другое. В фондовом рынке, для систем автоматической торговли, у них прямое и явно окупающееся применение поскольку все основные продолжительные события являются многофакторными и чтобы правильно понять тренд надо иметь возможность анализировать все эти факторы в совокупности, но, кроме фондового рынка есть и другие области которые могут принципиально измениться при внедрении систем основанных на CEP.

Приведу несколько примеров областей потенциального применения CEP:

1. Персональный мониторинг состояния здоровя (personal health monitoring)

Предположим появление устройств которые в реальном времени позволяют отслеживать показатели здоровья отдельного человека как то давление крови, температуру тела, частоту пульса, частоту дыхания и другие неинвазивные показатели. Собранные данные обрабатываются в реальном времени и возвращаются человеку с рекомендациями по поведению и ограничениями, а также, в сочетании, с личной био-аптечкой регулируемой автоматикой может приниматься решение о применении лекарств.

Если второе всё ещё на грани фантастики и вызывает настороженность, то сбор диагностических данных практикуется уже давно, но, в основном, он осуществляется не в реальном времени, а накоплением на носители с прибором диагностики и последующим переносом информации для анализа с этого носителя.

2. Массовый мониторинг здоровья (global health monitoring)

Вообще статистика в здравоохранении что в России что в других странах обычно считается по годам, кварталам и месяцам. При этом надо отметить, что в отличии от многих других типов событий, события в медицинском плане можно рассматривать как учётные, например, если был выставлен тот или иной диагноз, то он может быть отражён не в месячной статистике медицинского учереждения и далее учтнён на всех уровня сбора статистики — муниципальном, региональном и государственном, а быть учтённым немедленно. Тем самым сбор статистики заменяется на систему сбора событий уже на основе которых формируются статистические отчёты. Плюсы подхода в возможности мониторинга и контроля распространения болезней в реальном времени и снижении времени на реагирование.

Аналогична ситуация с ветеринарным мониторингом. Не просто сбор статистики, но обеспечение возможности реагировать в реальном времени.

3. Военная разведка

То что называют анализом публичных источников, но в данном случае, при применении CEP — анализ источников вполне конкретной информации, косвенных факторов свидетельствующих о перемещениях войск, применении и приобретении вооружения, скрытому военному присутствию, скрытому финансированию и так далее. Тема это сложная и отдельная от других, тем не менее с нынешним развитием сети и возможности получения информации в реальном времени — тема актуальная.

4. Макроэкономический мониторинг

В макроэкономике та же ситуация что и в других областях — статистические данные формируются на отчётные периоды, но, при этом разные подобные статистические отчёты формируются в разное время, а также есть показатели, как то, ряд показателей фондового рынка, отслеживание ухода/прихода капитала, изменение ставок рефинансирования, рост числа вакансий/резюме (показатели рынка труда), число банкротств и слияний кредитных организаций, все вместе которые должны давать картину на основе которой могут предприниматься действия по регулированию экономики государственными учереждениями. Есть ли такие системы реального времени в России — незнаю, но точно знаю что качество их работы непосредственно завязано на качество информационных потоков — своевременность отражения событий, структуризация событий (представление их форматах пригодных к машинной обработке) и полнота охватываемых событий.

5. Социальный мониторинг или мониторинг мнений

Пример такого мониторинга и событий — это направленные кампании в социальных сетях по продвижению чего бы то ни было, от политических идей до коммерческих продуктов, «интернет мемы», реакция людей на те или иные мировые и внутренние события. Из того что хоть как то близко к теме CEP можно выделить Яндекс-Блоги где есть пульс блогосферы, топ, поисковые и мониторинговые возможности. Но это всё же не CEP, поскольку не применяется алгоритмов анализа микрособытий для их группировки в тренды, чаще всего привязанных к продолжающимся событиям в реальной жизни. Например, идут бунты в Латвии и Литве и эти темы активно обсуждаются и каждый пост в блогах по теме — это микрособытие совокупность которых формируют кластер событий связанных с внешним событием. Их анализ позволяет оценить продолжительность и интенсивность социальной реакции, а также число вовлечённых и корреляцию с другими внешними событиями и реакцией на них. В той или иной форме аналитические работы в этой области ведутся, но пока ещё остаётся много сделать для систематизации анализа с точки зрения его организации на базе архитектуры основанной на событиях — EDA (Event Driven Architecture).

—

Плюс есть ещё целый ряд областей применения которые не столь бросаются в глаза.