Связь сферы ии со сферой бизнес аналитики

Мы знаем, что решения будут приниматься без участия людей очень скоро. Но как именно это произойдет? Возможно, ответ на такой вопрос есть у IDC.

Исследовательская компания IDC предлагает обратить внимание на то, как искусственный интеллект поможет менеджерам принимать решения. По мнению исследователей, для этого всё уже готово. Осталось только немного изменить угол зрения, под которым мы привыкли смотреть на бизнес-аналитику.

Готовы ли машины принимать решения уже сегодня?

Мы часто слышим о том, как искусственный интеллект (ИИ) решит проблемы планетарного масштаба и попутно оставит миллионы людей без работы. Однако, ничего подобного пока не происходит.

Сегодня разработчики бизнес-приложений говорят, будто уже готовы автоматизировать процессы “от и до”. Но мы видим, им что-то мешает. Более того, они отказываются признать трудности не-технического характера, с которыми сталкиваются при автоматизации процессов.

В чем же здесь проблема? Почему машинное обучение превратилось в доступный инструмент, а у бизнеса по-прежнему не получается автоматизировать принятие решений? Это плохо удается, даже когда речь идет об относительно простых и не самых принципиальных вещах.

Мы видим, как беспилотный автомобиль уверенно едет по дороге. Однако, автоматически наполнить склад в магазине пока не можем. Мы точно знаем, что скоро многие решения будут приниматься автоматически. Но вспоминаем про Uber и понимаем: все-таки пока это редкость.

При чем здесь бизнес-аналитика? Напомню, бизнес-аналитика — это такие системы (их еще называют BI-решениями), которые подключаются к разным источникам информации, загружают оттуда данные и превращают их в графики и диаграммы. Люди могут действовать лишь после того, как работа компании станет наглядной. Без этого принять сколь-нибудь взвешенное решение трудно.

Бизнес-аналитика выполняет роль своеобразного интерфейса между бизнесом и людьми, которые пока все еще принимают решения сами. Я смотрю на монитор, где абзац за абзацем появляется текст. Тем временем менеджер смотрит на показатели своего отдела. Я вижу абзац и принимаю решение его переписать. Менеджер видит график и тоже принимает решение — уволить Иванова, повысить Петрова, открыть две новые вакансии. Мы периодически смотрим на результат, а затем делаем что-то для его изменения в будущем — принимаем решения, действуем.

По мнению IDC, есть несколько препятствий, которые сегодня тормозят применение искусственного интеллекта для принятия решений. Чтобы о них рассказать, можно оттолкнуться от традиционного взгляда эволюцию аналитических систем.

Традиционный взгляд: почему не удается перепрыгнуть через ступеньку

Уже много лет применение бизнес-аналитики для автоматизации решений принято рассматривать с помощью графика зрелости аналитических процессов. Это очень удобная и наглядная схема. Наверное, сегодня она присутствует в презентациях всех консультантов, помогающих бизнесу запустить цифровую трансформацию.

Сначала нам нужно узнать, что произошло. Например, с помощью аналитического решения мы увидели стоимость рабочего часа в разных городах. В Твери она оказалась в полтора раза выше, чем в Санкт-Петербурге. После этого нам нужна причина — почему это произошло. Например, мы поняли, что причиной высокой стоимости часа в Твери является какая-то демографическая особенность региона. Или, что вероятнее, это будет наша собственная ошибка в оценке персонала при найме. Дальше аналитическое решение посмотрит в будущее — скажет нам, какова будет стоимость часа через квартал. В конце концов система сама скажет нам, как поступить для достижения требуемого показателя.

Очевидно, в такой схеме каждый из этапов, или уровней зрелости — это фундамент для следующего. Не получится перепрыгнуть через ступеньку и воспользоваться предписанием, пока мы не способны предвидеть показатели, что в свою очередь невозможно без понимания причин и знания о том, что же происходило раньше.

По мнению IDC, компании никак не могут получить в свое распоряжение предписывающий инструмент лишь по той причине, что до сих пор придерживаются традиционного взгляда. Ещё недавно казавшаяся удобной схема превратилась в препятствие, мешающее начать использовать аналитическое решение с встроенным ИИ.

Разработчики аналитических систем забывают, что решения в корпоративном мире — это всегда процесс, в котором участвуют разные люди и подразделения. Они ставят знак равенства между принятием решения и доставкой информации. В результате даже самая лучшая аналитическая система не способна провести бизнес-процесс через все этапы принятия решений. Аналитический инструмент дает информацию и оставляет людей с ней один на один — человек сам должен решать, что с этим делать.

Первое препятствие: мы отказываемся смотреть на принятие решений как на процесс.

По мнению IDC, мы привыкли видеть процесс принятия решений как набор отдельных шагов. Но забываем, что в реальной жизни эти шаги между собой зачастую никак не связаны.

Есть работающие с данными инженеры — они предоставляют данные для исследований. Есть аналитики — они занимаются анализом данных. Результаты анализа передаются другой группе — людям, принимающим решения. Готовые решения в виде указаний получают сотрудники, которые уже действуют.

Когда IDC интервьюирует технических специалистов, те часто говорят о том, как их работа помогает создавать озера данных, разрабатывать дэшборды, предоставлять доступ ко всем данным и создавать системы с самообслуживанием. Они рассказывают о единой точке правды и разработке ETL-процессов. Все это относится к тому, что или как они делают в области работы с данными. Но от них трудно добиться ответа на вопрос, зачем они это делают. IDC сетует, что в ходе интервью редко приходится слышать: “я помогаю своим коллегам принимать лучшие решения”.

Такой подход можно описать с помощью схемы на рис 2. (следить —> анализировать —> решать —> действовать). За каждый из этапов работы с данными здесь отвечают разные специалисты. Они применяют разные инструменты, а их работа оценивается по-разному. В процессе работы специалисты никак друг на друга не влияют.

Здесь главная проблема — в отсутствии видимости всего процесса. Без этого не получится улучшить корпоративное управление, потому что трудно будет оценивать качество решений и трудно выявлять лучшие практики в принятии решений.

В прошлом один программный пакет редко поддерживал более двух из этапов использования данных.

Второе препятствие: привычка ставить знак равенства между поддержкой принятия решений и доставкой информации.

Друге препятствие тоже из мира стереотипов. Поддержку принятия решений слишком часто приравнивают к доставке аналитической информации. Все заканчивается на том, что менеджеру или аналитику дают отчет либо дэшборд (не важно, статический или интерактивный). Визуализация становится итоговым результатом, которого ждали от аналитического решения.

Трудно спорить с тем, что отчеты и дэшборды помогают принимать решения. Но их недостаточно — как с точки зрения функциональности, так и с точки зрения полноты информации.

Интерактивные визуализации совершили огромный скачок в последнее время. Это привело к упрощению аналитических инструментов, к снижению стоимости обучения их использованию, к распространению самообслуживания. Но для принятия решений недостаточно исторических фактов о результатах продаж, прибыли, запасов, об удовлетворенности клиентов. Недостаточно оповещений о том, что какой-то показатель не был достигнут. Недостаточно сообщений о появлении тенденции в данных.

Отрывочная информация не позволяет оценивать альтернативы и вероятности наступления событий при изменении условий. Иногда недостающие знания есть у коллег, но их трудно получить. Например, как аналитику оценить влияние отдельного фактора на значение KPI? Откуда у аналитика или менеджера должно появиться знание об ограничениях и рисках? Это может быть очень важно, без такой информации аналитик не сможет ничего рекомендовать.

По мнению IDC, аналитические системы не делают многое из того, что требуется для принятия решений. Среди таких упускаемых возможностей IDC выделяет:

1) Ситуационная осведомленность. Менеджеры должны принимать решения на основе знаний, учитывающих контекст. Если в анализе используются лишь отдельные наборы данных, то контекст теряется и в результате не учитывается влияние смежных или внешних факторов.

2) Оценка альтернатив. Метод анализа “что будет, если” позволил бы аналитикам учитывать разные сценарии развития ситуации. Без этого у них не получится оценивать влияние на результат изменения одной или нескольких переменных.

3) Определение драйверов. Требуется анализ, который способен определять, как одни переменные влияют на другие. Это позволило бы выявлять причинно-следственные связи, стоящие за наблюдаемыми тенденциями.

4) Прогнозирование возможных результатов. Программное обеспечение может помогать аналитикам самостоятельно создавать прогнозы и предсказания значений показателей.

5) Понимание рисков и ограничений. В процессе принятия решений требуется не только опираться на математические расчеты, но также и учитывать ограничения, связанные с самыми разными вещами — от регулирования со стороны государства до социальных норм.

6) Поиск экспертов. Для того, чтобы учитывать риски и ограничения, нужен человеческий опыт. Аналитическим системам требуется функциональность, которая помогла бы подключать к процессу принятия решений коллег или внешних экспертов.

7) Рекомендация лучшего действия. Аналитикам и менеджерам могли бы помочь такие системы, которые способны рекомендовать наилучшие действия. Рекомендации должны сопровождаться вероятностью получения требуемого значения показателя.

Сбор знаний. Аналитическая система должна фиксировать сам ход принятия решения. Это помогло бы получить новые знания о процессах и отслеживать связанные с ними задачи и действия. Так можно было бы выявлять лучшие (и худшие) практики и использовать их для совершенствования циклов принятия решений.

Когда мы сталкиваемся с тем, что аналитической системе каких-то возможностей не хватает, приходится полагаться на свой опыт и ощущения. Чтобы несмотря на ограничения все-таки получить нужную информацию и обмениваться ей, мы вынуждены возвращаться к понятным и привычным электронным таблицам MS Excel.

Как устранить недостатки аналитических систем уже сегодня

В качестве первого шага на пути устранения недостатков аналитической системы, IDC советует изменить взгляд на цикл принятия решений, который выше был показан на рис. 2.

Вместо четырех шагов IDC предлагает использовать семь, а к циклу принятия решения добавить ещё три действия: (1) обучение, (2) адаптация, (3) объяснение. Такая схема показана на рис 3:

По мнению IDC, это позволит точнее и лучше очертить круг возможностей, которые требуются аналитической системе прямо сейчас для того, чтобы превратить ее в инструмент принятия решений.

Кроме того, IDC советует сфокусироваться на ценности разных видов аналитики и прекратить смотреть на аналитику как на непонятные манипуляции с данными.

Выделив обучение как отдельное действия, можно упростить применение машинного обучения для того, чтобы мониторить, анализировать, и, возможно, автоматизировать принятие решений.

Несомненное преимущество описанной модели заключается в том, что теперь предприятию не нужно ждать достижения последнего уровня зрелости аналитических процессов для начала применения искусственного интеллекта. ИИ способен принести пользу уже сейчас, причем каждому из действий.

Применять ИИ проще, чем кажется

IDC приводит несколько примеров, как искусственный интеллект способен помочь автоматизировать вполне конкретные задачи. Это возможно благодаря улучшению действий, связанных с процессами принятия решений.

1. Обнаруживает. ИИ способен выявлять проблемы с качеством данных, предложить источники данных, отслеживать те из них, которые используются чаще и результативнее.

2. Описывает. ИИ помогает определить те метрики и KPI, которые лучше подойдут для описания нужных данных. Также ИИ способен предложить более подходящие способы визуализации.

3. Диагностирует. ИИ даёт направление исследования, направленного на поиск причин, то есть помогает найти ответ на вопрос “почему?”.

4. Предсказывает. ИИ способен помочь автоматизировать задачи, которые часто требуют у исследователей данных много времени, потому что выполняются вручную. Среди них: сбор данных, развертывание предсказательной модели, управление моделью. Не самым изощренным исследователям данных ИИ может подсказать, какие алгоритмы лучше подойдут в данном случае.

5. Предписывает. Одна из самых многообещающих областей применения ИИ. Люди обычно не могут определить паттерны, найти все зависимости в огромных объемах данных, либо оценить все результаты для наилучшего действия. ИИ хорошо подходит для таких задач.

6. Решает. Когда альтернативные решения становятся доступны, ИИ может оценить ограничения и соотнести их с целями. Также ИИ можно использовать для разработки правил, которые помогут автоматизировать процесс принятия решений, касающихся операционной деятельности.

7. Действует. ИИ может использоваться для автоматического исполнения отдельных процессов. Таких, как создание контента, распространение предложений или выполнение финансовых транзакций.

Три совета IDC покупателям технологий

Совет IDC № 1.

Начните рассматривать принятие решений как процесс. Оцените, какая функциональность аналитической системы нужна для поддержки каждого из действий.

Совет IDC № 2.

Учтите, что цель инвестиций в программное обеспечение и персонал для обработки данных — не в получении информации. Не спрашивайте у пользователей, какие данные или функции работы с данными им нужны. Начните лучше с вопроса, какие решения они должны принимать и как они это делают. Такая информация позволит лучше оценить, что требуется от аналитической системы.

Совет IDC № 3.

Начните изучать BI-платформы нового поколения, которые доступны уже сегодня. Ответьте на вопросы о том, как машинное обучение могло бы помочь автоматизировать именно ваши задачи. Во-первых, за счет чего ваши инженеры по данным и аналитики смогли бы работать лучше и принести больше пользы? Во-вторых, что помогло бы им сосредоточиться на задачах, которые пока не могут быть автоматизированы?

Небольшой итог

Любопытно, что компания Uber, изменившая услугу такси, 12 лет назад хотела за счет автоматизации заказа с помощью геоданных уменьшить время подачи автомобиля. В их первой презентации ни слова о машинном обучении, о новой бизнес-модели. Термин “данные” не встречается ни разу. Они лишь придумали, как автоматизировать всего одно решение.

Дополнительно:

1) Документ IDC “A Call to Rethink Decision Support Software Capabilities“ можно бесплатно взять на сайте небольшого разработчика BI-платформы — компании Board.

Интересуетесь, что происходит в мире бизнес-аналитики? Подписывайтесь на нас в facebook.

Рынок программных продуктов для бизнес-аналитики (Business Intelligence, BI) относится к числу тех, что демонстрируют убедительные двузначные цифры роста. Так, по данным специального исследования, которое провела компания Navicon, рынок отечественных систем аналитики вырастет в нынешнем году на 10-12. Для сравнения: общемировому рынку BI исследователи прочат в ближайшие годы стабильный рост на уровне 8-10% в год. Но уже в 2023 году, когда на нашем рынке появится больше успешных кейсов миграции на отечественное ПО, и бизнес перестанет опасаться проблем «сырого» софта, скорость развития рынка увеличится минимум до 30-35%, считают аналитики компании Navicon.

Специфика развития российского рынка BI

Безусловным драйвером увеличения российского рынка BI являются потребности импортозамещения государства и бизнеса РФ. В компании Navicon отмечают, что спрос на импортонезависимые российские решения со стороны клиентов вырос на 50%, и около 40% заказчиков заявили о планах миграции на отечественное ПО в ближайшее время. В первую очередь, речь идет о сегментах банков, ритейла и телекома.

Впрочем, позитивное влияние импортозамещения, начавшееся весной нынешнего года, стало продолжением усиленного внимания к аналитике, которое появилось в период пандемии. Крупные компании, накопившие к тому моменту значительные объемы данных, искали с помощью BI-решений способы более эффективно управлять ресурсами и финансовыми потоками, наладить логистику, рассказывают в компании Navicon, отдавая при этом предпочтение ведущей тройке зарубежных вендоров: Microsoft, Tableau, QlikTech. Доля отечественного ПО на российском рынке BI до февраля 2022 г. составляла, по оценкам Navicon, не более 10%.

Ситуация изменилась, когда иностранные вендоры начали останавливать свою деятельность в России. И в этом есть, помимо окрывающегося окна возможностей для отчественных вендоров, определенные риски: крупные заказчики привыкли к определенному уровню сервиса и надежности глобальных брендов.

В то же время Сергей Громов, эксперт в области BI, полагает, что во многом отечественные платформы достигли определенного уровня зрелости и в текущих условиях могут стать эффективной альтернативой решениям зарубежных производителей, покинувших рынок из-за санкций. В апреле он представил третью часть ежегодного исследования «BI-круг Громова», традиционно посвященного BI-системам, созданных российскими разработчиками.

Сергей Громов подчеркивает, что очередное тестирование проводилось в условиях, приближенных к «боевым», то есть реальному использованию в бизнесе. С этой целью использовались задачи, которые решают BI-системы в ритейле – в этом сегменте бизнес-аналитика внедряется давно и активно.

Исследование охватило 40 отечественных решений, среди которых: Visiology, Modus BI, Luxms BI, «Форсайт. Аналитическая платформа», «Триафлай», DataLens, «Криста BI», PolyAnalyst, N3.Аналитика, «Аналитическая платформа Polymatica», Alpha BI, Analytic Workspace, Almaz BI, Cubisio, Visary BI, «1С:Аналитика», «Пульс Дела/Пульс Региона», Dataplan, Storm и др.

Таким образом, пространство для роста есть, у каждой платформы можно найти слабые стороны, но в целом удалось добиться многого, считает эксперт, и это должно облегчить миграцию организаций на отечественные решения.

Характерный признак российского рынка BI – высокая доля заказчиков из госсектора и компания с государственным участием. Именно они обеспечили то спрос, который обеспечил базис для развития отечественных разработок, комментирует Людмила Островская, руководитель проектов Отделения комплексного проектирования информационных систем компании «ФОРС — Центр разработки». В то же время, конкурировать на освободившемся от зарубежных вендоров поле они будут не только друг с другом, а еще и со свободным ПО. Действительно, подтверждает Дмитрий Сысоев, директор департамента управленческого консалтинга компании «Норбит», в последние годы появилось немало достаточно продвинутых BI-продуктов, использующих СПО.

К числу признаков передовой аналитической системы относится широкий спектр анализируемых данных.

На пути к Data Factory

В качестве свежего примера развитой аналитической системы можно привести запущенную в конце апреля систему «Посейдон». Президент РФ Владимир Путин подписал 25 апреля 2022 г. Указ № 232 о государственной информационной системе в области противодействия коррупции «Посейдон». Эта ГИС будет контролировать доходы и расходы чиновников, осуществлять профилактику в борьбе против коррупции, использоваться для раскрытия иных правонарушений. Ранее для контроля доходов госслужащих применялась программная платформа «Справка-БК», с помощью которой госслужащие формировали декларации о доходах.

Указом № 232 предусмотрено информационное взаимодействие ГИС «Посейдон» с другими информационными системами, сведения из которых могут быть использованы для противодействия коррупции, включая федеральные государственные органы, госорганы субъектов РФ, Банк России, государственные корпорации (компании), государственные внебюджетные фонды, иные организации. В системе «Посейдон» будет осуществляться автоматизированный анализ всей совокупности имеющейся информации.

Еще один пример – проект по созданию интеллектуальной системы для управления месторождениями и промысловыми данными, который выполняет ГК «Эттон». Создаваемая система будет обрабатывать всю информацию, поступающую со скважин: от характеристик скважин и до параметров добычи. На основе комплексного анализа данных аналитическая система предложит оптимальный режим работы скважины. При этом для обработки данных используется целый комплекс интеллектуальных механизмов: алгоритмы машинного обучения, сценарии управления данными (управление на основе правил), создание моделей для увеличения скорости вычислений. Предусмотрен даже внутренний декларативный язык, упрощающий описания операций обработки данных.

Разработчики системы рассказывают, что она будет способна выявлять закономерности, связывающие данные между собой, и рассчитывать прогноз по всем параметрам в процессе планирования различных методов воздействия на скважину или пласт.
В целом, процессы цифровизации, сопровождающиеся накоплением данных, стали драйвером для развития так называемых фабрик данных (Data Factory). Фактически это экосистемы, которые объединяют сбор данных из разнообразных источников и информационных систем, конвейеры передачи и обработки информации, API-интерфейсы. Аналитики Gartner в 2020 г. назвали Data Factory одним из ключевых трендов в области Data Analytics.

По такому принципу построена, например, система «Дельта BI», разработанная в компании Navicon. Она обеспечивает комплексный подход к работе с данными. В частности, в базовую поставку входит более 200 готовых коннекторов для различных информационных систем. В компании говорят, что в системе реализуется обработка «широких» данных, включая, как источники, как структурированных, так и неструктурированных данных, с целью повышения осведомленности о контексте и принимаемых решениях.

Система Дельта BI занимается обработкой «широких данных»

«Дельта BI», как утверждают разработчики из компании Navicon, дает возможность принимать управленческие решения буквально в реальном масштабе времени, причем, Self-service подход позволяет работать с аналитическими инструментами бизнес-пользователям.

Михаил Берёзин, руководитель продукта «Единый клиент», эксперт по MDM-решениям компании HFLabs, говорит о том, что аналитика больших данных сегодня вышла на этап поступательного развития:

Данные для современной аналитики

Сегодня для аналитической обработки организации стремятся использовать все возможности больших данных, как внутренних, так и внешних. Правда, как отмечает Александр Хледенев, директор по цифровым решениям компании ВС Лаб, преимущество сегодня – на стороне внутренних источников:

По оценке эксперта, для нашего рынка в целом более характерна инсорсинговая модель ИТ и менее зрелый рынок внешних данных, в силу чего их использование более ограничено по сравнению с западным рынком. Действительно, зачастую существующие внутренние данные более детальны и ограничения их использования менее регламентированы законодательством (о персональных данных, например), нежели внешних.

Однако часть задач или просто невозможно решить или они решаются значительно менее эффективно без внешних данных, указывает Александр Хледенев, например, прогнозирование продаж на основе внутренних исторических данных без учета макроэкономических данных или прогнозы сезонных продаж без учета факторов, формирующих эту сезонность. Некоторый водораздел можно провести между анализом внутренней, операционной деятельности и внешними коммуникациями бизнеса, к которым относится клиентская аналитика (микро-сегментирование и персонализаций, скоринг клиентов (лидов), продуктовая аналитика (цена, ассортиментный анализ), аналитика продаж, анализ рынка и пр. «Внешние данные при этом получают из открытых источников (открытые базы данных, гос статистика, демография и пр.), собираются из социальных сетей, покупаются у компаний-поставщиков или на специализированных маркетплейсах, а также получают в результате обмена между компаниями (интегрированных или партнеров)»,- замечает эксперт.

Достаточно далеко в этой части продвинулись умные скоринговые модели, предназначенные для анализа кредитоспособности потенциального заемщика банка. Например, кредитные организации, которые создают собственные экосистемы, получают гораздо больше данных о своих клиентах и их потенциальных возможностях, чем коллеги-конкуренты. Но и они тоже стремятся наполнить свои озера данных дополнительными сведениями. Туда идет информация из социальных сетей: состав друзей, кто из них уже является клиентом банка, в каких группах состоит человек, как часто он заходит в соцсети, подтверждение родственных связей и т.д., рассказывают в компании «ВС Лаб».

Туда же идет информация о работодателе, причем как из баз данных (СПАРК, Контур.Фокус, ЕГРЮЛ и ЕГРИП) так и из СМИ и соцсетей. Из баз данных берется информация о состоянии компании, ее активности в госзакупках, известные данные об обороте и численности компании. Из СМИ и соцсетей собираются слухи об ухудшающемся или улучшающемся положении компании, скандалы, связанные с директором и учредителями – при этом выделяются вещи способные повлиять на скоринг. Например, у человека отличная зарплата, хорошая кредитная история, но в СМИ проходит информация, что его работодатель – банкрот, счета заморожены, и скоро все сотрудники пойдут на улицу. Это, конечно, понизит скоринговый балл для такого человека.

Эти данные предоставляют либо платные сервисы, либо различные OSINT-системы (Open source intelligence – сбор информации и анализ разведданных на основании открытых источников). Из OSINT-систем информация забирается автоматически алгоритмами ИИ в размеченном виде.

Также источниками могут служить данные с бирж, занимающихся продажей cookie, ведь в них собраны все интересы клиента банка, его поисковые запросы и многое другое. С помощью этих данных, например, ИИ может выяснить, что заемщик – постоянный клиент онлайн-казино, и при этом пришел получать кредит – банк будет реагировать соответственно.

Данные от мобильных операторов, например, по перемещению того или иного номера телефона, его активность, кто и когда ему звонит, как давно данный номер у этого абонента – все это коммерческие сервисы, которые продают данные в больших объемах, замечают специалисты «ВУ Лаб»: эти данные встраиваются в механизм ИИ, дополняя и обогащая его модель.

Пример такой системы – решение HFLabs KYC компании HFLabs, которое относится к классу «Знай своего клиента». Система автоматически проверяет клиентов и контрагентов по санкционным спискам и официальным реестра перед тем, как финансовая операция будет проведена. Она работает со всеми перечнями Росфинмониторинга, выполняет проверку, необходимую по 115-ФЗ («антиотмывочное» законодательство), находит людей, внесенных в санкционные списки США, Евросоюза, ООН, Швейцарии, Великобритании. Можно узнать, не является ли человек банкротом и не предъявил ли он недействительный паспорт.

Каждый отдельный запрос обрабатывается менее, чем за секунду. А скорость регулярной проверки для всей клиентской базы, даже если она составляет 50 млн. человек, составляет около трех часов, рассказывают в компании.

Ключевой элемент системы — «Единый клиент», который агрегирует все знания о клиенте, включая сведения о родственниках и домохозяйствах, учитывает различные варианты написания и схожесть фамилий, телефонов, адресов. В компании приводят примеры:

Еще один пример умного непрерывного анализа больших данных — интеллектуальная система мониторинга цен конкурентов PowerPrice. Эта разработка компании Napoleon IT проходит внедрение, в частности, в тюменской компании ALOEsmart.

Платформа Napoleon IT PowerPrice обеспечивает клиентам с помощью ИИ непрерывный поток данных о ценах конкурентов и автоматизирует процесс ценообразования, определяя оптимальные цены согласно заданной стратегии. Для получения данных о ценах конкурентов используется технология компьютерного зрения: с помощью мобильного телефона нужно сделать несколько фотографий полок с продукцией, а система извлечет данные о товарах и их цене. Это мобильное приложение, интегрированное с ERP-системой, помогает оперативно собирать данные об актуальных ценах и промоакциях других магазинов и тут же действовать в соответствии с актуальными данными.

В компании Napoleon IT говорят, что сегодня система распознает 3 млн. изображений в день.

Александр Хледенев из «ВС Лаб» полагает, что, с технологической точки зрения, непрерывный анализ внутренних и внешних данных в реальном времени, сопоставление их с историческими данными с последующим встраиванием результатов в бизнес-процессы (концепция Continuous Intelligence) можно назвать одним из самых существенных достижений современных процессов обработки данных. Он приводит в качестве уникального примера опыт компании Hershey, которая в период пандемии обнаружила повышенный спрос на один из своих продуктов: S’more — традиционный американский десерт, который дети готовят на костре во дворе Компания спрогнозировала сроки и объемы его потребления. И, вопреки предыдущей стратегии и рискам канннибализации продаж перед Пасхой, заполнила этой продукцией полки магазинов в тех регионах США, где люди оказались привязанными к своим домовладениям.

Иными словами, компания смогла увеличить производство, запасы, а также оперативно отследить реакцию на свою маркетинговую компанию и изменить обращение к потребителям на более адекватное ситуации. И это привело к росту продаж на 70 млн. долл. основного продукта компании — шоколадных плиток, которые люди покупали в дополнение к десерту.

Доверие к ИИ

Сегодня на повестке дня — проблема доверия к работе интеллектуальных механизмов и сложным моделям. Можно сказать, что достигнут некоторый технологический предел сложности задач, которые ИИ способен решать вместе с человеком. Действительно, компании стремятся включить в аналитическую обработку все больше данных разного типа, все большее количество сотрудников вовлекается в работу с данными для, чтобы принимать еще более эффективные и своевременные решения. Данные должны оставаться актуальными достоверными и единообразными, а также корректно использовались всеми участниками процесса. Корректная работа сложной модели, особенно построенной с помощью машинного обучения, — отдельная проблема, которая пока не имеет полного и окончательного решения.

В публичной сфере сегодня принято фокусировать внимание на так называемой, «проблеме выравнивания». Речь идет о выравнивании алгоритмов анализа данных и принятия решения программой ИИ и человеком, воспитанном в русле общечеловеческих ценностей. «Проблема выравнивания» для американцев выглядит следующим образом: система автоматически собирает резюме, а спустя годы обнаруживается, что в критерии отбора «зашиты» гендерные предубеждения. Для России эта проблема имеет вид задачи выбора для беспилотного авто: кто задавить в случае сложной дорожной ситуации, если иного выхода нет: старика или ребенка? Но дело, конечно, не в так называемой этике ИИ.

Создать интерпретируемый и доверенный ИИ (trusted AI) пока не удается, говорит Михаил Дудалев, начальник отдела анализа данных в компании «Фаззи Лоджик Лабс», то есть на настоящий момент нет подходов к тому, чтобы для моделей любой сложности можно было гарантировать, что они в любых условиях будут работать адекватно и давать корректные результаты. Даже в банках никто не возьмется на 100% гарантировать, что ИИ не пропустил кредитную заявку мошенника, содержащую специально подобранный набор параметров. Тимур Аитов, заместитель председателя комитета Торгово-промышленной палаты по финансовому рынку и кредитным организациям, шутит, что в этом смысле в ИИ остается только верить.

Работу над объяснительной функцией ML ведет, например, компания Qlik. Летом прошлого года она приобрела компанию NodeGraph, разработчика кастомизированных решений для управления метаданными, чтобы повысить прозрачность в работе с данными и тем самым доверие к данным как к источнику принятия решений. Интеграция NodeGraph с платформой Qlik расширит ее возможности за счет интерактивного отображения происхождения данных (Data Lineage), анализа эффективности и управления данными (data governance). Это позволит клиентам Qlik получить более полный обзор структуры конвейеров данных: от систем-источников до преобразования и использования, рассказывают в компании Qlik, то есть будет способствовать реализации «объяснимого BI».

Глубина понимания данных в NodeGraph поможет компаниям расширить доступ к данным, считают в компании, а также обеспечит программы модернизации аналитики с переносом ее в облачную среду. Для этой цели используется легкое подключение NodeGraph к облачным платформам: AWS, Google Cloud, Microsoft Azure и ряду аналитических продуктов третьих фирм, включая SSIS, Snowflake, Microsoft Power BI, Tableau.

По мнению представителей Qlik, приобретение NodeGraph способствует развитию концепции Qlik Active Intelligence: решения принимаются на основе аналитики проверенных данных, обновляемых в режиме реального времени, что повышает ценность данных в бизнесе.

Пожалуй, органичное встраивание аналитических операций в бизнес-процессы стоит считать главным признаком современного этапа развития систем BI. По прогнозу Gartner, 75% предприятий к концу 2024 г., будут иметь «рабочие» решения на базе ИИ.

Децентрализация в аналитических вычислениях

По мнению экспертов, заметной технологической тенденцией в ближайшие годы будет переход от фактографического анализа (в чем суть ситуации?) к предиктивному анализу (что может произойти?) и сценарному моделированию (что будет, если…?), а также дальнейшее совершенствование поиска зависимостей в данных и оценки их влияния на бизнес. Иными словами, бизнес-аналитика в смысле Business Intelligence превращается в одну из ключевых бизнес-функций, непосредственно интегрированных в систему принятия бизнес-решений на всех уровнях организации. Свойственные BI задачи сбора данных и их визуализации в виде дашбордов остаются в прошлом. А что впереди, за границами BI?

Аналитики из PWC говорят о трех волнах клиентской аналитики.

В ходе первой волны несколько десятилетий назад бизнесмены формулировали вопросы экспертам, которые организовывали поиск нужных данных и их обработку. Для второй волны характерны различные варианты централизованного сбора данных, их анализа и составления отчетности по принципу «сверху вниз». Третья волна связана с появлением персональных компьютерных средств и соответствующих инструментов типа электронных таблиц.

Сегодня наступило время децентрализованной аналитики: повысились скорости обработки данных, одновременно появились технологии хранения и масштабирования данных в распределенных средах. Инновации в области децентрализованной аналитики развивались быстрее, чем соответствующие централизованные варианты, и, по мнению компании PwC, эта тенденция сохранится в будущем.

Три волны аналитики и влияние децентрализации

В русле децентрализованной аналитики эксперты говорят о значительной роли граничных вычислений. Действительно, появление все большего количества приложений IoT, которые требуют малой задержки, автономности и безопасности, критически важным становится физически приблизить аналитические вычисления к тому месту, где генерируются и используются данные.

Исследователи Gartner говорят в своем отчете «10 главных тенденций в обработке данных и аналитике», опубликованном в 2020 г., о нейроморфных микросхемах, которые позволят вынести искусственный интеллект на границы ИТ-систем и развернуть его на периферийном оборудовании.

В PWC считают, что ключевое значение для аналитики нового поколения имеет использование методов работы с большими массивами данных, в частности баз данных NoSQL и in-memory, расширенных статистических пакетов (включающих, например, ПО открытым исходным кодом, на основе языка R), средства визуализации с возможностями интерактивной графики и более интуитивные, чем ранее, пользовательские интерфейсы.

Движение за пределы классических BI-систем сегодня просматривается в нескольких направлениях, связанных с применением интеллектуальных механизмов для бизнес-анализа.

Decision Intelligence

Decision Intelligence (DI) – это технология принятия решений, которая объединяет ключевые знания из прикладного направления data science, социальных наук и науки управления. То есть DI, помимо количественных, оперирует качественными, «эмоциональными», факторами, говорит Эмиль Гасанов, product manager ИТ-компании «Наука», в своей статье «Decision Intelligence: искусственный интеллект с человеческим лицом», журнал IT Manager, январь 2022 г. С ее помощью руководители компаний могут принимать решения в соответствии, например, с политической конъюнктурой или настроениями в обществе или другими важными для конкретного сегмента деятельности деталями окружающей действительности. В этом и заключается принципиальное отличие DI-систем от BI- систем: они базируются на знаниях о бизнеса, а не на совершенстве алгоритмов.

DI-система как совокупность технологий и алгоритмов

С точки зрения стека ИИ-технологий, DI-система включает:

• Машинное обучение (для алгоритмизированной обработки структурированных данных и формирования решений в соответствии с заданными параметрами).
• Глубокое обучение (для выработки предложений с учетом ранее принятых решений и их результатов).
• Визуальное моделирование решений (визуальная аналитика).
• Моделирование сложных систем (быстрое построение сложной бизнес-логики на основе имеющихся данных, правил и целей).
• Предиктивная аналитика (создание максимально точных прогнозов с помощью построения самообучаемых математических моделей).

Они приводит пример задачи повышения точности решений для стриминговых сервисов.

Существующие программные продукты с ИИ формируют предложения только на основе предпочтений человека, которые извлекаются из информации, заданной самим пользователем, истории просмотров и данных поисковых запросов. DI может добавить учет внешних факторов, например, время года, текущая погода в месте пребывания, ближайшие праздники и т.д.
При этом на начальном этапе сотрудники занимаются формированием входных данных и постановкой цели. А затем анализ данных и выработку решений система производит автоматически.

Decision Intelligence – новый уровень корпоративной аналитики

Компания Navicon позиционирует свою систему «Дельта BI» как представителя класса Decision Intelligence. Она изначально разрабатывалась как ИТ-решение, ориентированное на поддержку принятия управленческих решений в режиме онлайн, что крайне важно в условиях экономической нестабильности. Она использует составные данные из множества наборов данных различных типов и решения ИИ для создания гибкого, удобного, адаптированного под потребности пользователей интерфейса, рассказывают в компании.

Gartner прогнозирует, что к 2023 г. треть крупных компаний и корпораций будут иметь в своем штате аналитиков, специализирующихся в области средств моделирования принятия решений (Decision Intelligence). Тем организациям, которые хотят использовать инструменты Decision Intelligence в своих организациях, Gartner напоминает, что технологии управления решениями и их моделирования при необходимости применения нескольких логических и математических методов должны быть автоматизированы, задокументированы и проверены на практике.

Аналитические решения бизнес-анализа

Магистральным направлением для систем бизнес-аналитики сегодня становится класс управленческих задач, описываемый аббревиатурой BPF (Budgeting, Planning and Forecasting), что подразумевает планирование, бюджетирование и прогнозирование. Причем, самыми востребованными функциями, по мнению аналитиков компании Syntellis, стала подготовка оперативных бюджетов и прогнозов, а также моделирование сценариев в формате «что, если». На решение этих задач ориентированы системы класса ВРМ/CPM/EPM (Business/Corporate/Enterprise Performance Management), предназначенные для анализа корпоративной эффективности.

По сути, системы этого класса обеспечивают взаимосвязь управленческих процессов на стратегическом и тактическом уровне через автоматизацию бизнес-процессов на базе единого хранилища данных. Такой подход подразумевает подход к поддержке функций управления на основе единой модели данных, рассказывают в компании Intersoft Lab.

На этом уровне аналитических исследований требуются технологии иного уровня — бизнес-аналитика (Business Analytics, BA). В отличие от BI-платформ, которые обеспечивают математическую обработку данных, BA-инструментарий требует конвертации данных в бизнес-показатели, для чего требуется обеспечить прикладную функциональность, рассказывает Юлия Амириди, заместитель генерального директора по развитию бизнеса Intersoft Lab.

Архитектура интегрированной системы Business Performance Management

Отраслевые специалисты видят широкие потенциальные возможности для использования в системах BA алгоритмов машинного и ИИ. Опрос европейских компаний, проведенный в 2020 г., продемонстрировал высокий интерес корпоративных финансовых служб к планированию и прогнозированию с помощью машинного обучения.

Использование методов ML в задачах финансовой службы

В свете этой тенденции можно ожидать усиления спроса на автоматизацию прогнозной функции с применением методов ML и AI в таких датаемких отраслях, как финансовый сектор, телекоммуникации, розничная торговля и пр., считают в компании Intersoft Lab.

Российская консалтинговая группа «Консист Бизнес Групп» представила собственный продукт в категории CPM/EPM «ТУРБО Бюджетирование». Как рассказал на конференции «Информационные технологии в бюджетировании» Илья Долгобородов, директор по продукту «ТУРБО Бюджетирование», это универсальный конструктор для управления всем бюджетным циклом, позволяющий создавать формы, отчеты и графики на одном экране с общими элементами управления без программирования.

Система решает задачи стратегического управления, поддержки стратегии компании, формирования бюджетов, исходя из планов развития компании (снизу вверх) и целевых показателей деятельности (сверху вниз), а также осуществляет анализ показателей деятельности предприятия. С этой целью продукт обеспечивает консолидацию, систематизацию, аналитическую обработку операционной информации и ее визуализацию в наборы интерактивных аналитических панелей. Поддерживается обогащение данных из сторонних приложений для формирования моделей. Для выверки предлагаемых изменений в бизнесе используются финансовые модели.

Можно воспользоваться версионным, сценарным (что, если…) и план-фактным вариантом анализа с набором сценариев планирования (оптимистичный-пессимистичный). Интеграция с системами искусственного интеллекта используется для построения прогнозных моделей.

Как рассказывают в компании, мощная и быстрая система расчетов платформы ТУРБО Х, на которой базируется решение «ТУРБО Бюджетирование», построена на комбинации многомерного куба OLAP in-memory и реляционной базы, содержит ETL-инструменты для встраивания в инфраструктуру компании.

За границами дашбордов

В процессе развития функциональности систем бизнес-аналитики система дашбордов — ключевой элемент BI – остается в роли одного из проверенных инструментов аналитики.

Современного руководителя немыслимо представить без инструментов для поддержки принятия решений в виде BI-систем, говорит Алексей Цыплов, руководитель управления цифровизации производства компании «Русатом Инфраструктурные решения».

Аналитики Gartner в исследовании «10 главных тенденций в обработке данных и аналитике» отмечают, что с течением времени количество времени, которое пользователи аналитических систем проводят в дашбордах, уменьшится. Причиной является то, что средства дополненной аналитики, обработки естественного языка, потоковой аналитики и совместной работы в перспективе 3-5 лет будут полностью автоматизированы и смогут настраиваться на решение конкретных задач, возникающих перед специалистам. Таким образом, аналитика, учитывающая специфический контекст применения аналитических методов и инструментов, снижение роли дашбордов как заранее определенных панелей инструментов, снизится.
В русле такого развития событий – рукой подать до self-service аналитики, управляемой самим бизнес-пользователем.

От дашбордов к self-service аналитике

Тема self-service аналитика, которая реализуется на каждом рабочем месте каждого сотрудника, сегодня весьма популярна. Но каким образом предоставлять каждому сотруднику не только удачно визуализированную отчетность (дашборд), но и персонализированную информацию, которая превращает дашборд-аналитику в систему поддержки принятия решений (СППР) руководителями или менеджерами направлений?

Действительно, сам по себе дашборд может лишь выдать информацию, опираясь на которую нужно принять решение, используя жизненный опыт, сконцентрированный в базе знаний, и данные из других систем, говорит Артем Гришковский, коммерческий директор компании «Доверенная среда». По его мнению, для перехода к персонализированной продвинутой аналитике возникает целый пласт вопросов: от доверия к данным до полноты информации для принятия решений и оперативности ее получения.

Он говорит, что платформа «Триафлай» развивается, исходя именно из этих ожиданий рынка, что помогает успешно внедрять решения на платформе «Триафлай», объединяющие BI+DSS (Decision Support Systems).

К 2023 году, прогнозирует Gartner, треть крупных компаний и корпораций будут иметь в своем штате аналитиков, специализирующихся в области средств моделирования принятия решений.

«Гражданская» аналитика

«Гражданская» аналитика (citizen data science) – понятие, введенное Gartner, определяет новое направление, в которое входят средства и методы, позволяющие пользователям, не обладающим профессиональными навыками в области data science, решать сложные задачи по извлечению аналитических сведений из данных. Такая «демократизация» аналитики происходит в результате объединения двух ранее автономных миров: данные и аналитические процессы.

Реализация сквозных рабочих процессов с помощью средств дополненной аналитики, стирают различия между этими сферами работы. В результате, прогнозировал Gartner в 2020 г., в течение ближайших 3-5 лет с аналитическими приложениями смогут работать не только профессионалы, но и так называемые «гражданские разработчики», то есть сотрудники бизнес-подразделений.

Так, в марте текущего года компания «Форсайт» выпустила продукт бизнес-аналитики и визуализации данных FlyBI, реализованный в парадигме гражданской аналитики. FlyBI представляет собой инструментарий для решения задач Data Discovery, ориентированный на самостоятельную работу пользователей из различных сфер бизнеса – self-service BI. Он дает возможность объединять разнородные источники данных: интегрироваться с корпоративными информационными системами и работать с гетерогенными источниками данных, в том числе, хранилищами данных, базами данных, отдельными файлами, причем, с возможностью формирования единой модели данных. Причем, есть возможность быстро подключиться к нужным источникам данных и «на лету» провести их анализ. И в этом, рассказывают в компании, заключается ключевое отличие FlyBI от традиционных BI-систем, которые предоставляют заранее определенный набор расчетных методик и выходных отчетов без возможности добавить новые источники данных или оперативно создать отчет под новую задачу.

Продукт FlyBI включает набор встроенных и внешних визуализаторов и способен поддерживать работу до 200 пользователей с активным подключением. Он может использоваться как отдельное самостоятельное решение, так и в интеграции с платформой «Форсайт. Аналитическая платформа». В перспективе компания намерена добавить в продукт FlyBI средства коллаборативной работы, что превратит его в площадку для совместных исследований команды аналитиков.

Отраслевые эксперты согласны во мнении, что гражданский аналитик – это, в первую очередь, специалист-аналитик, ведь требования к аналитическим компетенциям сотрудников растут по мере усложнения применяемых инструментов обработки данных. Алексей Выскребенцев, руководитель центра экспертизы решений компании «Форсайт», поясняет, что аналитик выполняет целый ряд интеллектуальных задач: от подготовки и структурирования данных и формулировки математической задачи до, собственно, проведения расчетов. Профессиональные аналитики окажутся не нужны только в том случае, говорит специалист, когда само интеллектуальное ПО сможет выполнить в автоматическом режиме все эти операции: получив на вход сырые данные, сформулировать аналитические концепции, собрать под них датасеты, провести расчеты и сделать выводы. Наиболее креативная часть этих работ — повышение качества данных и их достоверности, усовершенствование старых моделей и создание новых – еще долго не будет поддаваться полной автоматизации.

Впрочем, разработчики аналитических решений уже двигаются по этому пути.

Автоматизация интеллектуальных навыков человека

Сегодня на практическом уровне идет речь о консолидации возможностей в стиле: умная self-srvice аналитика + BI+DSS. Теоретически эта триада хорошо укладывается в концепцию гиперавтоматизации, выдвинутой Gartner. Она предполагает формирование на базе умной программной роботизации (RPA/IPA) «цифровой рабочей силы». Насколько реалистична идея о том, что аналитические технологии на достигнутом сегодня уровне способны создать профессиональный интеллект, опыт, навыки цифрового сотрудника?

Однако на примере «Триафлай» — платформы бизнес-аналитики (BI) и платформы поддержки принятия решений (DSS) – можно увидеть тенденции встраивания инструментов, дополняющих классический портрет BI-продуктов.

Артем Гришковский выделяет четыре аспекта такого развития:

1. Крайне важным является набор технологических средств, которые позволят обеспечить доверие к данным, так как без доверия к данным принятие решений как человеком, так и «роботом» не представляется возможным,- рассказывает.
2. Решение строится на модели — цифровом образе бизнес-процесса. Следовательно, нужны инструменты, которые позволят гибко, оперативно настраивать модели, вносить корректировки, создавать так называемые «цифровые двойники».
3. Необходимы базы знаний, то есть экспертные оценки, исторические данные, которые в привязке к многофакторным моделям позволят корректировать, обучать модели и уже в режиме «робот» предлагать варианты решений.
4. Само по себе решение, предлагаемое системой, не имеет смысла, если оно не воплощено в управляющее воздействие — поручение, что также требует внедрения новых инструментов.

По словам Артема Гришковского, продукт «Триафлай» строится как комплексная платформа автоматизации поддержки принятия решений, включающая эти вышеперечисленные инструменты. При этом в настоящий момент акцент делается на автоматизацию работы аналитиков и экспертов. В проектах внедрения, которые реализованы на платформе «Триафлай», формируются базы знаний, которые в ближайшей перспективе позволят говорить о возможности полной автоматизации принятия решений, уверен коммерческий директор компании «Доверенная среда».

О том, как на практическом уровне решается задача повышения доверия к данным в больших аналитических системах, можно судить на примере ВТБ. Банк построил работу с факторами кредитного риска (ФКР) на базе машинного обучения, что позволило повысить на несколько процентных пунктов показатель Gini, оценивающий точность прогнозных моделей. На момент запуска проекта в 2018 г. для расчета скорингового балла было выбрано 22 фактора кредитного риска для корпоративных клиентов.

Корпоративное информационное хранилище (КИХ) – основное хранилище данных банка – стало одним из источников данных для модели. Фактически Data Lake = КИХ+ внешние источники данных. Данные из внешних источников отражают аффилированность, B2B-связи и др.

Система расчета рейтингов (СРР) – одна из основных баз данных, применяемая для оценки рисков корпоративных клиентов,- содержит бизнес-информацию о рейтингах предприятий, показатели финансовой отчетности и т.п. Данные СРР дополняются информацией из различных файлов, в числе которых – данные для текущей работы дата-сайентистов.

В банке рассказывают, что Hadoop- кластер легко масштабируется, что обеспечивает свободу в увеличении объемов данных, потребляемых моделями. Причем, отдельные модели могут выполнять свои вычисления параллельно. Но самое главное — показатель Jini. При этом аналитикам не нужно обращаться к ИТ-специалистам с просьбой написать SQL-запросы к КИХ, чтобы потом обрабатывать модели на своих рабочих местах. Аналитики могут составлять запросы самостоятельно, а это значит, что скорость процессов радикально сокращается.

Умный помощник человека-аналитика

В частности, алгоритмы не смогут заменить грамотного аналитика, который видит картину происходящего целиком и замечает появление важных аномалий, считает Марина Романова, руководитель отдела консалтинга по аналитическим решениям подразделения ERP компании «Т1 Консалтинг».

Более того, интеллектуальные ИТ, обеспечивая человека умными вспомогательными инструментами, устанавливают новую планку качества работы аналитика, уверен Артем Гришковский: не просто отвечать на поставленные вопросы, обращаясь к имеющимся данным, а генерировать новые нетривиальные знания и предложения по их использованию на благо компании.
Например, уже сегодня, рассказывают в компании «ВС Лаб», с помощью продукта класса OSINT можно, например, определить технологический потенциал той или иной новой ниши рынка, выявить ключевые направления технологического развития, понять, каким образом связаны между собой эти направления, какие конкретные люди и компании занимаются этими вопросами, и каким образом они связаны между собой.

Один из шагов к автоматическому формированию новых знаний на основе имеющихся данных — объединение структурированных и неструктурированных данных для совместного анализа.

Действительно, работающие сегодня механизмы анализа документов и текстов на естественном языке, включая мультимедийные источники данных: поиск упоминаний, категоризация и извлечение фактов, семантический анализ для определения эмоциональной окраски, оценки интереса, отношения, выявление закономерностей и т.д. — требуют обязательного участия человека, отвечающего за формирование запросов и осмысленное формирование схем предметных областей (источники данных, критерии и особенности, обязательные сущности, атрибуты и связи). Автоматизация возможна на пути использования формализма онтологий для описания предметной области, характеризующейся определенной логической структурой.

К сформированным структурам применимы инструменты поиска, визуализации, анализа, фильтрации, моделирования, прогнозирования, выделения закономерностей, выделения эмоциональной окраски, категоризации и извлечения фактов, продолжает эксперт:

Универсальная схема работы с неструктурированными данными через преобразование в структурированный вид

В рамках данного подхода онтология это логическая структура, которая связана с одной или несколькими физическими структурами хранения данных в базе данных. В идеале онтология представляет собой абстрактный логический уровень, отделяющий аналитика-пользователя от структур хранения данных. Таким образом, всю работу с данными, формирование запросов и отчетов аналитик осуществляет в терминах схемы онтологии, то есть той самой предметной области, в которой работает человек.

В среде российских разработчиков аналитических систем накоплен солидный опыт создания продуктов такого рода.
Например, лингвистический процессор OntosMiner, предназначенный для построения сложных систем текстового мониторинга и анализа данных (разработка компании «Авикомп Сервисез», ныне входящей в состав «Объединенной приборостроительной корпорации». OntosMiner анализирует текст с использованием онтологий и словарей, доступных для редактирования пользователем, а также специальных эвристик.

Онтологическиее модели способны снимать многозначность слов, что, в частности, помогает реализовать автоматический перевод текстов. Например, разработчики продукта демонстрировали его возможности для распознавания слов на языках, которым система не обучалась. Например, редакция CNews рассказывала в 2015 г., как после анализа большого числа текстовых документов на русском языке о китайских персонах (в частности, тексты о Сун Цинлин, супруге китайского революционера Сунь Ятсена), система начинает распознавать иероглифическое начертание их имен. Это объясняется тем, что у имен в иероглифическом начертании система обнаруживает такие же семантические связи, как у имен, записанных на кириллице или латинице.

Сами разработчики одним из важнейших свойств своей системы называют возможность ее настройки самим заказчиком: OntosMiner позволяет осуществлять тонкую настройку лингвистического процессора под специфические цели компании с помощью технологий машинного обучения.

Semantic Archive Platform – это аналитический инструмент, разработанный компанией «Аналитические бизнес решения», который позволяет автоматизировать всю технологическую цепочку решения аналитических и разведывательных задач, начиная от сбора необходимой информации, ее интеллектуального анализа и заканчивая удобным представлением отчетов.

Платформа дает возможность с максимальной полнотой анализировать и применять разнородную информацию для своевременного принятия оптимальных управленческих и бизнес-решений, говорят в компании:

• проводить комплексную проверку контрагентов, партнеров, сотрудников в разных странах мира, вести конкурентную и бизнес-разведку;
• искать любую информацию о физических и юридических лицах, формировать досье и оценивать риски ведения бизнеса;
• проводить глубокий анализ связей собственников компаний, исследовать связи крупных холдингов и корпораций и пр.;
• осуществлять мониторинг и анализ политической, социальной и экономической ситуации;
• расследовать коррупционные, террористические, криминальные и финансовые схемы.

Среди используемых технологий: Text mining (извлечение ценной информации из большого числа неструктурированных данных), OSINT (использование всех открытых источников информации: СМИ, соцмедиа, онлайн базы данных, форумы, блоги и пр.), онтологическая модель и возможности изменения онтологической модели базы данных без привлечения программистов. Так, компании могут создавать собственные базы знаний по различным направлениям деятельности.

Еще одно технологическое направление демонстрирует устойчивый рост в области аналитики – графовые решения. Сергей Громов говорит о растущем уровне зрелости решений Graph Processing в бизнес-аналитике.

Например, группа компаний «Кронос-Информ», которая занимается разработкой прикладного ПО для обработки структурированной и полнотекстовой информации, а также созданием на его основе автоматизированных систем сбора, обработки и анализа информации, использует в качестве ядра системы инструментальную СУБД CronosPRO, которая использует сетевую модель данных для поддержки задач современной высокопроизводительной аналитики.

Как рассказывают в компании, систему CronosPRO отличает сочетание высокой скорости работы с экономичным размещением данных на диске: динамическое сжатие позволяет в 1,5 – 2 раза уменьшить объем данных.

Следующий материал обзора «Технологии искусственного интеллекта» >>>
Главная страница обзора «Технологии искусственного интеллекта» >>>

Другие материалы обзора «Технологии искусственного интеллекта»

• Обработка данных в глубинных нейронных сетях: достижения и вызовы текущего момента
• ИИ: от данных – к знаниям
• Обработка документов и текстов на естественном языке
• Умная обработка процессов
• Умные речевые сервисы
• Интеллектуальная видеоаналитика
• Новые вызовы для задач информационной безопасности
• Умное производство
• Виртуальные помощники
• Умный город
• Заключение. Куда катится мир практических реализаций ИИ?

Другие материалы по теме ИИ

• Рынок искусственного интеллекта в России достиг точки перелома. Обзор TAdviser 2020
• Искусственный интеллект (ИИ, Artificial intelligence, AI)
• Искусственный интеллект (рынок России)
• Искусственный интеллект (мировой рынок)
• Компьютерное зрение: технологии, рынок, перспективы
• Системы видеоаналитики Каталог систем и проектов видеоаналитики
• Национальная стратегия развития искусственного интеллекта
• Машинное обучение, Вредоносное машинное обучение, Разметка данных (data labeling)
• RPA — Роботизированная автоматизация процессов
• Видеоаналитика (машинное зрение)
• Машинный интеллект
• Когнитивный компьютинг
• Наука о данных (Data Science)
• DataLake (Озеро данных)
• BigData
• Нейросети
• Чатботы
• Умные колонки Голосовые помощники
• Искусственный интеллект в разных сферах: в банках, медицине, радиологии, ритейле, ВПК, производственной сфере, образовании, Автопилот, транспорте, логистике, спорте, СМИ и литература, видео (DeepFake, FakeApp), музыке
• Беспилотные автомобили в мире
• Беспилотные автомобили в России

Несомненно, количество и типы данных в цифровом мире растут быстрее, чем когда-либо прежде. Этот огромный объем данных, которые производят предприятия, поступает из разных источников, таких как следующие:

• Прошлые данные
• Данные в режиме реального времени
• Данные исследования рынка
• Данные о конкурентах
• Другие источники данных. 

Компании получают данные из множества различных систем, в том числе внутренние бизнес-системы такие как ERP, CRM, HR и мощные системы бизнес-аналитики (BI), а также внешние источники, такие как исследования рынка, общие данные, социальные сети и другие.

Все эти данные являются необработанными и неорганизованными, поэтому их необходимо обработать и проанализировать, прежде чем они смогут быть полезны для бизнеса. Такая информация может дать организациям ценную информацию, которая может изменить то, как работают их компании. 

В этом сообщении блога мы рассмотрим, как компании могут использовать потенциал ИИ и потенциальных возможностей BI-аналитики, чтобы повысить свою производительность и сохранить конкурентоспособность в сегодняшней динамичной рыночной среде. 

Оставайтесь с нами, пока мы раскрываем секреты использования AI и Power BI Analytics для достижения успеха в бизнесе! 

Что такое искусственный интеллект (ИИ) и бизнес-аналитика (BI)?

ИИ означает «искусственный интеллект». Он обучает компьютеры навыкам человеческого интеллекта, таким как обучение, решение проблем и принятие решений. Технология машинного обучения (ML) на основе ИИ упростила для предприятий использование приложений ИИ, которые можно использовать для таких вещей, как:

• Читать и понимать письменный текст, например комментарии пользователей или идеи.
• Найдите и поместите картинки и фотографии в группы.
• Распознавайте черты лиц и объектов, что позволяет предлагать продукты и идентифицировать лица.

Технология ИИ меняет бизнес во многих отношениях. Одним из наиболее важных способов является упрощение автоматизации процессов. Автоматизация — это хорошо для бизнеса, потому что она помогает им:

• Сосредоточьтесь на росте бизнеса
• Сократите свои накладные расходы
• Повысьте качество обслуживания клиентов.

ИИ в BI полезен, потому что BI — отличное дополнение к ИИ. Бизнес-аналитика (BI) относится к системам, которые автоматически собирают, обрабатывают и анализируют большие объемы данных. Организации могут улучшить свои бизнес-процессы и сделать лучший выбор, используя огромные объемы данных, которые они собирают. 

В наши дни переход к настоятельно рекомендуемым Обучение работе с Microsoft Power BI. поможет вам узнать, как перемещаться по интерфейсу для изучения и визуализации ваших бизнес-данных. Изучение и понимание того, как работать с бизнес-аналитикой и аналитикой Microsoft, имеет решающее значение для роста и успеха вашего бизнеса.

Инструмент Microsoft Power BI для бизнес-аналитики позволяет просматривать бизнес-данные и делиться своими знаниями. Он изменяет данные из разных источников, чтобы панели мониторинга и отчеты Business Intelligence можно было сделать динамическими. 

Что происходит, когда ИИ и BI объединяются?

Программы искусственного интеллекта позволили объединить самые разные источники данных в хорошо работающий и надежный бизнес. ИИ также облегчает пользователям поиск необходимой информации и идей.

BI внутри ИИ работает лучше, если пользователь вовлекается в эти идеи и работает над ними. В сочетании с мощными инструментами BI ИИ может сказать команде дизайнеров, что нужно вырезать, а что оставить на случай нового повышения. В телефоне продавца будет вся необходимая информация. Вот почему так важно пройти обучение машинному обучению Power Bi.

Каковы преимущества ИИ для отрасли в целом?

Внедрение искусственного интеллекта (ИИ) в бизнес дало растущим компаниям различные способы сэкономить время и деньги за счет автоматизации. Это особенно актуально для специалистов по данным, которые используют машинное обучение, чтобы сделать подробные и технические бизнес-исследования более точными и эффективными. 

Кроме того, разработки в области ИИ важны не только для технологических компаний. Его можно использовать во многих областях бизнеса, таких как управление персоналом, бюджетирование и даже здравоохранение, где хранятся и используются огромные объемы данных клиентов и заказчиков. 

Системы на основе ИИ могут помочь врачам диагностировать и лечить своих пациентов быстрее и точнее. Это потому, что они могут обрабатывать огромные объемы данных быстрее и лучше, чем люди. В области управления персоналом и бухгалтерского учета ИИ помогает автоматизировать задачи ввода данных и отчетности, которые выполняются снова и снова. Это увеличивает производительность и производительность.

Как AI превращает BI в бизнес-аналитику?

ИИ превращает BI в продуктивный интеллект, используя продвинутые алгоритмы автоматически находить закономерности и идеи в больших и сложных наборах данных. Это позволяет организациям делать лучший выбор и предпринимать более эффективные действия на основе информации, основанной на данных. Вот некоторые роли, которые ИИ играет в бизнес-аналитике.

1. ИИ заставляет данные работать

С помощью Интеллект ИИ и машинного обучения, люди, которые делают выбор, могут сосредоточиться на получении ценной информации из необработанных, неструктурированных данных. Это поможет вам не тратить время на анализ данных. ИИ выполняет всю тяжелую работу, оценивая и изучая каждую часть данных, а затем используя ее, чтобы дать вам информацию, которая повлияет на решения вашего бизнеса.

Вы можете использовать глубокие знания, чтобы:

• Внесите необходимые изменения в свой бизнес
• Разработайте стратегии для повышения производительности
• Создайте способы повысить рентабельность инвестиций (ROI). 

Все это поможет вам сэкономить время, которое вы бы потратили на ручной (часто неполный) анализ. И вы получите результат быстрее. ИИ выполняет прогнозную и предписывающую аналитику, которая обрабатывает огромные объемы данных и дает лицам, принимающим решения, предложения, основанные на фактах, и достоверную, индивидуализированную информацию.

1. ИИ использует данные, которые не организованы

Независимо от того, насколько велика или мала ваша компания, ИИ помогает обрабатывать значительный объем данных каждую минуту. Предприятия получают данные из разных мест, включая внутренние бизнес-системы, конкурентов, исследования рынка и цифровые медиа. Технологии искусственного интеллекта, такие как машинное обучение, позволяют превращать эти необработанные данные в идеи, улучшающие бизнес.

1. ИИ ищет различия и закономерности в данных

Хотя поиск данных необходим для принятия важных бизнес-решений, он не так эффективен. Лицам, принимающим решения, требуется много времени, чтобы просмотреть многочисленные электронные таблицы, информационные панели, отчеты и т. д., чтобы найти тенденции и сделать осознанный выбор. 

Системы искусственного интеллекта, такие как машинное обучение и прогнозная аналитика, выполняют всю тяжелую работу по поиску отклонений и тенденций в данных. Затем они сообщают об этих наблюдениях лицам, принимающим решения, для принятия более эффективных решений.  

Заключение

С появлением ИИ на рынке малые предприятия могут использовать проверенные стратегии для достижения лучших бизнес-целей. Будет ли будущее хорошим или плохим, оно наступит быстро, и искусственный интеллект сыграет свою роль.

По мере совершенствования этой технологии в мире появятся новые компании, потребительские приложения, рабочие места будут потеряны, а новые рабочие места будут созданы. ИИ дает предприятиям конкурентное преимущество, а крупные компании предоставляют технологии, которые можно использовать для создания креативных решений. 

ИИ позволяет делать инструменты бизнес-аналитики более инновационными и гибкими. Когда компании используют AI и BI вместе, они узнают больше о своих клиентах и ​​улучшают свои методы работы. Они используют синергию, чтобы получить большое преимущество над своими конкурентами.

Сегодняшний бизнес управляется данными. В частности, большие данные и ИИ, которые постепенно развиваются, формируют повседневные бизнес-процессы и играют ключевую роль в принятии решений в области бизнес-аналитики. Благодаря достижениям в области искусственного интеллекта и когнитивных вычислений с использованием больших данных в качестве канала, компании теперь могут получать информацию о тенденциях бизнеса и поведении потребителей в режиме реального времени, чтобы получить преимущество над другими конкурентами.

Согласно прогнозам Forrester, эта тенденция бизнес-модели прогнозирует более широкое распространение больших данных и ИИ среди 70% предприятий по всему миру; что на 51% больше, чем в 2017 году. Следовательно, это явный признак того, что искусственный интеллект и большие данные трансформируют деловой мир. Так что, если вам интересно узнать о влиянии больших данных и ИИ на бизнес, то этот блог объяснит вам подробно.

Потенциальное экономическое влияние искусственного интеллекта и больших данных

В то время как большие данные играют роль постоянно растущего резервуара данных, они помогают ИИ стать разрушительной силой в глобальной экономике. Предполагается, что к 2030 году ИИ может внести в мировой ВВП до 15,7 трлн долларов. Вклад в 9,1 трлн долларов — это побочные эффекты потребления, тогда как 6,6 трлн долларов — увеличение производительности.

В каких областях большие данные и ИИ могут помочь бизнесу?

С самого начала этого блога мы говорим, что большие данные и ИИ способствуют развитию бизнеса. Давайте рассмотрим основные области, в которых большие данные и ИИ могут помочь бизнесу.

1. Улучшенная модель прогнозирования с помощью бизнес-аналитики

Большие данные помогли преодолеть ограничения бизнес-аналитики. Благодаря анализу больших данных с использованием искусственного интеллекта анализ предприятий стал более эффективным и простым, чем раньше. Большие данные и ИИ вместе превратили бизнес-аналитику из реактивного в проактивное бизнес-решение. Что это значит на самом деле?

Объясним, что с распространением различных источников больших данных, таких как интеллектуальные устройства, бизнес устройств IoT больше не интересуется статическими отчетами, генерируемыми программным обеспечением BI, и стремится к более эффективному использованию оперативных данных в реальном времени. В этом контексте, благодаря вмешательству больших данных, программное обеспечение BI развилось в три области:

• Описательная аналитика
• Предписательная аналитика
• Прогнозная аналитика

Этот огромный прогресс в аналитике больших данных с использованием искусственного интеллекта позволяет бизнес-аналитикам вносить свой вклад в более зрелые решения. В то время как большие данные обрабатывают неструктурированные данные и направляют их в системы ИИ, с помощью алгоритмов ИИ разбивает эти исходные данные на практические идеи, которые затем используются для процесса принятия решений. Это очень эффективно для прогнозирования поведения потребителей.

2. Большие данные и ИИ будут использовать данные социальных сетей в качестве бизнес-канала

В ближайшие годы данные социальных сетей будут играть важную роль в расширении возможностей продаж. В то время как инструменты больших данных будут получать и обрабатывать данные и передавать их в системы ИИ, используя методологии поведенческого таргетинга, ИИ может точно и эффективно задействовать маркетинговый стек. Следовательно, Большие данные и ИИ вместе будут разумно определять, ищет ли какой-либо потребитель или платформа какое-либо программное обеспечение для управления клиентами (CRM). Такая информация чрезвычайно полезна для повышения качества обслуживания клиентов и управления ими.

3. Внедрение интеллектуальных адаптивных продуктов

Большие данные и ИИ вместе не только активно улучшают качество обслуживания клиентов, но и побуждают компании создавать более автоматизированные продукты, отвечающие потребителям. Благодаря использованию и внедрению аналитики больших данных с использованием искусственного интеллекта в наши дни компании достаточно зрелы, чтобы сосредоточиться на разработке своих продуктов таким образом, чтобы они могли удовлетворить будущие потребности своих клиентов.

4. Аналитика Chatbots помогает в росте онлайн-продаж

Другой интересной и важной частью Big data and AI является аналитика Chatbots, которая стала неотъемлемой частью любого онлайн-бизнеса. Это надежный и интеллектуальный результат анализа больших данных и искусственного интеллекта. Здесь данные берутся из нескольких источников, и после анализа их с помощью анализа больших данных вероятные запросы и ответы поступают в программы чат-ботов с использованием ИИ. Наконец, чат-боты действуют как служба поддержки клиентов 24 * 7, тем самым ускоряя процесс продажи бизнеса.

5. Более безопасный бизнес с поддержкой AI

Поскольку цифровой мир испытал изощренную поддержку различных современных технологий, он также увеличил число профессиональных мошенников, которые увеличили финансовый риск для бизнеса. Благодаря ИИ, который наделил бизнес интеллектуальными инструментами ИИ, такими как распознаватель речи, распознавание видео, естественный язык и многое другое, чтобы защитить их от мошеннических схем.

6. Изменение ландшафта промышленного инжиниринга с точки зрения эффективности

Сегодня повышение эффективности в промышленном машиностроении практически невозможно без больших данных. В промышленном инжиниринге с помощью анализа больших данных инженеры могут определить ограничения бизнеса и то, как он связан с бизнесом. Таким образом, они могут быстро устранить ограничения, что в конечном итоге помогает значительно повысить производительность и пропускную способность бизнеса.

7. Снижение затрат на управление запасами

Управление запасами является дорогостоящим делом, особенно если вы не уверены, что производить и сколько это должно быть? Тем не менее, с помощью анализа больших данных теперь можно прогнозировать будущие тенденции и события в отрасли. Не говоря уже о том, что это помогает в организованном управлении запасами, которые отвечают требованиям клиентов без чрезмерных затрат. Прогнозирование продаж дает бизнесу глубокий анализ идеального времени покупки запасов.

8. Быстрое преобразование различных отраслей с помощью ИИ

С ИИ мы можем наблюдать, как шире внедряется автоматизация в различных отраслях. Кроме того, искусственный интеллект, применяемый ИИ, улучшил процессы в таких отраслях, как биологические науки, здравоохранение, финансы и многие другие. Сегодня роботы участвуют в клинических операциях для измерения более точных и быстрых результатов. Клиническое вмешательство ИИ ускорило изобретения новых лекарств и лекарств, сделав систему здравоохранения более доступной.

9. AI предлагает лучшее понимание данных на аналитических моделях

 Поскольку большие данные определяют аналитические модели, ИИ, кроме того, делает модель принятия решений более интеллектуальной, добавляя в нее часть автоматизации. Автоматизация, сгенерированная ИИ, обеспечивает обратную связь данных в режиме реального времени, что улучшает предписывающие модели, в результате чего следующее предписанное решение автоматически лучше, чем предыдущие. Эта исключительная способность ИИ помогает принимать бизнес-решения с большей выгодой.

Как интеллектуальная бизнес-аналитика упрощает бизнес?

Основными преимуществами использования BI-систем на базе AI является то, что они преобразуют бизнес-данные в

• просто
• точный
• В режиме реального времени
• повествовательный

BI-инструменты на базе AI как замена анализа панели инструментов

Теперь, с беспрецедентным ростом больших данных из разных источников, анализ приборной панели такого огромного куска данных становится практически невозможным. В этом случае инструменты BI на базе AI помогают переварить все данные вместе с индивидуальным подходом к этому. 

Избежать от перегрузки больших данных

Большие данные растут с невероятной скоростью, поэтому они легко могут затруднить деловые операции. Однако инструменты бизнес-аналитики на основе AI могут помочь разбить огромные порции данных, чтобы получить управляемую информацию.

Анализ бизнес-данных в режиме реального времени

Анализ больших данных работает наиболее эффективно, если бизнес может принимать стратегические решения вовремя. Но из-за двух важных факторов, связанных со скоростью и объемом больших данных, это действительно сложно. Тем не менее, благодаря бизнес-аналитике, управляемой искусственным интеллектом, бизнес может использовать мощные инструментальные панели, которые обеспечивают своевременное оповещение и понимание бизнеса для принятия ключевых решений.

Большие данные и искусственный интеллект дополняют друг друга в деловом мире

Мы уже упоминали в предыдущих разделах, что большие данные действуют как топливо для ИИ. Аналитика больших данных с использованием искусственного интеллекта делает его все более мощным для получения реальных знаний. Чем больше больших данных поступает в системы ИИ, тем выше будет интеллект системы ИИ.

С другой стороны, с увеличением принятия  Интернета вещей и достижений в глубоком обучении , более подключенные устройства генерации данных делают глобальную информацию все более оцифрована. Эти данные используются не только для хранения. Вместо этого он анализируется с использованием систем искусственного интеллекта.

Появление больших данных и преимуществ AI в компаниях мира технологий

Дело не в том, что только большие отрасли получают выгоду от появления больших данных и ИИ. Компании, предоставляющие большие данные и услуги AI, также находятся в хорошем положении благодаря своим потенциальным преимуществам. Компании подпадают под это

• Компании с большими проприетарными наборами данных
• Кто разрабатывает передовые программы ИИ
• Кто строит компьютерное оборудование для выполнения сложных вычислений для ИИ
• Компании по разработке ИИ с внутренними возможностями ИИ
• Компании, предоставляющие облачный сервис AI, который обычно называют AI-as-a-Service (AIaaS)
• Компании, которые производят такие устройства, как память, полупроводники и другие сопутствующие продукты, связанные с приложениями для искусственного интеллекта.
• Компании, которые работают над технологиями квантовых вычислений, которые будут коммерциализированы в ближайшем будущем. Ожидается, что эти компании будут играть важную роль на рынке больших данных и искусственного интеллекта.