Система бизнес интеллекта это

Научитесь: Профессия BI-аналитик
Узнать больше

Все бизнесы работают с данными — информацией, генерируемой множеством внутренних и внешних источников компании. Эти каналы данных служат органами чувств руководства, предоставляя ему информацию о том, что происходит с бизнесом и рынком. Следовательно, любое ошибочное представление, неточность или нехватка информации могут привести к искажённому восприятию ситуации на рынке и неверному пониманию внутренних операций, что в свою очередь несёт за собой ошибочные решения.

Для принятия решений на основе данных необходимо чётко видеть все аспекты своего бизнеса, даже те, о которых вы не думаете. Но как превратить неструктурированные фрагменты данных в что-то полезное? В этом вам поможет business intelligence.

Мы уже говорили о стратегии организации машинного обучения. В этой статье мы расскажем о том, как интегрировать business intelligence в существующую корпоративную инфраструктуру. Вы узнаете, как подготавливается стратегия business intelligence и интегрируются инструменты в рабочие процессы компании.

Что такое business intelligence?

Начнём с определения: business intelligence (BI) — это набор практик по сбору, структурированию, анализу и превращению сырых данных в картину бизнеса, позволяющую принимать решения. BI применяет методики и инструменты, преобразующие неструктурированные массивы данных, компилируя их в понятные отчёты или информационные дэшборды. Основное предназначение BI — создавать картину бизнеса и обосновывать принятие решений при помощи данных.

Пример интерактивного дэшборда для отдела продаж

Весь процесс business intelligence можно разделить на четыре этапа:

• Сбор данных
• Очистка/стандартизация данных
• Анализ
• Отчётность

Самая большая часть реализации BI — применение инструментов, выполняющих обработку данных. Инфраструктуру BI образуют различные инструменты и технологии. Чаще всего эта инфраструктура содержит следующие технологии хранения и обработки данных, а также формирования отчётности:

• Источники данных
• ETL (Extract, Transform, Load) или инструменты интеграции данных
• Хранилище данных
• Кубы данных Online analytical processing
• Киоски данных
• Инструменты отчётности (BI)

Чтобы узнать больше о части business intelligence, касающейся инжиниринга данных, можно прочитать нашу статью или посмотреть видео:

Business intelligence — это технологический процесс, сильно зависящий от входных данных. Технологии, используемые в BI для преобразования неструктурированных или частично структурированных данных, также могут использоваться для data mining, а также во фронтенде для работы с big data.

Business intelligence и прогнозная аналитика

Определение business intelligence часто сбивает с толку, ведь оно пересекается с другими областями знания, в частности, с прогнозной аналитикой. Серьёзной ошибкой было бы считать, что business intelligence и прогнозная аналитика (predictive analytics) — это одно и то же.

По сути, business intelligence — это методика анализа данных, отвечающая на вопросы что происходило? и что происходит?. Этот тип обработки данных также называется дескриптивной аналитикой. При помощи дескриптивной аналитики компании могут исследовать состояние рынка в своей отрасли, а также собственные внутренние процессы. Анализ исторических данных помогает выявлять слабые места и потенциал бизнеса.

Прогнозная аналитика занимается предсказаниями на основании обработки данных событий прошлого. Прогнозная аналитика не проводит анализ исторических событий, а делает прогнозы о бизнес-тенденциях будущего. Оба этих типа прогнозов основаны на анализе событий прошлого. Поэтому BI и прогнозная аналитика могут использовать для обработки данных одинаковые техники. В какой-то степени, прогнозная аналитика может считаться следующим этапом business intelligence. Подробнее об этом можно прочитать в нашей статье, посвящённой моделям зрелости аналитики.

Обе методики анализа обращаются к трём основным типам управления данными:

1. Дескриптивной аналитике (BI)
2. Прогнозной аналитике
3. Предписывающей аналитике

Предписывающая аналитика — это третий тип, нацеленный на поиск решений задач бизнеса; он предлагает действия для их решения. В настоящее время предписывающая аналитика (prescriptive analytics) реализуется при помощи многофункциональных инструментов BI, однако эта область знаний в целом не развилась до достаточно надёжного уровня.

Весь процесс интеграции инструментов BI в вашу организацию можно разбить на знакомство сотрудников компании с business intelligence как с концепцией и на саму интеграцию инструментов и приложений. Ниже мы расскажем об основных пунктах интеграции BI и раскроем некоторые сложности.

Схема реализации business intelligence по должностям и этапам

Этап 1: ознакомление сотрудников и руководства с business intelligence

Начнём с основ. Чтобы приступить к использованию business intelligence в вашей организации, вам первым делом нужно объяснить значение BI всему руководству. Здесь важно взаимопонимание, поскольку в обработку данных будут вовлечены сотрудники различных отделов. Поэтому нужно обеспечить согласованность, чтобы никто не путал business intelligence с прогнозной аналитикой.

Ещё одно предназначение этого этапа — объяснение концепции BI основным руководителям, задействованным в управлении данными. Вам нужно определить задачу, над которой вы будете работать, задать KPI и организовать специалистов, чтобы запустить собственный проект business intelligence.

Важно заметить, что на этом этапе вы, строго говоря, будете делать допущения об источниках данных и стандартах, которые будут задаваться для управления потоком данных. На последующих этапах вы сможете проверить верность своих допущений и сформировать процесс обработки данных. Именно поэтому нужно быть готовыми к изменению каналов получения данных и структуры команды.

Задаём цели, KPI и требования

Первым важным шагом после обеспечения общего видения обстановки будет определение задачи или группы задач, которые вы будете решать с помощью business intelligence. Установка целей позволит вам определить высокоуровневые параметры BI, например:

• Какие источники данных будут использоваться? (CRM, ERP, аналитика веб-сайтов, внешние источники и так далее.)
• Какой тип данных нам нужно принимать? (Показатели продаж, отчёты, трафик веб-сайтов и так далее.)
• Кому нужен доступ к этим данным? (Высшее руководство, аналитики рынка, другие специалисты.)
• Какие типы отчётов нам нужны и как они должны быть представлены? (Электронные таблицы, диаграммы, оперативные отчёты или интерактивные дэшборды.)
• Как будет измеряться прогресс?

На этом этапе наряду с целями вам нужно продумать возможные KPI и метрики оценки для проверки успешности выполнения задачи. Это могут быть физические ограничения (выделенный на разработку бюджет) или показатели результатов работы наподобие скорости запросов или частота отчётов об ошибках.

К концу этого этапа вы уже сможете сконфигурировать исходные требования к будущему продукту. Это может быть список фич в бэклоге продукта, состоящий из user story, или упрощённая версия этого документа с требованиями. Главное здесь то, что на основании требований вы должны понять, какой тип архитектуры, фичи и возможности необходимы в ваших ПО/оборудования для BI.

Этап 2: выбор инструментов или принятие решения о разработке собственного решения

Составление документа с требованиями к системе business intelligence — ключевой момент для понимания, какой инструмент вам нужен. Крупным компаниям стоит задуматься о разработке собственной экосистемы BI, и на то есть следующие причины:

1. Иногда организации корпоративного уровня не могут доверить сторонним компаниям обработку своих ценных данных.
2. Инструменты BI в основном дифференцируются по обслуживанию потребностей в конкретной отрасли. Может оказаться так, что на рынке нет поставщика, предоставляющего услуги в вашей отрасли.
3. Обработка больших объёмов информации или работа big data могут стать обоснованием разработки собственной BI вместо поиска поставщика, поскольку своя система повышает гибкость в выборе поставщика облачной инфраструктуры.

Более мелким компаниям рынок BI предлагает огромное количество инструментов, способных работать как встроенные, так и облачные (Software-as-a-Service) технологии. Можно найти предложения, покрывающие все или почти все потребности в анализе данных для конкретной отрасли и имеющие гибкие возможности.

Исходя из требований, типа отрасли, размера и потребностей бизнеса вы сможете принять решение о необходимости вложений в собственный инструмент BI. В противном случае, можно выбрать поставщика, который возьмёт на себя ношу реализации и интеграции.

Этап 3: сбор команды business intelligence

Далее вам нужно будет собрать группу людей из разных отделов компании, чтобы поработать над стратегией business intelligence. Зачем вообще создавать такую группу? Ответ прост: команда BI помогает собрать представителей разных отделов для упрощения коммуникации и получения предложений отделов о требуемых данных и их источниках. То есть структура команды BI должна включать в себя две основные категории людей:

Представители предметной области из разных отделов

Эти люди будут отвечать за предоставление команде доступа к источникам данных. Также они вкладывают свои знания предметной области в выбор и интерпретацию различных типов данных. Например, специалист по маркетингу может определить, являются ли ценными типами данных трафик веб-сайта, процент отказа или количество подписок на рассылку. Специалист по работе с клиентами может дать ценные советы о взаимодействии с клиентами. Кроме того, вы получите доступ к информации о маркетинге или продажах от одного человека.

Должности, относящиеся к BI

Вторая категория людей — это люди, относящиеся к BI, которые будут вести процесс разработки и принимать архитектурные, технические и стратегические решения. То есть вам необходимо назначить людей на следующие должности:

Руководитель BI. Этот человек должен обладать теоретическими, практическими и техническими знаниями для поддержки реализации стратегии и инструментов. Это может быть руководитель со знанием business intelligence и доступом к источникам данных. Руководитель BI — это человек, принимающий решения, управляющие реализацией.

Инженер BI — это технический участник команды, специализирующийся на создании, реализации и настройке систем BI. Обычно инженеры BI имеют опыт в разработке ПО и конфигурировании баз данных. Также они хорошо должны владеть методиками и техниками интеграции данных. Инженер BI может руководить отделом ИТ в реализации инструментария BI. Подробнее о специалистах по данным и их обязанностях можно узнать из нашей статьи.

Также частью команды BI должен стать аналитик данных, способный применять свои знания в валидации, обработке и визуализации данных.

Этап 4: документирование стратегии BI

Собрав команду и выбрав источники данных, требуемые для решения конкретной задачи, можно приступать к разработке стратегии BI. Документировать стратегию можно при помощи традиционных стратегических документов наподобие дорожной карты продукта. Стратегия business intelligence может включать в себя различные компоненты, зависящие от отрасли, размера компании, конкуренции и бизнес-модели. Однако рекомендуются следующие обязательные компоненты:

Источники данных

Это документация выбранных каналов источников данных. В неё должны быть включены все типы каналов, будь то руководитель, аналитика отрасли в целом или информация от сотрудников и отделов. Примерами таких каналов могут быть Google Analytics, CRM, ERP и так далее.

Отраслевые/собственные KPI

Документирование стандартных отраслевых и уникальных для вас KPI может продемонстрировать полную картину развития и потерь вашего бизнеса. В конечном итоге, инструменты BI созданы для отслеживания этих KPI, поддерживая их дополнительными данными.

Стандарты отчётности

На этом этапе нужно определить, какой тип отчётности вам требуется для удобного извлечения ценной информации. В случае собственной системы BI можно выбрать визуальное или текстовое представление. Если вы уже выбрали поставщика, возможности выбора стандартов отчётности могут быть ограничены, поскольку поставщик устанавливает собственные. В этот раздел также можно включить типы данных, с которыми вы хотите работать.

Тип потока отчётности и конечные пользователи

Конечный пользователь — это человек, который будет наблюдать за данными через интерфейс инструмента отчётности. В зависимости от конечных пользователей можно выбирать различные типы потока отчётности:

Традиционная BI. Традиционно BI проектировалась исключительно для руководства. Поскольку количество пользователей и типов данных ограничено, необходимость в полной автоматизации отсутствует. Поэтому в традиционном типе потока BI требуется технический персонал в качестве посредника между инструментом отчётности и конечным пользователем. Если конечный пользователь хочет извлечь какие-то данные, то он может сделать запрос, а технический персонал сгенерирует отчёт из требуемых данных. В таком случае отдел ИТ действует как power user — пользователь, имеющий доступ к данным и влияющий на их преобразования.

Традиционный подход предлагает более безопасный и управляемый поток данных. Однако необходимость полагаться на отдел ИТ может привести к задержкам, снижающим гибкость и скорость в случае обработки больших объёмов данных (особенно в случае big data). Если вы стремитесь к большему контролю над отчётностью и к точности отчётов, то соберите отдельную команду ИТ, которая будет заниматься запросами и формированием отчётов.

BI с самообслуживанием. Современные компании и поставщики решений используют BI с самообслуживанием. Такой подход позволяет бизнес-пользователям и руководству получать отчёты, автоматически генерируемые системой. Для автоматической отчётности не требуются power user (администраторы) из отдела ИТ, обрабатывающие каждый запрос к хранилищу данных; однако для настройки системы всё равно нужен технический персонал.

Автоматизация может снизить качество конечных отчётов и их гибкость, а также быть ограниченной тем, как спроектирована отчётность. Однако у такого подхода есть преимущество: для работы с системой не нужно постоянное участие технического персонала. Не обладающие техническими знаниями пользователи смогут создать отсчёт самостоятельно или получить доступ к выделенному разделу хранилища данных.

Этап 5: подготовка инструментов интеграции данных

Этап интеграции инструментов потребует много времени и работы отдела ИТ. Если вам требуется создание собственного решения, то придётся разработать множество различных структурных элементов архитектуры BI. В остальных случаях вы можете выбрать поставщика на рынке, предоставляющего подходящие вам реализацию и структурирование данных.

Один из базовых элементов любой архитектуры BI — это хранилище данных. Хранилище — это база данных, хранящая информацию в установленном формате, обычно структурированном, классифицированном и очищенном от ошибок. Если данные предварительно не обрабатываются, инструмент BI или отдел ИТ не смогут запросить их. Поэтому нельзя напрямую соединять хранилище данных (data warehouse) с источниками информации. Вместо этого следует использовать инструменты ETL (Extract, Transform, Load) или инструменты интеграции данных. Они предварительно обработают сырые данные из исходных источников и передадут их в хранилище за три последовательных этапа:

1. Извлечение данных. Инструмент ETL получает данные из таких источников данных, как ERP, CRM, аналитика и электронные таблицы.
2. Преобразование данных. После извлечения инструмент ETL начинает обработку данных. Все извлечённые данные анализируются, очищаются от дубликатов, а затем стандартизируются, сортируются, фильтруются и проверяются.
3. Загрузка данных. На этом этапе преобразованные данные загружаются в хранилище.

Обычно инструменты ETL предоставляются в готовом виде вместе с инструментами BI, разработанными поставщиком. (Ниже мы рассмотрим самые популярные из них). Чтобы узнать, что нужно для очистки и подготовки данных, прочитайте нашу статью.

Этап 6: конфигурирование хранилища данных и выбор архитектурного решения

Хранилище данных

Сконфигурировав передачу данных из выбранных источников, необходимо настроить хранилище. Хранилища данных в business intelligence — это особые типы баз данных, обычно хранящие историческую информацию в форматах SQL. С одной стороны хранилища соединены с источниками данных и системами ETL, с другой — с инструментами отчётности или интерфейсами дэшбордов. Это позволяет отображать данные из различных систем в едином интерфейсе.

Однако хранилище обычно содержит огромные объёмы информации (от 100 ГБ), из-за чего ответы на запросы оказываются достаточно медленными. В некоторых случаях данные могут храниться в неструктурированном или частично структурированном виде, что приводит к высокой частоте ошибок при парсинге данных для генерирования отчёта. Для аналитики может потребоваться определённый тип данных, который ради простоты использования сгруппирован в одном пространстве хранения. Именно поэтому компании используют дополнительные технологии для предоставления ускоренного доступа к мелким тематическим блокам информации.

Существуют различные типы решений, используемых для предоставления аналитике небольших частей данных из хранилища. Самый популярный из них — это Online Analytical Processing и киоск данных. Эти технологии обеспечивают ускорение отчётности и упрощение доступа к необходимым данным.

Рекомендации: если вы не обладаете большими объёмами данных, то достаточно будет использовать простое SQL-хранилище. Дополнительные структурные элементы наподобие киоска данных потребуют больших дополнительных затрат, не обеспечивая при этом никакой ценности. Этот вариант подходит мелким бизнесам или отраслям, работающим с относительно небольшими объёмами данных.

Так как хранилище данных невелико, инструменты отчётности конечных пользователей могут напрямую выполнять запросы к ней без задержек

Хранилище данных + кубы данных Online Analytical Processing

Находящиеся в хранилище данные имеют две размерности, напоминающие обычный формат электронной таблицы (таблицы и строки). Способ хранения данных в таком хранилище также называется реляционной базой данных. Одна база данных может включать в себя тысячи типов данных, поэтому обработка запросов к хранилищу данных занимает существенное время. Чтобы удовлетворить потребности аналитика и обеспечить быстрый доступ к данным, их анализ в разных измерениях, группировать их по необходимости, используются кубы данных OLAP.

OLAP или online analytical processing (интерактивная аналитическая обработка) — это технология, обрабатывающая данные и предоставляющая к ним доступ одновременно в нескольких измерениях. Структурирование данных в кубы позволяет преодолеть ограничения хранилища данных.

Модель куба данных OLAP, представление многомерных данных

Куб данных OLAP — это структура данных, оптимизированная для быстрого анализа данных из баз данных SQL (хранилища). Исходные данные кубов из хранилища данных являются уменьшенной версией её описания. Однако структура данных предполагает, что существует больше двух измерений (формат строк и столбцов электронных таблиц). Для формирования отчёта размерности являются критически важными элементами. Например, для отдела продаж они могут быть такими:

• Специалист по продажам
• Объём продаж
• Продукт
• Регион
• Временной период

Кубы образуют многомерную базу данных информации, которую можно адаптировать, чтобы группировать информацию разными способами для ускорения создания отчётов. Кубы данных OLAP, посвящённые разным тематикам данных, образуют базы данных OLAP. Хранилище и OLAP используются совместно, поскольку кубы хранят относительно малый объём данных и применяются для удобства обработки.

Рекомендация: архитектуру «хранилище данных + кубы данных OLAP» можно считать типичной. Её могут использовать компании любого размера, которым требуются хранение данных и сложный многомерный анализ информации. Если вы не хотите перегружать хранилище запросами, то рассмотрите возможность использования архитектуры с OLAP.

Кубы данных OLAP задают специфические размерности данных для запросов данных и снижения нагрузки на основное хранилище

Технологии хранилища данных + киоска данных

Хранилище — первый и самый крупный элемент архитектуры business intelligence. Менее масштабным описанием массивов данных хранилищ является киоск данных. Киоск данных — это специализированная часть хранилища, собирающая тематически схожую информацию, относящуюся к конкретному отделу. При помощи киосков данных отделы могут получать доступ к требуемым данным, поскольку киоски предоставляют информацию, относящуюся к одной из сфер бизнеса. Это значит, что разработчикам не придётся настраивать для конечных пользователей систему запросов на основе разрешений.

Рекомендация: «хранилище данных + киоск данных» — второй по популярности архитектурный стиль, основанный на использовании киосков данных для распространения требуемой информации по отделам. Такой подход может использоваться для настройки постоянной отчётности или упрощения доступа к информации без предоставления разрешений конечным пользователям.

Киоск данных — это менее масштабное описание хранилища данных, посвящённое конкретной сфере данных

Гибридная архитектура

Корпоративным бизнесам могут требоваться различные варианты управления данными. Киоски и кубы данных — это разные технологии, но обе они используются для описания меньших объёмов информации из хранилища. Киоски данных описывают подмножество хранилища данных, относящееся к конкретной задаче, но реализовать их можно по-разному. Среди вариантов реализации есть реляционные базы данных (хранилище или любая другая база данных SQL) и многомерные структуры, по сути, являющиеся кубами данных OLAP. То есть для управления данными и их распределения по отделам организации можно использовать обе технологии.

Рекомендация: можно использовать обе технологии, поскольку они поддерживают одну концепцию, но служат разным целям. Киоски данных можно реализовать как часть хранилища данных для обеспечения безопасности, агрегирования данных или доступности. Или можно использовать киоски как описание нескольких размерностей куба данных OLAP. Однако стоит иметь в виду, что и киоски, и кубы данных OLAP потребуют отдельной настройки баз данных.

Комбинированная версия с кубами данных OLAP и киосками данных

Этап 7: реализация интерфейса конечного пользователя — инструментов и дэшбордов отчётности

Данные, упорядоченные в удобные тематически связанные блоки информации в кубах Online Analytical Processing или киосках данных представляются при помощи интерфейса пользователя инструментов BI. Именно здесь дескриптивный анализ приносит пользу конечному пользователю.

Современные инструменты BI позволяют представить требуемые данные множеством различных способов. В прошлом business intelligence могла создавать только статичные отчёты на основании событий будущего и прошлого. Сегодня BI способна создавать интерактивные дэшборды с настраиваемыми порциями информации. Однако самым популярным способом представления данных остаются шаблоны отчётности.

Наиболее ценным способом представления информации считается оперативный отчёт (ad hoc report). Оперативная отчётность позволяет пользователям углубиться в подробности стандартного отчёта, используя любые типы данных для единовременного применения. Такой тип отчётности применяется вместо ежедневных или ежемесячных отчётов в качестве более полной версии, поскольку пользователь будет извлекать данные из хранилища (куба или киоска данных) непосредственно в момент просмотра отчёта. Это гарантирует свежесть информации, представленной запрашиванием из баз данных каждого элемента информации. То есть, по сути, оперативный отчёт — это настраиваемый отчёт в реальном времени, используемый для поиска ответов на конкретный бизнес-вопрос.

Этап 8: Проведение обучения конечных пользователей

Чтобы процесс онбординга сотрудников был плавным, мы крайне рекомендуем провести обучающие сессии. Эти сессии могут принимать разный вид: если вы используете аналитический инструмент, встроенный в CRM или ERP, то можно применить практики онбординга наподобие видеоинструкций или интерактивных инструментов онбординга, последовательно проводящих пользователей через все этапы.

Если у вас нет бюджета на автоматизацию обучения, то менеджер или участники команды BI всё равно должны его провести.

Основные инструменты business intelligence на рынке

Важно упомянуть, что поставщики инструментов BI предоставляют пользователям инструменты интеграции данных, ETL, отчётности (дэшборды), а также услуги хранения. Это означает, что чаще всего вы получите полную архитектуру BI, интегрированную в вашу систему. Ниже мы расскажем о некоторых примерах поставщиков инструментов business intelligence.

Sisense

Sisense — одно из крупнейших имён на рынке business intelligence. Продукт компании обеспечивает доступ к системам анализа данных в бэкенде и фронтенде для пользователей с разным техническим уровнем. Также Sisense предлагает услуги хранения данных, то есть обеспечивает полнофункциональное решение. В качестве модели ценообразования используется ежегодная подписка, однако на её стоимость сильно влияют количество пользователей, объёмы данных и тип проекта.

Zoho Analytics

Ещё одно крупное имя в отрасли business intelligence — это Zoho Analytics. Zoho предлагает полную инфраструктуру с масштабируемым интерфейсом как для малых, так и для больших бизнесов. Среди прочих полезных функций она предлагает открытые RESTFUL API для подключения всех необходимых систем CRS и ERP, площадки совместной работы сотрудников или руководства.

Tableau

Tableau — это облачное решение BI, первым использовавшее в инструментах отчётности интерфейсы drag-and-drop. ПО Tableau тоже имеет функции совместной работы: для аналитиков можно создать единую страницу входа для доступа к дэшборду и обмена информацией. Можно выполнять запросы данных так, чтобы они передавались на мобильное устройство. В приложении Tableau можно изменять отчёты и сохранять изменения прямо через телефон.

SAP

SAP — международная компания, предлагающая множество технических решений, в том числе продукты пакет Business Objects Business Intelligence и Cloud Analytics. Первый продукт — это базовое решение для бизнесов любого размера. Платформа предоставляет услуги умных запросов и оперативной отчётности. Кроме того, дэшборд-отчётность использует формат на основе должностей, то есть любой пользователь может настроить аналитический дэшборд в зависимости от своей должности. Дополнительное преимущество заключается в простоте интеграции продуктов SAP с продуктами Microsoft Office.

BusinessQ

Решения BI компании BusinessQ разработаны специально для мелкого и среднего бизнеса. BusinessQ предлагает как отдельное веб-приложение, так и embedded-версию, встраиваемую в приложение клиента.

Domo

Платформа BI Domo — это решение, в первую очередь рассчитанное на использование в облаке и предназначенное для бизнесов любого размера. Сервис масштабируем, что позволяет ему работать и с big data, и с мелкими корпоративными базами данных. Domo обеспечивает доступ к дэшбордам реального времени, использует реализованные в кубах OLAP киоски данных, обеспечивающие многомерный анализ и разделение данных по отделам.

Qlik

Qlik — это поставщик услуг business intelligence, предоставляющий различные продукты для визуализации данных, интерактивного дэшбординга и самостоятельного создания отчётности. Инфраструктуру можно реализовать на мощностях клиента или в облаке. Кроме того, Qlik предлагает доступ к списку публичных массивов данных в качестве источников информации.

В заключение

Инструменты business intelligence существуют уже более двадцати лет. Однако внешний вид и базовая функциональность «стандартного» инструмента BI существенно изменились. Вместо простой статической отчётности каждый поставщик сегодня предлагает оперативную отчётность или интерактивные дэшборды для совместной работы аналитиков. Кроме того, для обычных задач бизнеса стандартом становится BI с самообслуживанием, позволяющая предпринимателям выполнять аналитику с меньшей тратой ресурсов. Следуя общим техническим тенденциям, в BI появились такие нововведения, как облачные платформы и мобильная отчётность BI.

Таким образом, зная основные тенденции и технологии, используемые в этой отрасли, вы сможете создать собственную систему BI или выбрать готовую; это позволит вам создавать простые для понимания отчёты для обоснования своих решений. Business intelligence больше не является привилегией высшего руководства, это инструмент совместной работы для всей организации. Подберите подходящего поставщика и используйте все необходимые функции, чтобы ваши сотрудники могли пользоваться результатами BI.

BI-система — набор инструментов и программ для бизнеса, которые собирают данные из разных источников, анализируют их и представляют в наглядном виде. 

Программа собирает и анализирует большие массивы данных, а затем показывает на одном экране в виде наглядных таблиц, графиков и схем. По аналитическим выкладкам видны проблемы и тенденции в бизнесе. BI-система сама собирает информацию из множества источников, поэтому сразу подсвечивает проблемы. Такие находки становятся основой для бизнес-решений.

Например, чтобы выяснить, какой рекламный канал приносит больше заказов по конкретной позиции, надо просмотреть несколько отчётов. Сначала изучить метрики и посмотреть, откуда идут заказы. Потом проверить, в каких заказах присутствует искомая позиция. Наконец, сверить эти два отчёта. BI-система покажет отчёты на одном рабочем столе, сразу же найдёт нужные пересечения и покажет вывод. Ничего не придется делать руками.

Для чего нужны BI-системы

Для сбора, хранения, анализа и наглядной демонстрации данных. При большом объеме данных для системы может потребоваться сетевое оборудование и регулярная техническая поддержка.

К BI-системе можно подключить много пользователей. Каждому человеку собрать дашборд — главное окно программы, на котором показаны графики, таблицы и диаграммы с аналитической информацией о бизнесе. Также можно настроить тип информации к которой у пользователя будет доступ. Например, маркетолог увидит данные о рекламе и динамике продаж, а логист — об остатках товара на складах в разных регионах. Если пользователю понадобится дополнительная аналитика, то он сможет самостоятельно сформировать отчет в системе.

Обычно данные хранятся так, как их удобно хранить, а не потреблять. Например, в таблице на десяток столбцов. Хранить удобно, а пользоваться – нет. BI-система собирает информацию сама и показывает её наглядно, что дает преимущества.

Выявляет системные проблемы бизнеса, помогает находить тенденции и точки роста. На основе собранных данных компания принимает обоснованные бизнес-решения. 

Например, за пару кликов система покажет, что реклама в Telegram показывает бОльшую эффективность по сравнению с «Дзеном» и YouTube. Значит, неудачные рекламные кампании надо изменить или прекратить.

Предоставляет данные максимальному числу пользователей. Количество аккаунтов ограничивается финансовыми возможностями и условиями договора при покупке BI-системы.

К BI-системе можно подключить как базы данных внутри компании, так и внешние источники. Например, метрики со статистикой сайта или базы данных партнеров. 

Допустим, для цветочного магазина.
Внутренние источники: база данных о количестве цветов на торговых точках и остатках на складах.
Внешний источник: подключаемые базы с наличием и ценами у поставщиков.

Экономит время получателей информации. Неспециалист может самостоятельно сделать запрос и сразу получить ответ. Он не ждет, когда аналитик сформирует и пришлет отчет. 

Например, автор пишет статью в блог компании-застройщика. Ему не хватает цифр: статистики по строительству и продажам. Он задал запрос в BI-системе и сразу получил графики с цифрами. Без системы ему пришлось бы писать запросы в два департамента и ждать, когда у специалистов появится время, чтобы прислать данные.

Экономит время и силы аналитиков. BI-система находит и формирует ответы на большинство запросов пользователей. Аналитикам не нужно отвлекаться на посторонние задачи.

Из примера выше — освобождение бухгалтера и инженера от необходимости отвечать на запрос автора о статистике.

Упрощает и ускоряет процесс получения и изучения информации. Данные поступают к пользователю в наглядном и понятном виде. Не нужно тратить время на анализ информации из нескольких таблиц.

Кому нужна BI-система

BI-системы подходят крупным и средним по размеру организациям, где нужно анализировать большой объем данных из разных источников. Мелким предпринимателям не выгодно пользоваться таким дорогим и массивным инструментом, поскольку 2-3 источника данных можно проанализировать вручную.

Системы подходят для анализа любой информации, которую можно представить в виде базы данных и для которой требуется аналитика. Это удобный инструмент для анализа маркетинговой информации и он подойдёт, например:

• Агентствам или маркетинговым отделам. Поможет сегментировать клиентскую базу, понять какие каналы работают эффективнее, провести анализ рынка.
• Предпринимателям. Поможет отследить тенденции в развитии  бизнеса и повлиять на них, в том числе в сфере продвижения товара или услуги.

Какие бывают BI-системы

В зависимости от физического нахождения данных

Облачные (SaaS) для клиентов, которые не боятся размещать свою информацию в облачном сервере. Это хранилище данных, которое не принадлежит хозяину информации. Такое размещение не дает гарантий по конфиденциальности и сохранности данных.

В собственном хранилище (сервере) для клиентов, у которых недопустима утечка информации. Например, персональные данные сотрудников или клиентов лучше хранить на своем сервере. Собственное хранилище убережет от потери ценной информации.

На арендованном сервере для клиентов, которые не хотят содержать инженера и комплекс сетевого оборудования. Если объем данных для BI-системы большой и требует дополнительного оборудования, то его можно арендовать.

В зависимости от стоимости

Бесплатные. Некоторые вендоры предоставляют свою BI-систему бесплатно, Пример: Yandex Datalens.

Условно-бесплатные. Стоимость определяется типом использования программы. Клиент использует облачную версию или серверную, пользователь — частное лицо или компания. Пример: QlikView.

Платные. В основном вендоры продают свои системы, но для знакомства с программой предлагают бесплатные тестовые периоды. Пример: Klipfolio

Как выбрать BI-систему

Выбор BI-системы зависит от масштаба компании, направления бизнеса, её запросов и квалификации сотрудников.

1. Система должна быть удобной и понятной основным пользователям. Если программа окажется слишком сложной, пользователи будут часто обращаться за помощью в отдел IT. Половина преимуществ потеряются. Поставщики BI-систем предлагают пробные периоды для тестирования. В это время пользователи могут оценить удобство и сложность программы.
2. Поставщик должен сообщить, что надо знать пользователю, чтобы он мог самостоятельно и быстро работать в ней. Нужно оценить, насколько сложно и долго обучать сотрудников работе с системой. Может ли компания позволить себе длительное обучение.
3. Лучше, чтобы система была распространена в бизнесе. Если из компании уйдет единственный сотрудник, который умеет настраивать программу, то насколько это критично для работы. Легко ли подобрать ему замену. До 2022 года популярными системами были Power BI, Tableau, QlikView и Klipfolio. Сейчас с ними работать не получится. В России предлагают альтернативные программы, например BIPLANE24, AlmazBI, Modus и другие. При выборе системы следует проверить количество компаний, которые предлагают этот продукт. Чем больше продавцов, тем больше на рынке специалистов, которые умеют обслуживать систему.
4. Система должна точно отвечать на специфические  запросы компании. Например, у пользователя должна быть возможность полноценно взаимодействовать с объектами на мобильных устройствах. Программа должна позволить пользователю выбрать со смартфона несколько объектов и изучить их одновременно. Чтобы понять такие нюансы, нужно провести тесты в пробный период или спросить о возможностях программы у представителя компании продающей систему.

Как внедрить BI-систему: советы и ошибки

Сложность внедрения зависит от того, как компания раньше работала с источниками данных.

Компания не собирала и не систематизировала информацию. Систему придется настраивать целиком. Надо искать программы для хранения, обработки, очистки, извлечения, передачи, аналитики и демонстрации данных.

Компания собирала, систематизировала и хранила информацию, но не предоставляла её пользователям в понятном и наглядном виде. Например, пользовалась только таблицами Excel. В этом случае для внедрения BI-системы понадобится только софт для аналитики и предоставления информации, к которому подключаются все источники.

Ошибки при внедрении

Начать внедрение системы без точно сформулированных потребностей. Если потребности неизвестны, можно начать решать технические задачи без привязки к конечной цели. Информация, которую будет выдавать система после установки, будет бесполезной.

Отдать все процессы внедрения в IT. Это отдел, у которого всегда есть работа и принцип «работает — не трогай». Поэтому IT сотрудники могут откладывать внедрение системы на потом. Чтобы такого не происходило, им нужен куратор.

Главные мысли

Об эксперте: Вячеслав Матвиевский, управляющий партнер компании Sensu by TWIGA CG (системная интеграция и разработка BI-систем).

Последние несколько лет бизнес как мантру повторяет, что данные — золото. Но согласно исследованию Seagate и IDC, компании эффективно используют только 32% информации, а 44% данных не собирают вовсе. Препятствий для этого несколько: сложность со сбором информации, ее хранение в разрозненных базах, недостаточная сопоставимость данных из разных источников. Улучшить ситуацию помогает использование BI-систем.

Business Intelligence (или BI) — системы, которые автоматически собирают информацию из разных источников, соединяют в целостную картину в удобном формате и дают возможность строить отчетность, быстро и удобно анализируя большие объемы данных. Аналитики ожидают, что мировой рынок BI-систем к 2028 году увеличится с $24 млрд в 2021 году до $43 млрд в 2028 году, что говорит о востребованности бизнесом.

Как это работает

Типовая BI-система для среднего или крупного бизнеса состоит из следующих элементов:

• ETL-процесса (Extract, Transform, Load). Так обозначают набор инструментов, которые подключаются к источникам данных, собирают из них информацию, преобразуют до необходимого качества, и загружают в систему.
• Хранилища данных — базы, в которой хранится аналитическая информация из всех источников, очищенная от лишнего и связанная логически.
• BI-системы (BI-приложения). Она позволяет пользователям подключиться из внешнего интерфейса и работать с данными в графическом или табличном виде.
• Клиентской части — приложений, с которыми работают пользователи, разрабатывая и используя отчеты.

Работает система следующим образом. С помощью ETL-процессов система по расписанию получает данные из источников, преобразует их и сохраняет в хранилище (DWH) в единообразном виде. Из них формируется модель данных. Пользователи работают с моделью через привычный интерфейс Excel и Power BI.

Профессиональные BI-системы — это кастомизированные продукты, которые разрабатываются под конкретную организацию. Она выбирает платформу, на которой будет разрабатываться продукт (Microsoft, Google, Oracle, Open source и другие), а дальше компания-подрядчик на ней пишет код. Процесс может занять от месяца до двух лет.

Время разработки зависит от количества и сложности источников данных, их структуры, охвата функциональных областей, числа пользователей и возможности команды с обеих сторон (со стороны заказчика и со стороны исполнителя) вовремя выполнять свои части работы. Чтобы с последним не вышло заминок, а результат не разочаровал, обратите внимание на следующие шесть пунктов.

1. Разобраться с целями

Проблема. Компания осознает цель в общих чертах и хочет решить вопрос с данными и отчетами, но не представляет, как должен выглядеть конечный результат. Часто хочет «волшебную таблетку», которая решит проблему.

Решение. Вот как можно конкретизировать цели, посмотрев на BI-систему с двух сторон.

С точки зрения типа потребления:

• Гибкая система отчетности, позволяющая пользователям самим строить новые формы отчетности, интерактивно работать с данными без разработчиков.
• Стандартизированная система отчетности, автоматически рассылающая отчеты всем пользователям без возможности их править.
• Комбинированные варианты.

С точки зрения функциональных областей:

• Коммерческая отчетность (закупки, продажи, остатки, наценки, маржа, информация по торговым точкам, товарам и так далее).
• Финансовая отчетность (стандартизованные формы, любые пользовательские формы управленческого учета и отчетности).
• Производственная отчетность.
• Сводная отчетность по всем сферам бизнеса.
• Прочие области (охрана труда, экология, мониторинг стройки и так далее).

Идеально, если цели зафиксированы по методике постановки целей SMART: то есть они конкретны, измеримы, достижимы, значимы и ограниченными по времени.

2. Определить конечных пользователей системы

Проблема. Инициаторы изменений по работе с данными — чаще всего собственники и руководители бизнеса, но пользоваться системой будут скорее всего линейные сотрудники.

Решение очевидное: привлекать конечных пользователей на всех этапах разработки. Но все должно быть правильно оформлено внутри компании:

1. Работа сотрудников вписана в график проекта в человеко-часах.
2. Заложена финансовая мотивация участников проекта со стороны заказчика и привязана к тем же этапам, что и выплаты разработчикам.
3. В команду включены не все вообще пользователи, а только ключевые представители. Предложения от участников проходят утверждение руководителями проекта со стороны заказчика и только после передаются в работу.

3. Выбрать ответственных за проект

Проблема. Сотрудники заказчика часто не мотивированы на участие в проекте. Из-за этого с первых шагов проект начинает затягиваться по той причине, что «все заняты», а разработчики получают очень мало информации — процессы описаны поверхностно и без нюансов.

Решение: выделить отдельных исполнителей, связать запуск системы с их KPI, составить детальный план трудозатрат заказчика, с описанием задач, сроков и ответственных. О необходимости этого говорит тот факт, что объем трудозатрат со стороны организации составляет обычно 30% от времени аналитиков подрядчика.

4. Подготовить источники данных

Проблема. BI берет данные из других систем: учетных, бухгалтерских, управленческих и так далее. Важно, чтобы эти источники уже были спроектированы и внедрены до начала разработки самой системы BI. В противном случае это может привести к бесполезной подготовке и отмене проекта (по причине отмены внедрения источников информации), затягиванию сроков или огромному объему работ по перепроектированию подключения к системам, которые поменялись в процессе.

Запустив проект в неправильной последовательности, можно впустую сжечь до половины выделенных на него ресурсов: как времени, так и средств.

Решение: закончить работу по внедрению источников данных, а только после этого увязывать их в BI-систему. Хороший исполнитель не подпишется на исполнение проекта до тех пор, пока не будут завершены работы по проектированию и согласованию макетов отчетов и требований к BI-системе.

5. Поскорее переходить к промышленной эксплуатации

Проблема. Сотрудники компаний, заказывающих BI-системы, обычно не очень понимают, как должны выглядеть промежуточные версии: не задают уточняющих вопросов и ограничиваются односложной обратной связью, неохотно тестируют отдельные элементы продукта.

Решение: скорее переходить к этапу промышленной эксплуатации, потому что на этом этапе начинается реальное тестирование, и сотрудники со стороны заказчика могут дать более предметную обратную связь. К моменту запуска системы в эксплуатацию она может быть не готова еще на 30-50%.

6. Обо всем договориться на берегу

1. заказчик согласен с тем, как работает команда исполнителя;
2. по итогам предпроектных работ есть одинаковое понимание конечного результата проекта;
3. оценка проекта на основании предпроектный работ устраивает обе стороны;
4. в юридическое оформление оплат включены плановые и дополнительные работы сотрудников со стороны подрядчика на основе системы трекинга задач.

Кажется, такой подход ведет к тому, что заказчик вынужден инвестировать значительно больше времени и средств в проектирование и в дополнительную мотивацию собственных сотрудников. На первом этапе так и есть.

Но в результате компании удастся значительно снизить риски в части затрат времени и средств, а детально проработанное техническое задание и крепкая команда проекта с обеих сторон, которая сформировалась во время подготовки, позволит выдержать проект на длинной дистанции и сохранить общий бюджет в пределах рынка, не расходуя лишнее на доработку. Значит, организация максимально быстро получит работающую BI-систему, которая поможет находить скрытые возможности и развивать бизнес компании.

Как работают BI-системы

Суть работы систем бизнес-анализа (BI systems) заключается в агрегации и переработке множества источников информации для ее последующего использования. Говоря простыми словами, программа объединяет все имеющиеся у бизнеса сведения, обрабатывает их и трансформирует в удобоваримый вид, чтобы работать с ними было легче.

Механизм биай-системы включает четыре основных инструмента:

• средства интеграции и очистки данных (ETL);
• хранилище со способностью анализа и структуризации;
• техники майнинга данных для выявления полезных знаний;
• инструменты визуализации для создания отчетов.

Каждое из средств взаимодействует с информацией по-своему и образует собственный этап автоматической бизнес-аналитики. Сначала к системе подключают внешние каналы сбора и хранения данных: ERP-, CRM-платформы, «облака» (Microsoft Azure, Oracle Cloud, Google BigQuery), файловые (Excel, PDF, XML) и реляционные системы (MySQL, SQL Server), а также самописные решения. Затем ETL-инструменты (Extract, Transform, Load) извлекают оттуда необходимые сведения, очищают их от дублей и других аномалий, предобрабатывают и загружают в хранилище. В депозитарии данные структурируются и хранятся в консолидированном виде. При этом полная загрузка информации происходит только один раз — в дальнейшем информационная база просто обновляется в соответствии с изменениями в системах-источниках. Далее в работу вступает Data Mining: система анализирует полученную информацию по различным срезам с помощью прогнозирования, статистического, семантического и иных видов анализа. При необходимости параметры исследования задаются вручную. После этого BI-система формирует выявленные зависимости в отчет и размещает на дашборде (информационной панели) в виде диаграмм, графиков, схем, таблиц и т. д. Все элементы такой панели интерактивны, поэтому с ними можно работать дальше: изменять, увеличивать, перестраивать.

Платформы BI, как правило, обладают простым и понятным интерфейсом, так что для работы с ними не требуются специальные технические знания. Сотрудники могут легко запросить нужный отчет и получить доступ к аналитическим данным. Но для чего?

Зачем внедрять в бизнесе

Раньше бизнес корректировал цели в зависимости от изначальных параметров, но на современном рынке более распространен обратный процесс: компания ставит себе цель, выбирает векторы развития и, ориентируясь на них, меняет стратегию. Чтобы это было возможно, необходимо следить за бизнес-показателями и находить важные, но не очевидные закономерности. Однако фирма может работать с миллионами клиентов, тысячами партнеров и поставщиков, при этом оперируя огромными массивами информации, которые хранятся в разных местах и форматах. Нужно вести клиентскую базу, считать выручку, определять чистую прибыль, налаживать логистику поставок, разрабатывать продукцию и маркетинговые мероприятия, отслеживать ее трафик, управлять рабочим персоналом и мн. др. Уследить за всем этим и тем более проанализировать без внедрения специальных программных средств невозможно.

BI-платформы внедряют именно для того, чтобы можно было наблюдать за положением дел в компании в режиме реального времени и вовремя реагировать на возникающие или потенциальные проблемы. Без них аналитикам бы приходилось самостоятельно собирать данные и приводить их к одному виду, затем сортировать и оставлять только требующиеся показатели, сравнивать те с прошлыми отчетами, изучать, составлять новые отчеты. В процессе такого исследования сведения утрачивают актуальность, люди допускают ошибки из-за невнимательности. Система BI дает возможность автоматизировать сложнейшие операции и гарантирует корректные результаты в любой момент времени. Как итог, бизнес может принимать взвешенные и стратегически верные решения, основываясь на реальных показателях своей деятельности.

Основные задачи

BI-приложение выполняет целый ряд важнейших функций:

1. Сбор, очистка и агрегация больших массивов данных из разнообразных источников, их классификация, хранение и обновление.
2. Анализ объемной и разномастной информации, выявление зависимостей и связей, трендов.
3. Моделирование возможных исходов и прогнозирование дальнейших путей развития для предварительной оценки влияния тех или иных действий.
4. Формирование отчетности для принятия оперативных и стратегических бизнес-решений, а также своевременного оповещения об отклонениях в эффективности работы.
5. Визуализация данных и отчетов, приведение информации в человекочитаемую форму.
6. Систематизация и сохранение полученных знаний для их дальнейшей передачи сотрудникам.
7. Быстрый доступ к важным данным, а также управление правами доступа к определенным сведениям.

Инструменты BI-аналитика

Основной инструментарий такого специалиста включает в себя средства генерации SQL-запросов, технологию интерактивной аналитической обработки (OLAP), ETL-метод, языки программирования (ЯП) Python и R, а также BI-платформу, которая позволяет использовать все это в совокупности.

Биай-аналитик должен уметь писать запросы к базам данных (БД), поскольку именно в них содержатся те массивы информации, которые нужно обрабатывать. При этом для описания бизнес-процессов используются тысячи показателей, а один отчет зачастую берет данные сразу из нескольких БД. Для формирования подобных многотабличных запросов нужны знания разных диалектов SQL, а также OLAP, которая организует данные в виде куба. Такая многомерная таблица позволяет получать результаты гораздо быстрее обычной двумерной.

Методика «извлечение, трансформация, загрузка» (ETL) применяется в системе BI для подготовки информационного массива к непосредственно анализу, а указанные выше ЯП — для его статистической обработки. Кроме того, все отчеты требуется визуализировать, но в промышленных масштабах это занимает слишком много времени. Чтобы не приходилось писать код для каждой визуализации, специалисты используют платформы бизнес-анализа. О них мы поговорим подробнее.

Популярные BI-платформы

Выбирая биай-платформу, необходимо учитывать несколько факторов: единство системы, возможности интеграции, масштабирования хранилища, визуализации данных, наличие расширенной аналитики, мобильной версии, а также простота навигации. Представленные на рынке BI-решения схожи по рабочим характеристикам, но отличаются широтой функционала и другими критериями. Современные компании часто отдают предпочтение таким программам, как:

1. Tableau. Система глубоко анализирует информацию из любых программных источников и выводит результаты на дашборд в реальном времени. Здесь можно верстать графики и диаграммы с помощью удобного конструктора типа drag-and-drop, при этом поддерживается одновременная работа нескольких пользователей.
2. Power BI от Microsoft. Сервис подходит для всесторонней обработки больших объемов данных. Совместима с другими продуктами Microsoft, есть возможность интеграции с собственными приложениями. Проводит предсказательную аналитику, использует искусственный интеллект и позволяет создавать модели машинного обучения.
3. Qlik. Предусматривает импорт данных из разных источников, их обработку в оперативной памяти и создание дашбордов под любые задачи. В системе можно работать совместно над одним отчетом, поддерживается геоаналитика и аналитика на основе языковых запросов.

Все перечисленные платформы являются платными продуктами и предоставляются по подписке. Каждая имеет как веб-версию, так и мобильную.

Заключение

В статье мы поговорили про BI-системы: что это и для чего используются в компаниях. Теперь вы знаете, что Business Intelligence System представляет собой программный продукт, чей функционал помогает бизнесу собирать и анализировать разрозненные данные, а затем формировать из них структурированные и полезные отчеты. В задачи системы входит сбор, классификация, хранение, анализ и визуальная демонстрация бизнес-сведений. Она дает доступ к полной и детальной информации о бизнесе в любом месте в один клик.