Форсайт конструктор бизнес приложений

Привет, Хабр! Меня зовут Константин Шимановский. Почти 20 лет своей жизни я работаю с российской BI-платформой «Форсайт. Аналитическая платформа», и сейчас возглавляю Департамент управления продуктами одноименной компании «Форсайт». Мы с моей командой продуктовых менеджеров, архитекторов, методологических и технологических экспертов определяем вектор развития нашей платформы и вырабатываем best-practice ее применения. Всем своим опытом мы хотим поделиться в цикле статей на Хабре. Следите за новыми публикациями. Будет интересно! 

В нашем первом посте мы расскажем об истории развития нашей платформы. Сразу наберитесь терпения. История у нас длинная, и статья получилась не очень короткой. Далее обещаем исправиться и будем публиковать более компактные тематические обзоры.  А сейчас, если вам интересно, как ИТ-компания за несколько десятков лет прошла путь от маленькой лаборатории в университете до широкого мирового признания, как совершенствовались и развивались ее технологии, чем сейчас живет и «дышит» наша BI-платформа — добро пожаловать под кат!

Платформа «Форсайт»: что это такое и с чем ее «едят»?

Итак, давайте начнем. Что такое «Форсайт. Аналитическая платформа» (далее просто платформа «Форсайт»)? До 2018 года она называлась платформа «Прогноз» (англ. название — Prognoz Platform). Это одна из самых «мудрых» («древних») платформ класса Business Intelligence, разрабатываемых российскими разработчиками. История создания этой платформы уходит еще в середину 90-х годов, когда на базе кафедры экономической кибернетики Пермского университета группа энтузиастов начала создавать свой собственный российский продукт для анализа данных. Конечно, тогда это был совершенно не тот уровень Self-Service или Enterprise BI в современном его понимании. Но заложенные еще в то время базовые основы дали очень важный и совершенно правильный вектор движения российскому платформенному решению, которое в будущем получило высокое признание на российской и зарубежной сцене.

Самая первая версия платформы «Прогноз» была разработана еще для MS DOS (и называлась она Global). Затем следующие две версии под Windows уже были разработаны на Delphi, и появился бренд «Прогноз». Тогда продукт еще не назывался платформой, а имел скромное название «программный комплекс», или сокращенно ПК. Лично я сам познакомился с ним в самом начале нулевых годов, когда стал работать в компании «Прогноз» (на тот момент правообладатель платформы «Прогноз»). По меркам того времени, у меня уже были неплохие знания и опыт в области разработки и внедрения ПО, но тот микс возможностей первых версий платформы произвел на меня очень сильное впечатление.

Программный комплекс комбинировал в себе инструментарий самых разных программных продуктов. Тут тебе и электронные таблицы практически со всеми возможностями Excel, и конструктор SQL-скриптов (как в Toad и других подобных средах разработки БД), и средства проектирования OLAP-кубов, и статистическая обработка данных (как в EViews/R), и встроенный язык программирования (похожий на Delphi или VBA), и дизайнер экранных форм и много другое… Общий подход использования платформы был сильно похож на комбинацию MS Excel + VBA. При этом, в отличие от Excel, все данные не статично размещались в ячейках таблицы, а были связаны со срезами данных, которыми управляла многомерная модель кубов. Данные в эти кубы можно загрузить инструментом экспорта/импорта (достаточно только сконфигурировать связи между полями источника и приемника). Если в настроечных мастерах чего-то не хватало, то можно было запрограммировать собственную экранную форму во встроенной среде разработки, визуально очень похожей на Delphi или VB. Все отчеты можно было автоматически опубликовать в веб-версии платформы. И огромный список других разнообразных возможностей. Все сейчас и не вспомнишь.

Тогда это меня очень сильно поразило. Столько возможностей, и все в одном продукте. Причем это не разработка заморского гиганта Microsoft (или ему подобных), а, что немаловажно, полностью собственная разработка «с нуля», силами немногочисленного коллектива, состоящего тогда из пары десятков российских программистов. Наверное, я до сих пор нахожусь под этим впечатлением и продолжаю связывать свою жизнь именно с этим российским платформенным продуктом.

Новый год, новые правила

В середине нулевых была смена технологического стека платформы. В 2005 год вышла пятая версия, она получила название Аналитический комплекс «Прогноз-5». Четвертую мажорную версию решено было пропустить, связав это с круглой датой: пятый год, пятая версия. Тогда верилось, что мажорную версию можно будет выпускать каждый год. Сейчас понятно, что это было заблуждение, и выдержать такой ритм для мажорных версий даже сейчас не представляется возможным (несмотря на возросшую динамику развития индустрии ПО).

Основная отличительная особенность новой пятой версии заключалась в том, что базовым языком разработки back-end платформы стал C++. Низкоуровневый язык разработки позволил достичь очень высокой для того времени производительности всех BI-инструментов. Также на существенно новый уровень перешел принцип разработки проектных решений на базе платформы. Появился встроенный в платформу объектно-ориентированный язык Fore. Его отличительная особенность от процедурного языка второй и третьей версии ПК «Прогноз», заключалась в том, что все «сишное» API из back-end стало доступно для обычных пользователей в виде объектной модели на упрощенном высокоуровневом языке. Т.е. теперь все предусмотренные через GUI платформы настройки и функции можно было выполнить и через API. Но с той лишь большой разницей, что, в отличие от жестко «зашитых» визуальных интерфейсов в мастерах платформы, наборы программных команд на Fore можно использовать в произвольной комбинации и трансформировать в любую визуальную бизнес-логику программы.

Кроме программных команд был доступен и визуальный конструктор экранных форм со специализированным набором компонентов, присущих именно идеологии платформы. Например, такие компоненты, как справочник, электронная таблица, набор управляющих данными параметров и много другое. Это позволило прикладным разработчикам не только реализовывать свою программную бизнес-логику, но и обогащать ее собственными полноценными визуальными интерфейсами. Тогда это был уже первый шаг к созданию фреймворка «Прогноз», четко и лаконично определяющего программную архитектуру и набор компонентов для создания большого количества программных проектов, получивших на рынке название «решения Прогноза». Позже, спустя более 10 лет, эти лучшие практики и технологические решения фреймворка «Прогноз» послужили основой для формирования фреймворка «Форсайт».

Объектный язык Fore, являющийся калькой программной объектной модели платформы, был не единственным достоинством пятой версии. Примерно в тот же период были сформированы основы собственной уникальной технологии представления реляционных данных в оперативной памяти в виде многомерной матрицы (IMatrix). Это была собственная разработка OLAP-движка. Фактически это был хранимый в оперативной памяти кэш многомерного представления данных кубов платформы, получаемых из ROLAP-модели. Это позволяло обращаться приложению к серверу БД только при необходимости, например, при смене отметки в измерениях куба.

В следующих мажорных версиях платформы этот технологический подход дал возможность реализовать уже полноценную модель данных MOLAP, в том числе с полной загрузкой и обработкой всех данных в ОЗУ (in-memory) или с возможностью формирования данных в виде предподготовленного файлового кэша на жестком диске. Правда, тогда это была технология, больше ориентированная на быстрое чтение данных. С записью дела обстояли не так хорошо, и задачу больших вычислений в оперативной памяти (где в том числе требуется и запись в IMatrix большого количества измененных расчетных данных) мы решим только в этом году в очередной минорной версии платформы. Но об этом подробнее мы тоже расскажем в отдельной статье в ближайшем будущем.

Еще одна важная особенность, которая была заложена в платформу, – это единый слой метаданных. Любые объекты, функции или задачи платформы фиксируются в едином репозитории метаданных. Репозиторий контролирует целостность реализуемого прикладного проектного решения.

У каждого метаобъекта при создании формируется уникальный ключ и указывается собственный строковый идентификатор (отражающий бизнес-смысл объекта). Далее все обращения к метаобъекту происходят уже по этому уникальному идентификатору. Кроме того, репозитории системы из разных ландшафтов (PROD, DEV, TEST) могут быть синхронизированы между собой и выполнена репликация (перенос) метаданных с одного ландшафта на другой. Репликация выполняется с помощью формирования в платформе pefx (Platform Export File) файла обновления. Он «собирается» с репозитория одного ландшафта и устанавливается в репозиторий другого ландшафта.

Такой подход позволяет территориально разделить центры разработки подрядчиков и организаций заказчика, эксплуатирующих систему. Изменения любого характера могут быть доставлены и установлены точно в срок и без каких-либо проблем.

Интересным кейсом использования платформы в таких условиях был начавшийся в конце нулевых годов проект с Международным валютным фондом. Когда в российском центре разработки день, в офисах американского заказчика – глубокая ночь, и наоборот. Обновления тогда (в период внедрения проекта) ставились почти ежедневно, а разработчики и пользователи из-за разницы часовых поясов практически не общались друг с другом. И все работало без каких-либо сбоев. Кстати, этот заказчик использует платформу до сих пор.

В этот же период в платформе появилось большое количество эконометрических и оптимизационных методов. Эти методы наши программисты реализовали самостоятельно. Т.е. все было из коробки и не требовалось дополнительных статистических пакетов и расчетного ПО. При этом все методы тщательно тестировались и сравнивались по всем характеристикам с популярными в то время стат. пакетами: SPSS, Statistica, gretl.          

На новый эволюционный уровень перешел и конструктор моделей. Он существенно отличался от реализации в предыдущих версиях платформы. Теперь это было не описание моделей на скриптовом языке, а набор удобных, уже не требующих программирования мастеров для настройки параметров у разных эконометрических и факторных методов. Тут же в интерфейсе отображались разные графики и диаграммы. Исходные и модельные данные, прогнозы, доверительные интервалы и разная другая визуализация.

Кроме этого, настраиваемые модели можно было объединять в единую последовательную цепочку расчета – метамодель. А также генерировать список альтернативных вариантов расчета и многое другое. Иными словами, это была уже вторая версия конструктора моделей в платформе. Мы назвали ее «Контейнер моделирования». Он мог работать как с временными рядами, так и с панельными данными.

Эти и многие другие возможности Аналитического комплекса «Прогноз-5» в течение примерно пяти лет были апробированы на проектах для разных клиентов в государственном, корпоративном и финансовом секторах в России и СНГ. Было реализовано много интересных проектных кейсов. Но раз уже чуть выше затронули тематику зарубежных активностей, предлагаю перейти на следующую страницу эволюционной истории развития платформы.  Она очень тесно связана с международной деятельностью.

Международное признание: свои требования, вызовы, задачи

По традиции, шестую мажорную версию платформы опять пропустили. Сразу вышла версия 7. Случилось это в 2012 году. И сразу платформа попала в магический квадрант Gartner в классе Business Intelligence. В квадранте она уверенно продержалась 4 года подряд и до сих пор остается единственной российской BI-платформой, побывавшей в этом квадранте наравне с мировыми гигантами: Oracle, SAP, IBM, Tableau, Qlik, MicroStrategy и др.

Конечно, это только внешняя сторона истории. На практике этому предшествовали несколько лет кропотливой работы. Изучение требований международного рынка и экспертов Gartner. Затем тяжелая разработка новых функций и требований, прохождение практических кейсов и нагрузочного тестирования.

Для себя я определяю этот период развития платформы с 2010 по 2015 гг. Фактически он начался чуть раньше, когда в 2008-2009 гг. началась реализация зарубежных проектов. Первое, что для этого потребовалось – это обеспечить поддержку мультиязычности во всех инструментах платформы. И это касалось как данных, так и метаданных. Т.е. при изменении в приложении языка (например, с русского на английский), предполагалось, что поменяется как язык интерфейса (причем и встроенных объектов самой платформы, и реализованных интеграторами прикладных метаобъектов/экранных форм), так и язык данных (в первую очередь текстовые атрибуты у справочников). Но это еще не все. Очень быстро мы поняли, что недостаточно просто реализовать поддержку двух и более «зашитых» языков. Первые международные проектные решения были с очень схожей функциональностью, но имели очень разную географию: английский, французский, немецкий, испанский и др. Казалось, нет этому конца и края. А тут еще и проекты в СНГ стали требовать к себе национального лингвистического внимания.

При этом ожидалось, что для трансформации уже реализованной функциональности не должны привлекаться программисты, постоянно «рыскающие» по строчкам кода и через switch case добавляющие новые языки в систему. Так в платформе появился дополнительный метаобъект – языковой ресурс. Он позволял для заданного строкового или графического псевдонима обеспечить мультиязычное хранение его переводов. Далее при настройке любых текстовых свойств объектов платформы вы уже не явно вводите значение на каком-то конкретном языке, а указываете ссылку на этот псевдоним. При необходимости добавить новый язык вам достаточно в ресурсе его зарегистрировать и указать значения новых переводов для всех псевдонимов. И все. Вся система автоматически поддерживает новый язык.

Еще один языковой вызов – это поддержка арабского языка. Открытие офиса в ОАЭ и выход на рынок Ближнего Востока потребовал изменить и интерфейс – все тексты на арабском пишутся справа налево. Но нам и это удалось.

Другим значимым направлением, на котором мы сфокусировались в период общения с экспертами Gartner, стало развитие конструктора аналитических панелей (или dashboards). Это направление развивалось в платформе и ранее, но существенное развитие оно получило именно в тот период. Разметка экрана, расположение разных визуализаторов для разных источников данных, управление внешним видом каждого блока. Уже тогда, 10 лет назад, появились первые прообразы настройки ассоциативных связей между визуальными блоками.

В тот же период существенно расширился и набор инфографики: от простых линейчатых диаграмм до сложных многомерных пузырьковых 3D-сцен. При этом мы научились публиковать эти визуализаторы на IPad, с поддержкой интерактивности и 3D-картами. Далее этот инструмент все время совершенствовался и развивался как с точки зрения функционально-графических возможностей (закладки, слайды и др.), так с точки зрения скорости их работы (например, возможность одновременного формирования сразу всех визуализаторов дэшборда в параллельном режиме).

Дополнительно стоит отметить, что, начиная с 7 версии платформы конструктор аналитических панелей был реализован как для desktop, так и для веб-версий. Причем с полностью одинаковой функциональностью. В более ранних версиях в веб-интерфейсе мы могли поддерживать только режим работы бизнес-интерфейса, не позволяющий настройку и переконфигурирование метаобъектов (только просмотр и ввод данных).

Наверное, именно с этой даты история GUI платформы разделилась на «до» и «после». На тот период уровень развития веб-технологий не позволял нам воспроизвести весь объем конструкторов наших инструментов полностью в веб-реализации. Но мы начали к этому стремиться.

Правда, быстро пришло понимание, что уже реализованное для desktop количество мастеров и экранных форм настолько велико, что создание веб-интерфейсов потребует значительного времени. Да и уровень гибкости и эргономики веб-технологий в тот период сильно уступал настольным приложениям и явно был менее производителен.  Но мы не отчаивались и планомерно продолжали двигаться в этом направлении.

Первым шагом было создание специализированных DHTML-компонентов платформы и формирование набора веб-сервисов для базовых команд API. Это позволило реализовывать на Java Script разнообразные экранные формы для веб-клиента и «верстать» сложные кастомизированные веб-страницы.

Сейчас, в разрабатываемой 10 версии платформы, мы смогли полностью перейти на кросс-платформенную реализацию. Была создана новая библиотека компонентов на ReactJS. Серьезно расширен набор веб-сервисов, практически полностью повторяющий объектную модель платформы. Также переведены на веб-технологию почти все визуальные мастера и конфигураторы инструментов. Думаю, в следующем годы мы представим рынку новую 10 версию «Форсайт. Аналитической платформы». А сейчас давайте двигаться дальше по истории развития нашего программного продукта.

Data Discovery and Big Data: все в одном

Казалось бы, к 2013 году в платформе было уже очень многое: реляционный слой, настройка кубов, отчетность, программирование сложных задач, интеллектуальное моделирование и др. Но все равно чего-то не хватало. На практике все эти инструменты были как будто разрозненны. Отчет в одном месте, расчеты в другом, загрузка данных – в третьем. Хотелось все это объединить в единое неразрывное целое, чтобы все и сразу и в одном месте. И данные загрузил, и куб сформировал и формулу здесь же написал, и другие операции выполнил. Но пока это все было в разных инструментах, хоть и использовались одни данные.

С точки зрения исследования данных это было, конечно, очень функционально, но неудобно. Так мы начали свой длинный путь по внедрению инструментов Data Discovery. Частично эта задача уже была решена, и платформа умела объединять данные разных кубов в виде общего виртуального куба. Но такие виртуальные представления данных нужно было заранее подготовить специалисту-настройщику. Поэтому конечный бизнес-потребитель мог их использовать только для получения выборки данных, в рамках заданной виртуализированной области данных.

Для устранения этого недостатка в платформе появился Multi OLAP.  Он позволил объединять в рамках одного ad-hoc запроса несколько разнородных, с точки зрения структуры, кубов на одном визуальном представлении. При этом справочники, которых не было во всех объединяемых кубах, формировали общее составное измерение (Compound Dimension). В нем требовалось зафиксировать все элементы «не общих» измерений.

Правило объединения элементов и порядок их следования можно было гибко настроить. Это позволило в рамках единого каталога показателей формировать визуальные представления с различными аналитиками у каждого показателя. Например, в справочнике социально-экономических показателей можно было определить группу элементов с разрезом ОКВЭД, другую группу — с разрезом ТН ВЭД и т.п. Дополнительно такие кубы позволяли для каждого показателя задавать расчетную меру (стоимости, площади, длины, веса и т.п.) и далее в рамках одной меры переводить показатель в разные единицы измерения (руб., тыс. руб., млн. руб., …; метры, км, мили и т.д.). Также для простоты использования ad-hoc запросов мы научились применять в OLAP внутренние альтернативные иерархии. Это позволило в рамках визуального представления куба для каждого его измерения изменять последовательность и иерархию элементов. Т.е. на уровне отдельного отчета стало возможно настраивать собственные локальные представления этого измерения, в том числе добавлять новые группировочные или фиктивные элементы.  

Второй важный момент – это вычисления и аналитические расчеты.  Хотелось сразу в сформированных электронных таблицах с данными добавлять новые расчетные показатели. Причем не ограничиваться только данными текущей электронной таблицы, а использовать данные из других источников – выходящих за рамки Multi OLAP. Так в платформе появился Универсальный Редактор Формул (УРФ). Это был конструктор формул, но в отличие от Excel он оперировал не ячейками электронной таблицы (A1+B6+C10+…), а сразу давал возможность пользователю настроить уравнение расчета в бизнес-терминах многомерной модели куба (т.е. выбрать показатель и значения всех его аналитик). Причем в формуле можно было использовать любой куб, зарегистрированный в репозитории платформы, с учетом всех прав и привилегий текущего пользователя. Далее электронная таблица при обновлении данных сама определяла, какие дополнительные источники нужны для расчета. И кроме исходных данных пользователь мог сразу получить значения дополнительных вычисленных элементов.   

Все эти возможности в 2014 году мы объединили в платформе в рамках одного объекта – аналитической области данных (EaxDataArea). Этот объект стал универсальным движком формирования всех визуальных представлений во всех инструментах отчетности платформы: дэшборды, аналитические запросы (OLAP), регламентные отчеты. Таким образом, настраивать сложные выборки данных стало возможно во всех инструментах по одному общему принципу, плюс сразу обогащать эти методики расчетными показателями любой сложности вычисления.  

Другим направлением в области исследования данных стало развитие инструментов поиска. Это было очень актуально, когда на платформе создавались большие корпоративные ХД и вручную уже невозможно было найти ту или иную информацию. Для этого в платформе был создан внутренний движок полнотекстового смарт-поиска данных по ключевым словам (BI Search). Он основывался на технологиях поисковой платформы Apache Solr и позволял находить релевантные заданному поисковому запросу соответствия. Пользователю необходимо было только ввести фрагмент текста для поиска, например, «валовый внутренний продукт», и платформа автоматически выводила всю информацию, где в элементах измерений присутствует такой показатель. Кроме структуры данных, можно было выполнять поиск и среди текстовых документов, прикрепленных к платформе или в наборе дополнительных атрибутов у метаобъектов репозитория. Поиск осуществлялся на основе заранее проиндексированных метаданных, и скорость реакции на запрос пользователя была практически мгновенной. При индексации определялась степень релевантности поиска. Это позволяло при поиске учитывать разные склонения, спряжения и другие изменения свойств для найденных словоформ, а также взаимозаменяемость слов синонимов.

Кроме инструментов исследования данных в 2013-2015 годах мы развивали и коннекторы к разным промышленным СУБД. По-крупному тут, наверное, стоит выделить два больших направления: скорость обработки данных и их объемы. Первой на очереди стала модная в те годы СУБД Teradata. Это был наш первый опыт использования массово-параллельной СУБД, и он тогда произвел на нас сильное впечатление. В сравнении с классическими Oracle или MS SQL Server, которые мы тогда в основном использовали, скорость обработки больших объемов была намного выше.

Первый опыт практического использования был в федеральных органах – в ФНС и Казначействе. Там обрабатывались данные по финансовым потокам отдельных контрагентов. Используя эту СУБД, наш BI смог обрабатывать данные каждого физического лица, формировать для них произвольные выборки. При этом важно понимать, что с точки зрения BI, это были не предподготовленные заранее SQL-скрипты (адаптированы СУБД-разработчиком индивидуально для каждого запроса), а ROLAP-движок (который должен автоматический формировать универсальный SQL-запрос на основе заданной пользователем в кубе бизнес-логики и фильтров отметки).

С точки зрения быстрого извлечения данных, сформировать такие универсальные SQL-запросы намного сложнее. При повышении сложности условия выборки, они все время начинали «тормозить». Поэтому мы обратили внимание на In-Memory СУБД. Сначала реализовали в платформе поддержку Vertica. Затем ClickHouse и Greenplum. Параллельно в этот же период реализовали коннектор к Apache Hive, что позволило на языке HiveQL выполнять запросы к данным из Hadoop. Также в контексте импортозамещения в 2019-2020 годах мы стали поддерживать работу платформы с российскими проприетарными СУБД: PostgrePRO, Arenadata, защищенной Jatoba. Сейчас смотрим в сторону Tarantool.

Тем не менее подключение высокопроизводительных СУБД не давало нужного эффекта по скорости работы нашего движка ROLAP. Логика была простая – чем больше данных и чем сложнее условие SQL-запроса к БД (а на это в первую очередь влияло, сколько элементов в каждом измерении куба выбрал пользователь), тем длительнее была скорость реакции системы на запросы пользователей. И большая часть времени уходила на выборку данных из БД. То есть со стороны BI мы не могли повлиять на это. Для компактных и плотных данных (форма-центричная модель ХД) ситуация была не так критична, а вот для сильно разряженных данных (дата-центричная модель) все было не очень хорошо…  Для этих целей еще в 2013 году мы начали создавать в платформе MOLAP-технологию. Мы попробовали реализовать свои собственные наработки. Получилось неплохо.

Сейчас в платформе есть два альтернативных подхода работы с MOLAP-кубами: глобальный инстанс куба и файловый кэш. Оба этих подхода хранят данные куба в специализированном адаптированном формате (кэш) и обрабатывают всю информацию в ОЗУ (In-Memory). При этом у них по-разному организованы способ формирования спец. структуры данных и механизм «прогрева кэша» (загрузки данных из HDD в RAM).

Каждый из этих подходов мы рекомендуем применять для разных случаев использования. Как уже говорили выше – в первую очередь, технология In-Memory была ориентирована только на быстрое чтение данных. Но сейчас мы работаем над очередной версией платформы по оптимизации этой функциональности, адаптированной и для работы со сценариями изменения/записи больших объемов данных в оперативной памяти.

А как же смежные системы?

Помимо вопросов внутреннего развития платформы, мы все время обращали внимание на вопросы интеграции с внешними системами. Самым первым и, пожалуй, до сих пор самым надежным способом, стала прямая интеграция с базами данных (интеграция точка-точка). Для этого еще в третьей версии платформы на уровне метаобъектов было реализовано подключение к БД (с указанием всех параметров и учетных данных), а также выбор из этого подключения доступных в БД таблиц/представлений или формирование собственного произвольного SQL-запроса.

Все реляционные объекты регистрировались на уровне репозитория платформы. На их основе можно было формировать логические источники данных (кубы). Устанавливать для таблиц права доступа, которые на уровне СУБД трансформировались платформой в набор grants и synonyms. Обращение к данным из этих таблиц выполнялось платформой в online режиме через ODBC драйвер (или нативные драйвера для C++). При этом какие-либо трансформации данных при их извлечении в такой реализации были доступы только на уровне SQL-преобразований в тексте самого запроса.

Для реализации более сложных цепочек трансформации входных данных уже в пятой версии платформы появился инструмент ETL. В 2005-2007 годах в этом инструменте мы активно наращивали набор поддерживаемых источников и приемников данных, а также блоков трансформации. В первую очередь, научили его работать с плоскими источниками – файлами (txt, csv, dbf, xls, html) и реляционными объектами. Затем появились блоки трансформации данных: объединение, пересечение, исключение, фильтр и др. Принцип работы заключался в том, чтобы пользователь на рабочую область «накидывал» блоки обработки данных и «склеивал» их в единую цепочку преобразования (соединяя выходные поля предшествующего блока с входными полями последующего). Все связи и соединения визуализировались в виде стрелок. Таким образом, при работе с ETL пользователь сразу видел графическую схему информационного потока данных.

Тогда эта первая версия ETL умела работает только с плоскими данными. Этого, конечно же, не хватало. В первую очередь мы столкнулись с этим в рамках работы над проектом МВФ, где нужно было обрабатывать макроэкономическую статистику стран мира из форматов SDMX (основанных на иерархической XML-разметке). Плюс актуальна была задача загрузки данных не в реляционные структуры, а сразу в куб. Так в рамках ETL была реализована возможность работы с многомерными (не плоскими) структурами данных. Это была своего рода вторая версия инструмента ETL, работу над которой мы активно вели в период с 2009 по 2012 гг. Параллельно мы работали и в направлении повышения производительности. Для больших объемов данных стала доступна пакетная загрузка, когда данные извлекаются и загружаются порциями (если, конечно, такое частично-кусочное извлечение возможно, и в цепочке трансформации не применяется какое-нибудь правило «склеивания» двух массивов данных, требующее их полной предварительной загрузки в ОЗУ).

При этом сложная цепочка трансформации данных в прикладных задачах требовалась не всегда. Часто перегрузка данных сводилась к простой схеме: один источник, один приемник и мэппинг их полей. Для таких задач в платформе появились альтернативные инструменты — объект импорта данных и загрузчик кубов. Они умели выполнять простые перегрузки данных в куб из внешнего источника или реплицировать данные между кубами.

Но активность прикладных задач требовала все больше и больше наборов источников/приемников данных и типов связывающих их правил трансформации, а также появлялись все новые и новые требования к внешнему интерфейсу. В какой-то момент мы поняли, что, как бы мы ни старались, мы не сможем успевать за всеми «хотелками» наших потребителей. Нужно было сделать наш ETL открытым для самостоятельного расширения. Мы добавили пользовательские шаблоны, в которых специалист-настройщик сам смог программировать логику обработки данных, а также в среде разработки создать мастер для ее визуальной настройки. При этом все шаблоны регистрировались в задаче ETL и с точки зрения конечных бизнес-пользователей ничем не отличались от работы с обычными встроенными в платформу блоками обработки данных. Например, таким способом подключались вызовы SAP RFC, настраивались образы финансовых XBRL-файлов и многое другое.

Четвертым шагом развития ETL в 2018-2019 годах стала поддержка работы с REST-источниками, обеспечивающая взаимодействие с веб-сервисами в режиме get- или post-запросов. Дополнительно в этот же период была реализована поддержка JSON-форматов.  То есть стала доступна работа с разными веб-сервисами. Причем не просто подключение, а интеграция этой задачи в единую цепочку ETL как один из ее составных шагов.

Фреймворк для разработки собственных приложений

Многолетняя история развития платформы наложила свои отпечатки и на ее архитектуру. При решении задач для российских или зарубежных проектов нам всегда чего-то не хватало.  Мы делали все новые и новые функции, но команды внедрения просили их все больше и больше. Казалось, это был какой-то замкнутый круг, который невозможно разорвать.

Еще в третьей версии платформы был встроен свой собственный макроязык, но его возможности были сильно ограничены. Плюс это был чисто процедурный язык, предназначенный больше для реализации небольших команд или процедур для небольшой доработки отчетов или моделей. Примерно как VBA. Реализовать в нем какую-то сложную бизнес-логику и уж тем более собственную подсистему или фрагмент ИТ-решения было затруднительно. В первую очередь потому, что большое количество функций платформы в этом языке было закрыто и недоступно. Учитывая это, в 5 версии платформы мы приняли два важных новых решения: cделать все API платформы открытыми и реализовать свой собственный встроенный объектно-ориентированный язык программирования. Именно с 5 версии платформы API полностью покрывал все ее инструменты. Теперь у команд внедрения появилось два варианта настройки ИТ-решений: ручной, при помощи мастеров и конструкторов, или программный, через открытый API.

Встроенный язык программирования, мы назвали его Fore, позволяет реализовывать свои собственные интерфейсы и гибкую бизнес-логику. Для каждого проекта команды внедрения стали реализовывать собственные мастера для конфигурирования или работы пользователей с ИТ-решением. Причем ровно в таком виде, как просили их заказчики. Это стало очень user friendly. Командам внедрения понравилось, что можно на 100% выполнять пожелания заказчиков. Все стали этим активно пользоваться.

Но такой подход противоречил концепции единых метаданных платформы. Проектные решения на Fore все начали реализовывать так, как им это было удобно. Системность платформы стала теряться. В спешке проектной суеты, команды внедрения мало думали о том, как их дополнительный программный код будет взаимодействия с другими метаобъектами и функциями платформы. Как будет происходить распределение прав доступа, перенос объектов между ландшафтами через pef-файлы и т.п. А когда эти вопросы возникали, часто было уже поздно, т.к. программная архитектура ИТ-решения уже была выстроена и ее изменение требовало большой переработки кодовой базы проекта.

Учитывая эти обстоятельства, мы стали понимать, что процесс кастомизации решения с точки зрения платформы тоже должен быть управляем и систематизирован. И в 7 версии был реализован механизм регистрации прикладных метаобъектов пользовательского класса.

Для каждого прикладного метаобъекта можно было запрограммировать обработчики событий и реализовать их визуальный интерфейс. При этом после регистрации такой новый класс объекта «бесшовно» встраивался в список системных инструментов платформы и получал все аналогичные возможности: аудит, перенос между ландшафтами, права доступа, администрирование и т.п. То есть теперь на проектах исполнители-подрядчики самостоятельно смогли расширять возможности нашей платформы в интересах своих клиентов.

При этом такие новые типы объектов можно было переносить между разными репозиториями платформы. Компании-партнеры смогли обмениваться такими новыми объектами и переиспользовать их в своих проектах.

Сложный период, взлеты и падения

К сожалению, не все 20 лет моей истории работы с платформой были только веселыми и радужными. Были и печальные периоды. Один из самых тяжелых для меня моментов – это смена собственника и банкротство компании «Прогноз» в 2015-2016 гг. Тогда было всё: и задержки зарплаты, и снижение общего количества консультантов по данному решению, и многое другое. Платформа пережила сложный период. Но мы смогли выстоять, сохранить «костяк» коллектива и продолжить развивать наше решение, работать с новыми заказчиками. Черная полоса позволила нам по-другому взглянуть на архитектуру нашей платформы и выработать в ней принципиально новые инструменты.

Любая черная полоса всегда когда-нибудь заканчивается. С 2016 года развитие бренда «Прогноз» уже происходило в компании «Форсайт», которая стала эксклюзивным дистрибьютором платформы, с правом ее модификации и выпуском новых версий. В 2017 году «Форсайтом» была выпущена версия Prognoz Platform 8.2. А в 2018 году произведен ребрендинг, и появился товарный знак «Форсайт», который сопровождался выпуском 9 версии платформы. Версии с официальным названием «Форсайт. Аналитическая платформа». С этого периода компания «Форсайт» уже полностью самостоятельно развивала продукт. В 2019-2020 годах были организованы регулярные квартальные выпуски минорных релизов 9 версии «Форсайт. Аналитической платформы».  

Можно сказать, что все эти перемены вдохнули в нас «новую жизнь». За последние четыре года мы наработали еще больше функций и сформировали более обширный опыт внедрения, чем за все предыдущие 20 лет «Прогноза». Поднялись на качественно новый уровень нашей платформы. Но давайте обо всем этом по порядку.

«Форсайт» сегодня – это больше, чем просто BI

Одним из новых направлений, которое мы реализовали в 9 версии «Форсайт. Аналитической платформы», была возможность транзакционной работы с данными. Нет, речь не пойдет о системах с финансовыми транзакциями или о других подобных OLTP-системах. Это не наш профиль, мы все-таки BI-решение. Но четко было сформировано сознание того, что только BI-аналитикой не обойтись на современном рынке. Нам точно не хватало инструментов для организации поэтапного распределено или последовательного процесса обработки данных. Причем как в ручном, так и в автоматическом режимах, или их комбинации. При этом использование внешнего BPM-движка опять лишало нас ключевого преимущества нашей платформы – «бесшовной» интеграции всех ее инструментов.

Свой встроенный BPM

В 2018 году мы начали создавать собственный конструктор BPM-процессов. Долго спорили про нотацию. Конечно, хотелось полной поддержки спецификации BPMN 2.0. Но мы были только в начале пути, и в короткий срок догнать российских и зарубежных конкурентов нам было не под силу. А инструмент для формирования workflow хотелось иметь прямо сейчас. В итоге постарались взять основное из каждой категорий элементов BPMN 2.0: поток (Flow Objects), данные (Data), соединение (Connecting Objects), зоны ответственности (Swimlanes), артефакты (Artifacts). При этом акцент в первую очередь сделали не на графическую визуализацию или полноту процессных элементов, а на совместимость элементов нотации с существующими инструментами платформы.

Так, например, зоны ответственности сразу стали синхронизированы с ролевой моделью нашей платформы. Артефактами выступили этапы бизнес-процесса, группирующие его шаги. Данными являлись кубы или справочники. В потоках поддерживаются разные типы шлюзов и отправка сообщения через e-mail. И так далее. Также в BPM был реализован ряд интересных «фишек». Например, в элемент «сообщение» можно добавить гиперссылку для открытия соответствующего объекта платформы. Тогда при наступлении, например, шага «ввод данных», пользователь получает электронное информационное письмо, и в нем сразу есть гиперссылка для открытия соответствующего отчета в системы в веб-браузере. Очень удобно и функционально.

Другая важная отличительная особенностью нашего BPM-инструмента заключается в возможности одновременной поддержки и исполнения нескольких версий одного шаблона процесса. Иными словами, вы можете продолжить изменение шаблона процесса при наличии запущенных/выполняемых его экземпляров. Полная остановка всех действующих на этот момент экземпляров процесса не требуется. Во многих проектах мы слышали от клиентов такую потребность. Ведь общая длительность процесса может составлять недели, месяцы или кварталы, а стандарты организации могут измениться в любой день. И непонятно, как тогда быть с еще незавершенными процессами? Потребность очевидная, но далеко не у всех производителей подобного класса решений мы смогли ее найти. И успешно реализовали ее в нашей платформе.

Создание конструктора BPM затронула и функциональность ролевой модели. В первую очередь это повлияло на права доступа к данными. Раньше область доступа определялась на уровне объекта целиком или отдельных элементов справочника (для классического BI этого было достаточно). Для процессных задач требовалось ограничение на уровне или атрибутивных правил (отчет согласован, утвержден и т.п.) или на уровне сегмента данных (например, ввести в отчет данные только по доходам за 2021 год). Для этого в ролевой модели платформы кроме дискреционных и мандатных прав доступа мы реализовали поддержку ABAC-правил.

А для управления доступом к сегментам данных появился объект полномочий. Он позволяет «разрезать» куб на отдельные многомерные сегменты и определить для каждого сегмента права на чтение и запись. Такие полномочия могут быть статичные (действовать всегда) или ассоциированы с шагом бизнес-процесса (т.е. автоматически включаться и выключаться по мере изменения состояния бизнес-процесса). В отчетности каждый сегмент и статус его состояния может визуализироваться. Тем самым, открывая любой отчет, пользователь всегда легко сможет понять, какие действия с отчетом ему нужно произвести (ввести или согласовать фрагменты данных, провести расчет и т.п.)

Конструктор алгоритмов – практичный инструмент для методологов

Развитие 9 версии «Форсайт. Аналитической платформы» продолжалось – в фокусе нашего внимания оказался инструмент моделирования. Интегрированный в отчетность универсальный редактор формул расчетных показателей хорошо подходил для Data Discovery, но был неэффективен, когда одна методология расчета переиспользуется в большом количестве разных отчетов. И еще хуже, когда количество отчетов постоянно растет, а часть показателей в них нужно рассчитывать по методике.

Для решения этой задачи мы выделили создание методик расчета в отдельный инструмент платформы – конструктор моделей и алгоритмов. Фактически после контейнера моделирования (из 5 версии платформы) это была уже третья эволюционная версия мастера настройки расчетов. Она обладала рядом новых особенностей и фишек.

Первое нововведение — мы интегрировали его с EaxDataArea. Теперь в аналитической области достаточно было просто указать, какие расчетные методики (настроенные этим конструктором моделей) нужно использовать, и далее платформа уже сама определяет, какие показатели в таблице с данными нужно получать запросами из БД, а какие рассчитывать. Тем самым мы смогли разделить настройку методологии и визуализации, но при этом технологически сохранить их полную совместимость.

Второе новшество —  конструктор моделей и алгоритмов кроме расчетных значений стал управлять и визуальным стилем этих данных (правила контроля). Это позволило в методике настраивать различные правила оформления данных с использованием логико-арифметических формул, например, задавать цвет заливки ячейки и др.

Также был доработан сам расчетный движок конструктора. Он стал позволять проводить частичный пересчет методики, в зависимости от измененных данных. Например, если для сложной методики, состоящей из 10 тыс. взаимосвязанных уравнений, вы изменили только 2 цифры, то платформа сама определит, в какие уравнения входят эти две точки данных, какие еще другие уравнения зависят от расчетов этих уравнений и т.д. Таким образом будет рассчитан только тот объем формул, на который влияют эти две измененные точки данных. Это позволило нам прямо в отчетах реализовать пересчет указанных в EaxDataArea в режиме online сразу после ввода данных. И все это выполняется достаточно быстро, за счет частичного пересчета. Фактически как в Excel. С той лишь разницей, что вся методология не хаотично раскидана по формулам в ячейках листов, а компактно сгруппирована в специализированном конструкторе. Для каждой методики можно задать свой набор параметров (отчетный период, список компаний, сценариев, версий и т.п.). Далее каждый расчет выполняется для конкретных значений этих параметров.

Третье новое изменение – интерфейс конструктора методик и алгоритмов мы реализовали в виде рабочего пространства, иллюстрирующего преобразование потоков данных. На интерактивном поле настройщик размещает блоки (осуществляющие определенную трансформацию данных) и выстраивает их в определенную последовательность (можно визуализировать стрелками и связами).

Еще одна новая возможность — гибкая система отладки, позволяющая пошагово выполнять расчеты и смотреть промежуточные результаты. Это крайне важно при реализации больших и сложных методик. Также для каждой формулы расчета можно «развернуть» ее составляющие. Разворачивание может быть организовано рекурсивно, т.е. если часть слагаемых в исходной формуле также являются расчетными величинами, то для них тоже можно раскрыть состав их уравнений и т.д. Кроме формул можно посмотреть и сами данные, на которых они посчитаны. Тем самым пользователь всегда может понять, как получилась та или иная расчетная величина.

С точки зрения расчетных движков мы уже понимали, что своими силами нам не угнаться за мировой динамикой. Эйфория, присутствовавшая при создании контейнера моделирования («все методы сделаем сами»), прошла. Новый конструктор методик и алгоритмов стал открытым к внешним расчетным ПО. В первую очередь, мы провели интеграцию с распространенными пакетами R и Python. Кроме этого, появились и специфичные пакеты для решения узких специализированных задач. Например, для задач оптимизации мы интегрировали платформу с библиотеками бесплатного расчетного движка LpSolve, а также реализовали поддержку коммерческого солвера Gurobi. Т.е. при настройке формул расчета пользователь уже мог выбрать, каким способом ему выполнять расчеты и какой расчетный интерпретатор для этого использовать. При этом мы не просто реализовали вызов методов, но и обеспечили передачу параметров. Совместили типы данных нашей платформы и интегрируемых расчетных пакетов. Таким образом, данные нашей платформы из кубовой модели могут быть преобразованы в многомерные массивы на «питоне» и далее переданы как параметр в python-функцию. Тем самым интеграция с внешними расчетчиками происходит бесшовно и не требует выполнения дополнительных интеграционных работ при настройке методик.

Но внешние расчетчики использовались в первую очередь для вызова сложных научных методов. Все простые логико-арифметические формулы рассчитываются внутри платформы. Для их ускорения в 9 версии в 2018 году был реализован дополнительный облегченный расчетный движок, который поддерживал меньшее количество встроенных функций. Фактически поддерживал только основные математические операции и функции округления, суммы, модуля – т.е. только то, что нужно для бухгалтерских операций. И не поддерживал методы эконометрики, факторного анализа и т.п. Облегчение набора функций позволило сильно ускорить производительность. Примерно на порядок. При этом платформа самостоятельно определяет, каким движком выполнять расчет того или иного уравнения – «легким» или «тяжелым». Вроде бы простое и очевидное решение, но пришло оно нам не сразу. Вот как бывает, когда десятилетиями наращиваешь и наращиваешь функции инструмента. В какой-то момент понимаешь, что уже переборщили, и для распространенных простых кейсов можно применить и что-то попроще…  

Также новый конструктор моделей и алгоритмов стал поддерживать параллельные расчеты. При запуске расчета BI-сервер сам определяет свои вычислительные мощности и нагружает их. Таким образом, при запуске одного расчета по заданным параметрам платформа сама распределяет его по нескольким потокам. Из 100 указанных в параметре методики организаций расчет по первым 10 компаниям пойдет в один поток, вторая десятка – во второй и т.д. Таким образом нагружаются все доступные процессоры сервера.

Также для выполнения расчетов в кластере BI-серверов можно указать отдельно выделенный для расчетов сервер. Тогда не важно, в рамках «липкой сессии» на какой из BI-серверов попал пользователь при распределении нагрузки балансировщиком – любой запуск расчета перенаправит эту операцию на специально выделенный под расчеты сервер. Это позволяет эффективно организовывать кластер серверов для систем с «тяжелыми» расчетами. Для основной работы back-end платформы используются одни аппаратные мощности, а для самих расчетов – другие. С разными характеристиками и количеством серверов.

Формы ввода – технический интегратор всех инструментов платформы

Далее для работы с новыми алгоритмическими и процессными инструментами в 9 версии платформы «Форсайт» мы реализовали еще один новый инструмент — «Формы ввода». Фактически это собирательный образ всех транзакционных инструментов в конечном интерфейсе бизнес-пользователя. Каждая форма ввода представляет собой не просто отчет с выводом информации, а может объединить в себе и срезы данных, и права доступа к ним, и учитывать шаги ассоциированных с ней процессов, и применять расчетные правила из конструктора и многое другое.

Причем большинство операций в формах ввода платформа определяет автоматически или автоматизировано. Достаточно один раз настроить систему заказчика, и далее все самостоятельно работает, «как часы». Например, все активные шаги бизнес-процесса автоматически отображаются при открытии формы ввода. Дополнительно по каждому шагу процесса можно посмотреть его назначение (ввод или согласование данных и другие операции), а также визуально подцветить в форме ввода связанный с этим шагом фрагмент данных (когда согласуется не вся форма целиком, а только часть ее данных, такое тоже возможно).

Также в формах ввода можно указывать настроенные методики и алгоритмы, и как уже говорили ранее, платформа сама автоматически будет применять из них нужные фрагменты расчетов для срезов данных. При этом можно указывать разные события применения этих вычислений: сразу при вводе новых значений в ячейки таблицы (ввел значение, и соседние расчетные ячейки сразу пересчитались), только после сохранения новых данных в БД (в БД сохраняются и вручную введенные данные и дополнительные расчетные) и т.п. Это позволило гибко управлять логикой применения этих методик в системах у заказчиков.

Существенно изменилась и скорость работы самих форм ввода. Для веб-интерфейсов была реализована динамическая подгрузка только видимых строк на front-end. Таким образом, в формах ввода стало возможным размещать таблицы с большим объемом данных (до сотен тысяч строк и нескольких сотен колонок). Именно такие масштабные табличные и реестровые формы требовались нашим заказчикам, и мы смогли это сделать.

Также в формах ввода появилась новая интересная возможность (которой не было в предшествующих версиях платформы) – карточка объекта из реестра. Она позволяла размещать и группировать на листе поля с атрибутами этого реестра.

В плане визуального интерфейса мы продолжили приближаться к продуктам MS Office. Эксель-подобный интерфейс в регламентных отчетах применялся еще в ранних версиях платформы.  Электронные таблицы, оформление ячеек, формулы, размещение графиков и многое другое – все это было на 99% похоже на MS Excel. Пользователю наших систем не требовалось привыкать к новым интерфейсам. Они сразу начинали работать в привычной для себя среде.

Новшеством 9 версии платформы стала настройка контексто-зависимой ленты инструментов. Теперь пользователь сам мог управлять ее внешним видом: добавлять новые кнопки с разными типами действий, произвольно группировать их, настраивать их внешний вид, определять условия доступности этих кнопок и много другое. Это позволило формам ввода стать не просто отчетом с параметризированным выводом или вводом необходимой информации, а полноценным АРМом пользователя, обогащенным необходимым сопутствующим набором дополнительных команд или действий. Например, загрузка данных, расчеты, инициализация нового экземпляра бизнес-процесса и много другое. Все это теперь стало доступно для вызова сразу из форм ввода. Наши пользователи по достоинству оценили это преимущество.

Конструктор бизнес-приложений

Одна из часто возникающих проблем при внедрении систем на базе платформы «Форсайт» связана с тем, чтобы собрать все реализованные и настроенные интегратором модули в единое целое. В первую очередь, это нужно для компоновки всех платформенных метаобъектов в единый файл обновления (для последующего полного или частичного переноса с ландшафта на ландшафт).

Механизм переноса метаданных через pef-файл существовал в платформе достаточно давно. О нем мы уже говорили выше. Но он был предназначен для ручной сборки таких обновлений, а масштабы метаданных наших систем у заказчиков стали достигать внушительных размеров. Сотни и даже тысячи метаобъектов. Об оперативном ручном сборе таких обновлений уже говорить не приходилось. Требовались инструменты автоматизированного сбора и целостного переноса системы из одного репозитория в другой.

Разработку такого инструмента мы начали в 9 версии платформы. Фактически так появился комплексный контейнер в репозитории, куда настройщики размещают все метаобъекты своей системы. Инструмент назвали «Контейнер бизнес-приложения». Логика проста. Всю систему размещаем в одном контейнере этого бизнес-приложения. В рамках одного репозитория может существовать неограниченное количество контейнеров с разными бизнес-приложениями. Уникальная идентификация метаобъектов организовывается уже не на уровне всего репозитория, а только в рамках этого контейнера.

Каждый контейнер оснащен набором сервисных функций. Нумерация версии, сбор файла обновления (с возможностью генерации шаблонов, определяющих состав таких обновлений), возможность сформировать контрольную сумму для каждого метаобъекта, частичный перенос элементов справочников (чтобы разделить типовую встроенную часть структур НСИ и дозаполненные заказчиком структуры). Также для каждого бизнес-приложения платформа автоматически генерирует типовой веб-портал для отображения объектов системы. Такой свой мини-навигатор системы, для которого можно задать визуальное оформление, в том числе применить корпоративный стиль заказчика.

Кроме «упаковки» бизнес-приложений конструктор позволяет создавать и контейнеры библиотек. Каждая библиотека включает в себя программные функции и, при необходимости, реализацию визуального интерфейса (тогда это уже называется не библиотека, а компонент). Между бизнес-приложениями и такими библиотеками/компонентами можно определять связи. Например, указать что для функционирования этого бизнес-приложения требуется такой-то набор библиотек и компонентов. При сборке обновления эти связи учитываются и формируется целостный файл обновления всех необходимых контейнеров.

Также для каждого контейнера ведется своя нумерация версий. При установке такого комплексного файла обновления платформа проверяет эту нумерацию для репозитория-приемника и информирует пользователя о наличии каких-либо конфликтов или нестыковок в инсталлируемых версиях. Например, когда в репозитории-приемнике установлена уже более свежая версия какого-либо компонента.

Иными словами, с помощью конструктора бизнес-приложения в рамках одного репозитория платформы, вы можете создавать большое количество связанных программных комплексов и не беспокоиться об их взаимной синхронизации и учете. Конструктор большую часть работы сделает за вас!

Поддержка разных языков программирования

Еще одним выбранным вектором развития 9 версии платформы «Форсайт» стала адаптация ее среды разработки к широкому кругу языков программирования. Уже давно мы понимали, что встроенный в платформу верхнеуровневый скриптовый язык программирования – это очень классно. Но уникальная спецификация собственного языка программирования платформы Fore вызывала неоднозначную реакцию. С одной стороны, по синтаксису и структуре язык Fore был очень похож на C#. При этом Fore обладал важным преимуществом – кроссплатформенное выполнение, т.к. конечный базовый язык его реализации и интерпретации был C++.

Часть нашего community прониклась и сильно полюбила наш язык программирования. Но нужно быть откровенным, были и те, кто открыто его критиковал. Мне сложно понять почему, но факт остается фактом. Как говорится, насильно мил не будешь. Но community – это всё для вендора, наравне с конечными заказчиками. Таковы наши вендорские принципы. И мы стали развивать это направление, чтобы комфортно было всем.

Поддержка работы с .Net у нас уж была и в более ранних версиях платформы. Следующей на очереди стала поддержка Python, затем Java – их мы уже тоже поддерживаем. Сейчас обсуждаем и начинаем реализовывать поддержку Core .Net для Linux.

При этом поддержка любого языка программирования в платформе разделяется на две составляющих. Первое – весь открытый API платформы адаптируется для исполнения в синтаксисе поддерживаемых языков программирования через Interop сборки, которые нужны для работы с объектами «Форсайт. Аналитической платформы». С их помощью, например, на языке Python можно без проблем запрограммировать сохранение в кубы платформы информации, полученной на основе расчета нейронной сети. Или на языке Java применить специализированное оформление к форме ввода. И другие аналогичные примеры.

Вторая составляющая – это хранение всех текстов на любом поддерживаемом языке программирования в самой платформе, как отдельных метаданных. Плюс дополнительно существует возможность их интерпретации и исполнения в среде разработки платформы. Это немаловажное условие, чтобы вся кодовая база проекта заказчика была неотъемлемой частью репозитория. Причем в исходном, а не откомпилированном виде.

Ранее мы неоднократно сталкивались с проблемой внедрения, когда внешние к платформе откомпилированные модули инсталлировались субподрядчиками на стенды заказчика, и спустя какое-то время их сопровождение или развитие для генподрядчика становилось невозможным. Исходных кодов просто уже не было, как и диалога с субподрядчиком. Поэтому аксиома здесь простая. Программирование на любом поддерживаемом языке доступно, но все исходники и их исполнение – через платформу. Это значительно упрощает жизнь при внедрении серьезного проекта.

Преднастроенные конфигурации платформы

Реализация в 9 версии платформы новых инструментов для систем обработки данных и соответствие высоким современным enterprise-требованиям предопределили для нас выделение части команды для настройки прикладных и отраслевых конфигураций. Это стало возможным, так как реализованные конструкторы для формирования BPM, ETL, алгоритмов и т.п. подразумевали только настройки необходимого контента, а не создания новых версий платформы. С точки зрения ресурсов это стало гораздо менее затратно. А линейка ПО «Форсайт» c 2018 года стала существенно расширяться и содержала уже не только платформенные, но и узкоспециализированные решения.

Каждая конфигурация была реализована на платформе и состояла из уже преднастроенного базового контента для той или иной типовой задачи (ХД, отчет, методики, специализированные мастера и др.).

В настоящее время в линейке «Форсайт» реализовано 4 конфигурации платформы: «Бюджетирование», «Управление инвестиционными программами и проектами», «Сводная и управленческая отчетность», «Кредитный конвейер». Но мы не планируем на этом останавливаться и все время стремимся расширять этот список. Плюс, открытость платформы как фреймворка позволяет организовать создание таких контентных решений нашим партнерским сообществом. В настоящее время среди нашей партнерской экосистемы ряд компаний-интеграторов уже не просто выполняют внедрение проектов на «Форсайт. Аналитической платформе», но и ведут реализацию таких типовых предметных конфигураций.

Это стало одним из новых векторов развития 9 версии платформы. Мы понимаем важность и свою глубокую социальную ответственность не просто реализовать широкий набор универсальных платформенных функций, но и «запаковать» эти инструменты для их ускоренного внедрения. Тем самым упрощая сложность внедрения ИТ-решений в компаниях – сокращая сроки и повышая качество. Это крайне важно в текущих условиях российского ИТ-рынка. Мы планируем и дальше развивать линейку отраслевых и прикладных программных продуктов в будущем, но только обязательно параллельно с развитием наших платформенных решений.

В следующих публикациях мы обязательно посвятим этим специализированным решениям отдельную статью.

Импортозамещение и Linux-ориентированное окружение

Импортозамещение в России четко сформировало направление для развития ИТ-отрасли. «Директива Силуанова» (см. http://government.ru/all/35256/) подтолкнула многие крупные ИТ-компании выбирать новое ПО и новых подрядчиков.  Уже в 2019 году мы это почувствовали через повышение спроса и увеличение пресейловых активностей. Вырос интерес к Linux-ориентированному ПО.

Еще с 5-й версии платформы основным низкоуровневым языком разработки back-end был и остался C++. За счет этого наши BI-серверы успешно работали и для Windows, и для разных версий Linux: ALT, Debian, Astra, Ubuntu, Red Hat. Также серверная часть платформы неплохо работала под Docker, это было заложено в ее архитектуре.

С клиентскими рабочими местами дело обстоит тоже неплохо. Созданный в 9-й версии Конструктор бизнес-приложений позволял автоматически из платформы формировать веб-порталы для полноценной работы бизнес-пользователей. Поддерживалось большое количество браузеров, в том числе функционирующих под OC Linux (Mozilla Firefox, Google Chrome, Opera, российские «Спутник» и «Яндекс»). Ну и также стандартные IE, Edge и Safari для Windows. Работа с данными, запуск расчетов, загрузки, бизнес-процессов, специализированные АРМы через формы ввода – все это было доступно на полностью Windows-независимом окружении в виде веб-решений. Также в виде веб-решения был доступен менеджер безопасности, позволяющий в том числе и под Linux-окружением администрировать системы и формировать файлы обновлений репозиториев между ландшафтами.

Единственным узким местом пока являются разработка и настройка метаданных (мастера кубов, справочников, конструкторы отчетов и т.п.), а также среда разработки Fore. Вот это, к сожалению, создавалось на протяжении многих лет и исторически имело только desktop-реализацию. Linux тогда не был столь популярен и развит. Но это ограничение распространяется только на разработочный ландшафт DEV. Ведь только там ведется разработка системы, а на TEST и PROD осуществляется только ее использование и не ведутся программные доработки (максимум только установка обновлений). В такой конфигурации ОС Windows необходима только на нескольких машинах разработчиков в DEV-контуре, который обычно не имеет прямого доступа к реальным данным. Это исключает возможность какой-либо утечки конфиденциальных данных.

Мы сейчас ведем работы над 10 версией платформы. Она будет целиком веб-ориентированной облачной платформой, и мы сможем полностью уйти от настольных интерфейсов для разработчика. Также мы сейчас серьезно развиваем работу нашей платформы под ОС Astra Linux CE и SE, в том числе поддержку меток безопасности для версии «Смоленск». Обзор всего многообразия новых функций 10 версии – это тема для отдельной статьи. Мы обязательно вам все это расскажем в ближайшем будущем.

На этом мы завершаем нашу первую публикацию на Хабр. Но на этом не останавливаемся. В планах рассказать еще много интересного и познавательного. Следите за нашим блогом.  Также мы будем вам благодарны, если вы ответите на опрос ниже и выберете одну из тем следующих статей, которая была бы вам наиболее интересна.

Какая тема будущей публикации Вам была бы наиболее интересна?

Проголосовали 23 пользователя.

Воздержались 6 пользователей.

Основная статья: Определение Business Intelligence

«Форсайт. Аналитическая платформа» – универсальный российский ИТ-инструментарий для решения разноплановых задач цифровой экономики. Относится к классу продуктов «цифровая платформа для работы с данными» и полностью обеспечивает современные предприятия и организации всеми инструментами для сбора, обработки, хранения, анализа данных. Благодаря высокой производительности, масштабируемости, универсальной функциональности и широким возможностям интеграции может рассматриваться как платформа для цифровой трансформации предприятий, организаций, государственных структур.

^{Примеры интерфейсов программных решений на базе «Форсайт. Аналитической платформы»}

«Форсайт. Аналитическая платформа» – мощное современное решение, открывающее заказчикам новые перспективы для сохранения и развития конкурентных преимуществ на динамичном современном рынке. Возможности платформы соответствуют задачам, отмеченным в Государственной программе «Цифровая экономика Российской Федерации».

На основе платформы разработаны программные продукты для автоматизации бизнес-процессов – «Форсайт. Бюджетирование», «Форсайт. Управление инвестициями», «Форсайт. Сводная отчетность», «Форсайт. Кредитный конвейер». Кроме того, в состав программного продукта «Форсайт. Аналитическая платформа» входит мобильное приложение «Форсайт. Мобильный BI», которое предоставляет владельцам планшетов на платформах iOS и Android возможность работать с аналитическими панелями и регламентными отчётами в онлайн-режиме.

Универсальное решение: работает в любой отрасли, с любыми задачами

Универсальность «Форсайт. Аналитической платформы» заложена на уровне функциональности: продукт позволяет решать задачи разных уровней – от сбора и мониторинга данных до построения оптимизационных моделей с учетом большого числа условий. Включает широкий спектр инструментов для создания промышленных аналитических систем с возможностями конструирования отчетности, глубокого анализа данных, моделирования и прогнозирования, оптимизации бизнес-процессов.

Платформа поддерживает разнообразные типы данных и их источников – не требуется специальных затрат на подготовку данных или подключение к источникам. При этом разработчик платформы, компания «Форсайт», при создании программного инструментария развивает его функциональность в соответствии с задачами крупных российских компаний из различных сфер бизнеса и государственных структур.

Помимо этого, продукт основан на использовании передовых подходов и актуальных технологий бизнес-анализа, что делает его удобным, мощным и современным. Проекты на базе платформы эффективно используются во всех отраслях, в том числе в энергетике, металлургии, нефтегазовой отрасли, фармацевтике, госсекторе. Среди реализованных проектов – высокопроизводительные аналитические системы масштаба страны, региона, крупного холдинга.

(данные актуальны на июнь 2020г.)

Продвинутые методы анализа и прогнозирования

Использование продвинутой аналитики – по-прежнему один из главных трендов в сфере цифровизации. Продвинутая аналитика обеспечивает организацию необходимыми данными для выбора оптимального пути развития, с учетом максимального числа факторов.

Функционал «Форсайт. Аналитической платформы» включает расширенные возможности предиктивной аналитики, соответствующие высоким мировым требованиям. Блок продвинутой аналитики «Форсайт. Аналитической платформы» обеспечивает возможность визуального конструирования моделей и алгоритмов любой сложности для эконометрических, оптимизационных и прогнозных расчетов, поддерживает решение актуальных для прогнозирования задач «Что будет, если…?» и «Что необходимо для…?». Аналитики могут использовать инструмент многовариантного сценарного моделирования, с использованием известных библиотек математических и статистических алгоритмов.

В рамках платформы доступно более 300 методов построения моделей, реализована интеграция с библиотеками R и Python. Это означает, что пользователь платформы может использовать в своих расчетах любую статистическую функцию, реализованную в мире на сегодняшний день. В рамках модуля «Временные ряды» реализовано огромное число алгоритмов, которые позволяют строить прогнозные модели для временных рядов. Также в рамках платформы доступны инструменты Data Mining и Machine Learning, есть возможность подключения к источникам Big Data и их обработки с помощью механизма In-Memory.

(данные актуальны на июнь 2020г.)

Возможности для импортозамещения

«Форсайт. Аналитическая платформа» открывает для госкорпораций и государственных заказчиков широкие возможности для импортозамещения. Продукт входит в Реестр отечественного ПО, а также обладает рядом преимуществ, позволяющих ему выступать в качестве «верхушки айсберга» импортозамещения, которую представляет собой аналитическое ПО.

Прежде всего, российская платформа обеспечивает высокую степень информационной безопасности, в том числе благодаря реализации современного подхода к контролю доступа ABAC (Attribute-based access control – управление доступом на основе атрибутов). В ABAC разграничение доступа происходит очень гибко – на основе вычисления политик и правил. В итоге доступ к информации четко регламентирован.

Важно, что платформа быстро и эффективно интегрируется со сторонними системами, а также обеспечивает поддержку российских ОС и СУБД, например, совместима с российскими СУБД PostgreSQL и Arenadata DB, может поставляться со специализированной версией СУБД Postgres Pro Enterprise, поддерживает отечественную операционную систему «Альт». Это позволяет организациям тратить меньше усилий на интеграцию российского ПО, получая итоге комплексное решение с высокой степенью совместимости входящих в него различных типов ПО.

(данные актуальны на июнь 2020г.)

2022

Сертификат ФСТЭК на соответствие 4 уровню доверия, 5 классу защиты и техническим условиям

«Форсайт. Аналитическая платформа» прошла сертификацию ФСТЭК на соответствие 4 уровню доверия (согласно 76 приказу ФСТЭК), 5 классу защиты (согласно РД СВТ) и Техническим условиям. Данный сертификат подтверждает, что платформа соответствует всем требованиям регулятора и является надежным средством технической защиты информации и обеспечения безопасности информационных технологий. Об этом сообщила компания Форсайт 30 января 2023 года.

Сертификат ФСТЭК позволяет использовать «Форсайт. Аналитическая платформа» в качестве средства защиты информации (не составляющей государственную тайну) от несанкционированного доступа в системах всех классов защищённости, в том числе в государственных информационных системах (ГИС), на объектах критической информационной инфраструктуры (КИИ), а также для построения систем по работе с источниками информации ограниченного доступа, персональными данными, служебной, коммерческой и иными видами конфиденциальной информации.

Выпуск версии 9.7

В июне 2022 года вышла версия 9.7 продукта «Форсайт. Аналитическая платформа».

Среди изменений и обновлений в релизе 9.7:

• Развитие инструментов платформы: отображение адресов объектов в среде разработки.
• Развитие расширений платформы:
  • алгоритмы расчёта;
  • конструктор бизнес-приложений.
• Администрирование и системные возможности:
  • выгрузка комментариев из Fore-кода;
  • поддержка актуальных версий Redis;
  • стабилизация работы со служебным пользователем.
• Оптимизация и повышение производительности:
  • ускорение загрузки таблиц;
  • ускорение открытия форм ввода.
• Обновленное API платформы.

«Форсайт» приобрела исключительные права на программную платформу Prognoz Platform у правообладателя – DSS Lab

Prognoz Platform – российский программный инструментарий для создания корпоративных BI-систем, разработанный компанией «Прогноз». Первый релиз платформы был представлен в 1992 году. На базе платформы было реализовано более 200 проектов, в том числе для таких заказчиков, как Администрация Президента РФ, Центральный банк РФ, Всемирный фонд дикой природы, Азиатский банк развития, Государственная электроэнергетическая корпорация Китая, Администрация Президента Республики Казахстан и др. С 2012 по 2015 гг. Prognoz Platform входила в квадрант бизнес-аналитики агентства Gartner.

Программный продукт Prognoz Platform и ряд других программных решений линейки Prognoz зарегистрированы Федеральной службой по интеллектуальной собственности, патентам и товарным знакам в Реестре программ для ЭВМ. Об этом сообщила компания компании «Форсайт» 27 апреля 2022 года.

В 2016 году компания «Форсайт» заключила лицензионный договор с компанией «Прогноз», на основании которого получила эксклюзивную расширенную лицензию на Prognoz Platform и ряд других программ линейки Prognoz. Данная лицензия дала компании эксклюзивное право на сублицензирование, модификацию (доработку) и оказание технической поддержки программных продуктов Prognoz.

В 2018 году правообладателем Prognoz Platform и продуктов линейки Prognoz стала компания DSS Lab. Ранее заключенный между «Форсайт» и «Прогноз» лицензионный договор был сохранен, условия его действия были утверждены соглашением между DSS Lab и «Форсайт». Несмотря на смену правообладателя, «Форсайт» продолжил выполнять свои обязательства перед конечными пользователями по сопровождению программных продуктов Prognoz в рамках расширенной лицензии от 2016 года, а также вел активную работу по развитию собственных решений на базе Prognoz Platform – продуктов «Форсайт. Аналитическая платформа», «Форсайт Бюджетирование», «Форсайт. Управление Инвестициями», «Форсайт. Сводная отчетность» и «Форсайт. Кредитный конвейер».

2019

Выпуск «Форсайт. Мобильный BI»

Основная статья: Форсайт. Мобильный BI

Компания «Форсайт» 11 июля 2019 года объявила о выходе мобильного приложения «Форсайт. Мобильный BI». Мобильный сервис входит в состав программного продукта «Форсайт. Аналитическая платформа» и предоставляет владельцам планшетов на платформах iOS и Android возможность работать с аналитическими панелями и регламентными отчётами в онлайн-режиме. Подробнее здесь.

Включение в Единый реестр российских программ

13 мая 2019 года компания «Форсайт» сообщила о включении ряда своих программных продуктов в Единый реестр российских программ для электронных вычислительных машин и баз данных ^[1].

В реестр российского ПО вошли программный комплекс «Форсайт. Аналитическая платформа», инструментарий для разработки мобильных приложений «Форсайт. Мобильная платформа», а также продукты для автоматизации бизнес-процессов «Форсайт. Бюджетирование» и «Форсайт. Управление инвестициями». Также реестр пополнился разработкой «Форсайт. Конструктор бизнес-приложений», которая предназначена для быстрого визуального конструирования бизнес-приложений по типовому набору шагов.

Решение принято согласно Приказу Минкомсвязи России №168 от 24.04.2019 и говорит о том, что разработки «Форсайта» признаны отечественным программным обеспечением и могут быть использованы для закупок государственными и муниципальными учреждениями в качестве современных решений для автоматизации бизнес-процессов.

Создание реестра предусмотрено законом о предоставлении преимуществ для российского ПО при госзакупках, который вступил в силу с 1 января 2016 года. Закон направлен на расширение сфер использования отечественных компьютерных программ и баз данных. Для добавления в реестр программные продукты должны соответствовать требованиям Минкомсвязи России и получить утверждение Экспертного совета по российскому программному обеспечению.

Совместимость с PostgreSQL

23 января 2019 года «Форсайт» сообщил, что совместно с Postgres Professional продолжают развивать технологическое партнерство. Компании обеспечили совместимость своих решений, объединив возможности программного комплекса «Форсайт. Аналитическая платформа» и СУБД Postgres Pro. Интеграция продуктов отечественных вендоров позволяет предложить пользователям комплексное решение, включающее отечественный инструментарий бизнес-аналитики «Форсайт. Аналитическая платформа» и специализированную версию СУБД Postgres Pro Enterprise.

Благодаря наличию на рынке комплексного решения, включающего функционал двух отечественных разработок, предприятия и государственные структуры смогут в рамках реализации политики импортозамещения внедрить в работу продвинутый аналитический инструментарий с одновременной миграцией на надежную, современную СУБД.

Форсайт. Аналитическая платформа Архитектура

2018

Возможности Аналитической платформы «Форсайт»

Платформа создана на базе российского программного комплекса Prognoz Platform 8 и, по данным на декабрь 2018 года, включает инструменты, соответствующие современным тенденциям рынка и пожеланиям заказчиков и партнеров.

Платформа может с успехом использоваться для тех проектов, где необходимо решение с высокой производительностью и возможностью масштабирования.

Инструментарий и возможности:

• Классическая аналитика: аналитические запросы, аналитические панели, формирование отчетов со сложным форматированием
• Предиктивная аналитика: моделирование бизнес-процессов, прогнозирование ситуации с учетом множества факторов
• Анализ временных рядов: исследование данных, изменяющихся во времени
• Интеллектуальная визуализация: автоматизированный подбор типа диаграммы с учетом аналитической задачи
• Self-Service BI: загрузка и анализ бизнес-пользователями необходимой информации
• In-Memory: высокопроизводительные вычисления в оперативной памяти для сокращения времени обработки данных
• Управление бизнес-процессами: визуальное моделирование бизнес-процессов, мониторинг их выполнения
• Интерактивные формы ввода: внесение данных конечными пользователями, контроль вводимых данных и расчёт показателей
• Импорт, экспорт и преобразование данных: извлечение данных из внешних источников, их преобразование и загрузка в приёмники данных

Описание Prognoz Platform

Prognoz Platform – высокопроизводительная платформа для создания промышленных аналитических систем с применением методов машинного обучения, готовая к решению сложных и разноплановых задач цифровой экономики. Инновационность Prognoz Platform на российском рынке бизнес-аналитики заключается в том, что впервые в рамках аналитической платформы объединен целый спектр продвинутых инструментов, каждый из которых является передовым для своего класса разработок и релевантен задачам программы «Цифровая экономика».

Prognoz Platform приобретает особую актуальность в условиях политики импортозамещения, поскольку способна предложить российским организациям инструментарий, не уступающий функционалу продуктов зарубежных вендоров. Разработчик Prognoz Platform – российский вендор компания «Форсайт» (входит в ИТ-холдинг ITG, INLINE Technologies Group). В марте 2018 года Prognoz Platform признана победителем конкурса «Лучшие информационно-аналитические инструменты» Аналитического центра при Правительстве РФ в технологической номинации «Лучшее информационно-аналитическое решение для обработки структурированных данных».

Проверено практикой

На сегодняшний день с использованием платформы реализовано более 1500 проектов в 70 странах мира, в том числе для таких заказчиков, как Администрация Президента РФ, Аппарат Правительства РФ, Банк России, а также для крупнейших российских предприятий, таких как Транснефть, Газпром, «Базовый элемент», Роснефть, «Минеральные удобрения», «Уралхим». На базе Prognoz Platform построены информационные системы федеральных органов власти, различных администраций и органов местного самоуправления.

Универсальный комплекс

Разработчик Prognoz Platform, компания «Форсайт», делает ставку на универсальность продукта: платформа объединяет инструментарий классической и продвинутой аналитики, а также инструменты управления бизнес-процессами (BPM). Представленные на российском рынке платформы бизнес-аналитики не отличаются подобной широтой функционала.

Платформа может использоваться для разработки многофункциональных решений с широкими возможностями, включающими конструирование отчетности, глубокий анализ данных, моделирование и прогнозирование, оптимизацию бизнес-процессов, настройку открытых алгоритмов расчета показателей, инструменты согласования.

«Конструктор бизнес-приложений» – уникальный компонент Prognoz Platform, позволяющий в графическом интерфейсе без программирования сконфигурировать новое приложение и настроить связанные бизнес-процессы. Он содержит типовую последовательность шагов и подходов и предоставляет разработчикам понятный интерфейс поэтапного конструирования программных продуктов. Использование «Конструктора бизнес-приложений» позволяет значительно ускорить разработку современных информационно-аналитических систем для российских предприятий любых отраслей.

Соответствует вызовам современной экономики

Аналитический инструментарий Prognoz Platform развивается в рамках концепции «Аналитика 3.0»: платформа включает в себя передовые подходы и новые технологии, которые обеспечивают генерацию обоснованных управленческих решений в режиме реального времени на основе актуального потока данных. В новой версии платформы доступны инструменты интеграции с машинно-генерируемыми данными, инструменты Data Mining и Machine Learning – таким образом, платформа способна выступить технологическим базисом для построения информационных систем управления любой сложности в современных организациях.

Функционал Prognoz Platform, поэтапно разрабатываемый на протяжении 25 лет, включает инструменты для сбора и хранения данных, составления отчетов, прогнозирования (задачи, актуальные в рамках концепций «Аналитика 1.0» и «Аналитика 2.0»), которые не теряют своей актуальности для российского бизнеса.

Помимо этого, платформа обеспечивает интеграцию с датчиками промышленного Интернета и анализ других машинно-генерируемых данных в реальном времени, предоставляет возможность подключения к источникам Big Data и их обработки с помощью механизма In-Memory, что является особо актуальным в эпоху четвертой технологической революции.

Prognoz Platform соответствует вызовам современности, актуальным в сфере бизнес-аналитики:

• Разнообразие данных и многообразие их источников
• Предиктивная аналитика
• Интеграция с большинством бизнес-процессов
• Принципы Self-service, демократизация инструментария бизнес-аналитики
• Расширенная аналитика для каждого сотрудника
• Безопасность
• Импортозамещение

Prognoz Platform поддерживает разнообразные источники данных

Инструментарий Prognoz Platform позволяет легко подключать различные источники данных для анализа (с разным объемом и структурой) и сразу же приступать к анализу. Например, в рамках системы, разработанной для крупной международной организации на базе Prognoz Platform, осуществляется сбор экономических данных в различных форматах, из разнообразных внешних источников. Система эффективно автоматизирует процесс подготовки информации для обзоров мировой экономики и позволяет сотрудникам организации проводить глубокий анализ информации, не теряя времени на длительную обработку и преобразование разнородных данных.

Продвинутая аналитика

Блок продвинутой аналитики Prognoz Platform обеспечивает возможность визуального конструирования моделей и алгоритмов любой сложности для эконометрических, оптимизационных и прогнозных расчетов, поддерживает решение таких актуальных для прогнозирования задач «Что будет, если…?» и «Что необходимо для…?», а также массу других возможностей, актуальных для современных предприятий.

К примеру, аналитики могут использовать инструмент многовариантного сценарного моделирования, с использованием известных библиотек математических и статистических алгоритмов. В Prognoz Platform доступно более 300 методов построения моделей, при этом в новой версии платформы реализована интеграция с библиотеками R и Python. Это означает, что пользователь платформы может использовать в своих расчетах любую статистическую функцию, реализованную в мире на сегодняшний день.

В Prognoz Platform существует модуль «Прогнозирования временных рядов» и реализовано огромное число алгоритмов, которые позволяют строить прогнозные модели для временных рядов. На сегодняшний день по количеству методов прогнозирования временных рядов платформа является безусловным лидером на рынке, с хорошим запасом, опережая по этому классу алгоритмов даже признанных западных вендоров.

Программный комплекс, разработанный на базе Prognoz Platform, позволил одному из крупнейших российских производителей молочной продукции сократить издержки на закупку и распределение молочного сырья. Компания ставила задачу избежать потерь сырья в процессе закупки и транспортировки между различными производственными площадками. Задача осложнялась тем, что потребность в сырье зависит от множества факторов: количества имеющихся запасов, свободных складских площадей, изменения спроса готовой продукции, сезонности, стоимости сырья, сроков хранения, появления на производстве новых рецептур и т.д. Созданная на базе Prognoz Platform модель учитывает необходимые ограничения и позволяет компании формировать оптимальные планы приобретения сырья, его переработки и распределения. Внедрение окупилось буквально за несколько месяцев: использование программного комплекса сократило издержки на покупку молочного сырья на 1,5% в год.

Поддержка процессов Workflow и согласований

Prognoz Platform 9.0 предоставляет все возможности для того, чтобы информационная система управления функционировала в соответствии с настроенными бизнес-процессами согласования документов и планов, интегрированных с ролевой моделью, настройками безопасности и всеми необходимыми информационными сущностями для работы с ними в рамках выполняемых процессов. Все это позволяет реализовать более эффективную и оперативную систему управления бизнесом и, соответственно, повысить показатели эффективности. К примеру, «Транснефть», крупнейшая в мире трубопроводная компания, использует систему на базе Prognoz Platform для решения задачи технического развития. Возможности платформы позволили запустить четкий механизм формирования, согласования и контроля исполнения планов по своевременному техническому перевооружению, обеспечили сквозную автоматизацию всех бизнес-процессов в рамках модернизации трубопроводов.

В следующей версии Prognoz Platform 9.1 планируется полноценная поддержка нотации BPMN.

Демократизация инструментария бизнес-аналитики и Self-service в Prognoz Platform

Функционал Self-service делает доступным высокоуровневым экспертам в области бизнес-анализа самостоятельное использование BI-инструментария, который традиционно был доступен лишь ИТ-специалистам. В Prognoz Platform принципы Self-service с реализованы, например, в ETL-процессах: пользователи могут готовить данные для анализа и загружать в систему файлы, что экономит время и ресурсы. Инструментарий формирования отчетов также отличается простотой использования и не требует привлечения сотрудников ИТ-подразделений: пользователи могут формировать регламентные отчеты любой степени сложности, создавать аналитические записки.

Кроме того, для удобства аналитиков в Prognoz Platform 9.0 реализована комплексная поддержка алгоритмов расчета на едином рабочем пространстве. Теперь пользователи платформы могут на общем графе целостно разместить и настраивать все входные и выходные источники данных модели, методики ее расчета, а также стрелками указать движения преобразуемой информации между всеми блоками.

Демократизация инструментария бизнес-аналитики – еще один важный тренд сегодняшнего дня. В рамках платформы аналитические инструменты могут применяться в работе максимального числа корпоративных пользователей: формирование отчетов, инструменты прогнозирования и глубинного анализа в Prognoz Platform доступны менеджерам по продажам и закупкам, финансовым специалистам, бизнес-аналитикам другим функциональным пользователям. Например, прикладная система «Корпоративная система управления программами» ПАО «Транснефть» (разработанная на базе Prognoz Platform) обеспечивает единовременную работу нескольких тысяч сотрудников из 53 организаций «Транснефть»: при помощи инструментов Prognoz Platform пользователи системы загружают и обрабатывают данные, строят отчеты, согласовывают планы, анализируют информацию.

Простота

Платформа включает «Конструктор бизнес-приложений», предназначенный для простой, понятной и быстрой разработки систем на базе Prognoz Platform. Он содержит типовую последовательность шагов и подходов и предоставляет разработчикам понятный интерфейс поэтапного конструирования программных продуктов. Ключевая задача «Конструктора бизнес-приложений» – сделать инструментарий платформы доступным организациям различных отраслей для решения задач оптимизации бизнес-процессов и повышения эффективности управленческих решений.

Расширение возможностей импортозамещения

Согласно плану импортозамещения программного обеспечения, утвержденному Министерством связи и массовых коммуникаций России в апреле 2015 года, доля отечественных бизнес-приложений к 2025 году должна составить 75%. Для реализации этого плана на рынке есть эффективный инструмент – Prognoz Platform: с помощью платформы можно за сжатые сроки разрабатывать отечественные информационные системы, имеющие высокий уровень производительности и широкую функциональность.

Новая версия Prognoz Platform совместима с российской СУБД PostgreSQL, может поставляться со специализированной версией СУБД Postgres Pro Enterprise, поддерживает отечественную операционную систему «Альт». Совместимость программных продуктов российских вендоров позволяет говорить о появлении на российском рынке аналитического программного комплекса на базе отечественной СУБД, совместимого с операционной системой российского производства, а также функциональными возможностями, позволяющими решать задачи любой сложности в организациях различных отраслей. Возможности Prognoz Platform позволяют преодолеть сложности интеграции в корпоративную информационную систему.

Доступность демо-версии Prognoz Platform 9.0

Компания «Форсайт» 3 мая 2018 года объявила о доступности демо-версии аналитического комплекса Prognoz Platform 9.0 и рассказала о возможностях системы.

По словам разработчиков, стратегия «Форсайта» направлена на развитие Prognoz Platform как универсальной промышленной платформы с инструментарием классический и продвинутой аналитики, а также для создания бизнес-приложений. Широкие функциональные возможности Prognoz Platform 9.0 призваны помочь компаниям решать аналитические задачи в различных отраслях.

В платформе объединен целый ряд инструментов, в том числе: визуальное конструирование аналитических панелей (DashBoards), конструкторы отчетов с интеллектуальным подбором визуализаторов, инструментарий продвинутой аналитики. Производительность Prognoz Platform 9.0 повышена за счет использования технологии in-memory cash, что позволяет существенно сократить срок подготовки запросов и отчетов, сложных расчетов, ускорить работу алгоритмов продвинутой аналитики, отметили в «Форсайте».

В то же время, Prognoz Platform 9.0 делает шаг к большей открытости к использованию внешних средств разработки — реализована интеграция с языками разработки R, Python. В платформе появились такие компоненты, как: интерактивные формы ввода, управление бизнес-процессами, конструктор бизнес-приложений, веб-интерфейс администрирования платформы.

Prognoz Platform 9.0 теперь может поставляться со специально разработанной версией российской СУБД от компании Postgres Professional.

Генеральный директор «Форсайта» Владимир Комов подчеркнул, что Prognoz Platform 9.0 позволит российскому ИТ-рынку получить стек технологий, базирующихся на отечественных разработках.

Партнёрство с «Инфосистемами Джет»

Компания «Инфосистемы Джет» заключила партнерское соглашение с компанией «Форсайт», разработчиком Prognoz Platform. На базе Prognoz Platform интегратор будет создавать для заказчиков системы поддержки принятия управленческих решений с учетом максимально широкого ряда факторов.

Объединив усилия, партнеры намерены продемонстрировать рынку значительный потенциал и конкурентоспособность российской аналитической платформы. Prognoz Platform позволяет решать полный спектр задач бизнес-аналитики – от сбора данных и формирования отчетности до создания комплексных систем поддержки принятия решений для ситуационных центров. На ее базе могут создаваться решения для крупных структур любого направления деятельности, в том числе государственных, топливно-энергетических, банковских.

Совместимость с ОС Альт 8 СП

Российские ИТ-разработчики «Форсайт» и «Базальт СПО» объявили в феврале 2018 года о совместимости последних версий продуктов — аналитического комплекса Prognoz Platform 9.0 и операционной системы Альт 8 СП. В рамках тестирования была подтверждена корректность совместной работы программных решений. Это означает, что пользователи операционной системы Альт 8 СП могут в полном объеме применять в своей работе аналитический функционал платформы Prognoz Platform 9.0, которая выйдет на рынок в ближайшее время.

Специализированная версия Postgres Pro

Компания «Форсайт», разработчик платформы бизнес-аналитики Prognoz Platform, и компания Postgres Professional, российский вендор системы управления базами данных Postgres Pro, 1 марта 2018 года сообщили о заключении договора о стратегическом партнерстве. Результатом сотрудничества компаний стало появление на российском рынке аналитического комплекса Prognoz Platform со специализированной версией СУБД Postgres Pro Enterprise. Подробнее здесь.

2017

Prognoz Platform: новый старт. Девятую версию легендарной платформы выпустит компания «Форсайт»

Новый релиз аналитического комплекса Prognoz Platform будет выпущен на рынок уже в первой половине 2018 года. Platform 9.0 станет следующим этапом развития российского аналитического комплекса. Платформа Prognoz Platform 9.0 соответствует актуальным трендам мирового рынка бизнес-аналитики и готова к решению широкого спектра аналитических задач.

Новая платформа будет отличаться универсальностью. Prognoz Platform 9.0 – это программный комплекс, объединяющий инструментарий «классической» и «продвинутой» аналитики. Представленные на российском рынке платформы бизнес-анализа нередко включают только BI-инструменты (Business Intelligence), а для BA-инструментов (Business Analytics), предоставляющих возможности для моделирования, прогнозирования, интеллектуального анализа данных, машинного обучения, существуют отдельные продукты. Prognoz Platform 9.0 объединяет перечисленные направления в виде модулей.

Это позволяет ей выступать в качестве базиса общекорпоративной ИТ-платформы для создания прикладных программных комплексов для текущих задач, а также задач, потребность в решении которых может возникнуть в будущем. Согласно докладу IDC FutureScape к 2020 году в условиях цифровой трансформации 60% всех организаций в мире будут вовлечены в создание своей технологической инфраструктуры. Prognoz Platform 9.0, обладающая универсальным инструментарием бизнес-анализа, готова стать платформой для модернизации интеллектуального ядра компании.

Prognoz Platform выступит альтернативой зарубежному ПО в рамках курса на импортозамещение. Широкие функциональные возможности девятой версии платформы позволят пользователям зарубежных BI-систем осуществить переход на российский программный комплекс с заменой западной системы на равноценную российскую, а в некоторых случаях – это станет шагом вперед в технологическом плане. Для государственных заказчиков компания «Форсайт» обеспечит решение на PostgreSQL СУБД, что позволит решить задачу импортозамещения «под ключ».

В новой версии Prognoz Platform 9.0 организациям будут доступны инструменты визуального конструирования аналитических панелей (DashBoards), конструкторы регламентных (Pixel Perfect Reports) и OLAP – отчетов (Visual Data Discovery). В платформе компании «Форсайт» будет представлен расширенный функционал продвинутой аналитики, в том числе прогнозирование временных рядов, новый инструментарий моделирования (для построения Data Mining – моделей), бесшовная интеграция с библиотеками языков R, Python (для реализации модулей с использованием машинного обучения), визуальные мастера наиболее востребованных алгоритмов (для настройки модели без написания кода). В девятой платформе будет расширена библиотека методов решения задач оптимизации и появится поддержка наиболее известных внешних библиотек (например, Gurobi, LpSolve).

Компания «Форсайт» развивает инструментарий Prognoz Platform в сторону появления компонентов интеграции с машинно-генерируемыми данными и расширенных возможностей аккумуляции данных со статических и динамических IoT – устройств. Новые механизмы кэширования и in-memory значительно повысят производительность платформы и позволят справляться высоко-нагруженными задачами организаций. Платформа Prognoz Platform 9.0 будет содержать коннекторы для наиболее популярных высокопроизводительных СУБД (в том числе программно-аппаратных комплексов), а также open-source (Hadoop) решений.

Создание прикладных решений на базе Prognoz Platform 9.0 будет очень оперативным. Универсальный конструктор бизнес-приложений, собственная разработка компании «Форсайт», позволит сократить время и издержки на создание прикладных решений, а также обеспечит легкость в сопровождении и обновлении системы на новые версии Prognoz Platform. Решения на базе Prognoz Platform могут быть развернуты как в облаке, так и на локальных мощностях клиента. Конструктор бизнес-приложений позволит увеличить число OEM-решений на базе Prognoz Platform, а также количество прикладных программных комплексов на базе платформы для решения задач организаций в различных отраслях.

Новые релизы и версии Prognoz Platform будут выходить чаще. В компании «Форсайт» процесс разработки программных продуктов (в том числе платформы Prognoz Platform) выстроен с использованием методики Agile. Это позволяет быстро отвечать на технологические запросы пользователей, своевременно предоставляя обновления платформы, которые дают возможность клиентам в максимально в короткие сроки внедрить необходимую функциональность. Благодаря расширенным возможностям и функционалу, который является трендовым для мирового рынка бизнес-аналитики, Prognoz Platform 9.0 способна развивать отечественный рынок BI, формируя новые потребности пользователей.

Тестирование работы в среде «Альт»

11 сентября 2017 компании «Форсайт» и «Базальт СПО» объявили о проведении тестирования совместимости своих решений. Итоги тестирования подтвердили стабильную работу Prognoz Platform в среде «Альт»: совместимость с продуктами «Альт Рабочая станция», «Альт Сервер» и сертифицированным ФСТЭК дистрибутивом «Альт Линукс СПТ» 7.0. Тестирование продуктов проводилось в рамках технологического партнерства компаний.

В условиях курса на импортозамещение одним из приоритетных направлений развития программных продуктов для органов государственной власти становится обеспечение информационной безопасности. Разработки «Базальт СПО» и «Форсайт» — операционная система «Альт Линукс СПТ» 7.0 и Prognoz Platform соответственно — отвечают данному требованию, а совместимость продуктов позволяет говорить о возможности внедрения в российских органах государственной власти систем бизнес-аналитики на базе отечественной операционной системы, удовлетворяющей всем требованиям информационной безопасности.

Версия Prognoz Platform 8.2

Компания «Прогноз», российский разработчик BI-систем, и компания «Форсайт», входящая в холдинг ITG (INLINE Technologies Group), объявили в январе о выпуске новой версии продукта Prognoz Platform.

В данной версии платформы усовершенствован интерфейс инструментов пользователя, обновлены средства визуализации, подготовки и обработки данных, средства администрирования, безопасности и интеграции, а также внедрены механизмы, ускоряющие выполнение вычислительных операций.

В Prognoz Platform 8.2, в частности, расширены функции анализа данных и выполнения расчетов и оптимизированы методы Data Mining, а также присутствуют новые функции для более тонкой настройки аналитического представления данных и проведения разнообразных аналитических преобразований и вычислений. Вместе с тем в системе применены новые механизмы для ускорения выполнения операций. По сравнению с предыдущей версией расчет задач моделирования ускорен до 3 раз, а построение высокочастотных диаграмм – до 12 раз. Все это позволяет пользователям быстрее и проще получать новую информацию, обнаруживать нетривиальные закономерности в данных и соответствующим образом представлять полученные выводы.

Настройки визуализаторов в Prognoz Platform 8.2 позволяют быстро получить необходимое графическое представление информации и не требуют написания кода или дополнительных расчетов.

Для удобства неподготовленных пользователей в релизе Prognoz Platform 8.2 доработаны и улучшены средства самостоятельной подготовки данных. Таким образом, аналитики получили возможность расширять спектр анализа за счет загрузки собственных данных, например хранящихся в файлах Excel.

В части администрирования Prognoz Platform 8.2 обеспечивает новые возможности мониторинга и аудита безопасности системы – теперь пользователь может видеть число активных параллельных сессий для каждой учетной записи.

Выпуск новой версии Prognoz Platform стал результатом объединения компетенции компании «Прогноз» в области разработки и внедрения BI-решений и экспертизы компании «Форсайт» в сфере бизнес-консалтинга.

2016: «Форсайт» — обладатель расширенной лицензии Prognoz Platform

Компания «Форсайт», входит в многопрофильный ИТ-холдинг ITG (INLINE Technologies Group), является обладателем расширенной лицензии на программное обеспечение «Прогноза», включая платформу Prognoz Platform, с правом его сублицензирования, доработки, сопровождения, поддержки и модификации. Кроме того, «Форсайт» является обладателем права на использование всех зарегистрированных товарных знаков компании «Прогноз», а также права заключения от своего имени договоров о сотрудничестве с существующими и новыми партнерами компании «Прогноз».

2015

Версия Prognoz Platform 8.1

15 декабря 2015 года компания «Прогноз» сообщила о выпуске Prognoz Platform версии 8.1. Разработчики внесли изменения в интерфейс инструментов пользователя, поиска и визуализации.

Функции и интерфейс

Расширены возможности пользователя в части анализа данных и тонкой настройки отчетов, повышения удобства работы с платформой. Созданы инструменты для работы с табличным и графическим отображением информации, расширены возможности для импорта данных. В этой версии пользователь получил возможность самостоятельного формирования аналитического контента и подготовки данных без помощи ИТ-специалистов.

Средства визуализации

Оптимизированы способы визуализации данных: реализовано представление элементов диаграмм в удобной форме, задаваемой с помощью шаблона. При этом вместо стандартных столбиков могут быть изображения домов или стопок монет.

BI-поиск

Модернизирован механизм поиска, добавлен поиск с учетом словоформ, поиск по метаданным (по описанию или комментариям) и фасетный (группировка результатов по категориям).

Безопасность

Повышена безопасность платформы — сервер безопасности системы выделен, как отдельный компонент.

Оптимизация

Согласно заявлению разработчиков, возросла скорость работы с большими справочниками и инструментами пользователей.

Релиз-кандидат Prognoz Platform 8.1

Российский разработчик BI-решений компания «Прогноз» выпустила в сентябре 2015 года релиз-кандидат Prognoz Platform. Обновления затронули важнейшие направления работы бизнес-пользователей: расширены возможности для создания аналитического контента, BI-поиска и визуализации данных. Кроме того, изменения коснулись средств администрирования и безопасности, а также реализован ряд улучшений, способствующих повышению скорости работы.

Функции и интерфейс инструментов пользователя

Версия Prognoz Platform 8.1 предоставляет пользователям большую свободу действий для формирования интерактивного аналитического контента без необходимости написания кода. Аналитик сам может пройти всю цепочку действий от импорта данных к первичному анализу вплоть до создания системы взаимосвязанных отчетов.

Средства визуализации

Возможности визуализации в Prognoz Platform 8.1 обеспечивают максимальную наглядность, что является основой для более глубокого понимания данных. Для большего удобства и эффективности аналитической работы разработчики платформы расширили возможности кастомизации визуальных компонентов и обеспечили развитие инструментов визуализации мобильной версии.

BI-поиск

В версии значительно расширен функционал инструмента поиска данных: появилась возможность поиска с учетом словоформ, а также полнотекстовой (например, по описанию или комментариям) и фасетный поиск (группировка результатов по категориям). В целом, появление множества новых настроек позволяет гибко настраивать систему «под себя», что делает работу с платформой еще более продуктивной.

Безопасность

Особое внимание в версии платформы уделяется актуальному направлению — развитию средств безопасности. В Prognoz Platform 8.1 в качестве отдельного компонента выделен сервер безопасности, который выполняет все функции администрирования и обеспечивает информационную безопасность платформы.

Оптимизация

В версии 8.1 реализован ряд улучшений, способствующих ускорению выполнения операций. Благодаря этому значительно возросла скорость обработки больших массивов данных и работа инструментов пользователей, что в итоге обеспечило еще большее удобство для пользователя.

2014: Prognoz Platform 8

В октябре 2014 года 17 октября «Прогноз» впервые представила новую версию своего основного продукта — Prognoz Platform 8.0. В числе основных изменений в компании называют применение в платформе подходов self-service и развитие средств визуализации данных, новые методы и компоненты для продвинутых пользователей, расширенные возможности интеграции.

Кроме того, по словам разработчиков, существенно выросла производительность платформы: от ускорения работы инструментов до оптимизации потребления памяти. Последнее в компании называют ответом на потребности пользователей по работе с «большими данными».

Возможности

Реализация подходов self-service

В Prognoz Platform 8.0 компания сделала ставку на развитие в едином продукте механизмов легкого импорта данных, удобного поиска и средств аналитической обработки информации, считая эти инструменты одними из важнейших для успешности современных BI-платформ.

Импорт данных ориентирован не только на опытных разработчиков: система автоматически определит параметры загружаемых данных. При этом Prognoz Platform поддерживает загрузку кросс-таблиц, многоуровневых «шапок» файлов, пользователи смогут применить дополнительные настройки по атрибутам измерений и типам данных. Благодаря этому функционалу можно приступить к анализу имеющихся данных без предварительного создания модели, которую Prognoz Platform 8.0 генерирует автоматически.

Prognoz Platform 8.0 позволяет создавать интерактивные презентации и вести совместное обсуждение отчетов, а также обмен ими, например, по электронной почте, в т.ч. на мобильные устройства. В новой версии платформы стало удобнее работать и с инструментами текстового поиска (по содержимому источников данных, их названиям и измерениям).

Развитие средств визуализации данных

В Prognoz Platform 8.0 реализованы кроссплатформенные визуализаторы, доступные на Windows, iOS и Linux. В целом расширился перечень интерактивных визуализаторов и инструментов геопространственной аналитики: от микрографиков на карте до одновременного отображения показателей различных территориальных уровней, использования ступенчатых, кольцевых и иных видов диаграмм. Особое внимание разработчики платформы уделили новым средствам визуализации в мобильной версии платформы. Кроме того, пользователи могут сами зарегистрировать прикладные компоненты для визуализации данных.

Развитие средств разработки

В Prognoz Platform 8.0 стало доступно больше методов и компонентов для разработки, расширены возможности кастомизации. Так, стало возможным применять для построения и расчета моделей не только имеющиеся в рамках платформы методы, но и использовать более широкий спектр статистических и численных методов, поддерживаемых средой программирования R.

Развитие модуля моделирования и прогнозирования

В новой версии платформы расширены возможности моделирования и прогнозирования в рамках веб-приложения: пользователи, не имеющие специальной подготовки, при помощи удобного графического интерфейса смогут с легкостью решать задачи оптимального и целевого управления, используя различные модели.

Новый функционал веб-приложения Prognoz Platform позволит не только прогнозировать на основе имеющихся данных («Что будет, если …?»), но и определять меры, которые необходимо предпринять, чтобы достичь целевых показателей. Ранее такая возможность была доступна только пользователям desktop-версии Prognoz Plarform.

В модуле реализованы и новые методы решения систем линейных уравнений, позволяющие повысить точность и правильность расчетов.

Развитие средств интеграции

Разработка Prognoz Platform ведется с расчетом на интеграцию с различными операционными системами и базами данных, в том числе opensource-решениями. Серверная часть платформы функционирует на Linux, платформа поддерживает работу с PostgreSQL.

Одним из ключевых нововведений стало расширение набора средств для работы с «большими данными». Prognoz Platform интегрирована с программно-аппаратными комплексами ( Oracle Exadata, IBM Netezza, EMC Greenplum). Также платформа поддерживает Hadoop Hive – инфраструктуру распределенного хранения и обработки «больших данных». При этом для формирования запросов к данным на уровне платформы реализована поддержка языка HiveQL.​

Платформа также поддерживает работу в «облаке».

Оптимизация работы

Prognoz Platform обеспечивает одновременный анализ из разнородных источников данных, что позволяет создавать решения для различных аналитических задач. «Прогноз» разрабатывает и собственные механизмы для работы с «большими данными», в частности — встроенный механизм Prognoz Platform для выполнения быстрых запросов к данным и их обработки в оперативной памяти (in-memory) без использования SQL или MDX. Особое внимание уделяется качеству данных и временны́м характеристикам. Так, по заявлениям разработчиков, скорость работы восьмой версии по целому ряду инструментов и компонентов выросла в 2 раза.

Доступность и цены

По планам «Прогноз», российская Prognoz Platform 8.0 должна выйти в промышленную эксплуатацию в 4 квартале 2014 года. В компании рассказали TAdviser, что по состоянию на октябрь цены на новую версию платформы еще обсуждаются. По словам представителя «Прогноз», рассматривается вариант их увеличения до 70%. В компании отмечают, что при этом изначально стоимость ее продуктов существенно ниже продуктов крупных зарубежных вендоров.

2012: Prognoz Platform 7

Универсальность

Платформа является универсальным инструментарием – как по кругу функциональных задач, так и по спектру отраслей, в которых используются решения на ее основе. Сегодня системы бизнес-аналитики на базе Prognoz Platform востребованы в корпоративном, финансовом и государственном секторах. Из наиболее актуальных задач, которые решаются с ее помощью, можно назвать формирование отчетности, планирование и бюджетирование, управление рисками.

В состав Prognoz Platform входят как традиционные BI-инструменты для сбора и анализа данных, построения отчетов и статистического анализа, так и продвинутые инструменты моделирования и прогнозирования. Средства платформы обеспечивают сбор, верификацию и консолидацию больших объемов данных из разнородных источников, позволяют проводить комплексный мониторинг и анализ ключевых показателей, настраивать модели и выполнять прогнозные расчеты.

Единство метаданных, модульная архитектура и современные средства интеграции делают Prognoz Platform гибким и адаптивным продуктом, который можно быстро и безболезненно встраивать в существующую ИТ-инфраструктуру в самых разных конфигурациях, впоследствии наращивая функционал по мере необходимости. При этом лицензионная политика компании «Прогноз» позволяет клиенту выбирать только те функциональные блоки, которые требуются ему на конкретном этапе реализации BI-проекта, тем самым значительно сокращая стоимость и сроки внедрения.

Простота и доступность

Основные инструменты Prognoz Platform, включая модули продвинутой аналитики, интуитивно понятны, просты в освоении и удобны в использовании. В продукте реализован принцип Self-Service BI («бизнес-аналитика для самообслуживания»), позволяющий конечным пользователям самостоятельно настраивать приложения без привлечения ИТ-специалистов. Платформа обеспечивает загрузку данных как из централизованного хранилища, так и из локальных пользовательских файлов.

Блоки технологического уровня

Помимо пользовательских инструментов, Prognoz Platform предлагает богатые функциональные возможности для разработчиков, в том числе блоки технологического уровня. Это средства разработки и интеграционные компоненты: конструктор хранилища данных, модуль ведения НСИ, ETL, среда разработки приложений (SDK), компоненты деловой графики, средства интеграции с социальными сетями. С их помощью можно гибко настраивать репозитории метаданных, загружать данные из внешних источников, работать с нормативно-справочной информацией.

Базовый уровень инфраструктуры Prognoz Platform включает модуль администрирования и информационной безопасности, сервер приложений и web-сервисы.

Платформа нового поколения

В Prognoz Platform реализованы самые последние достижения сферы бизнес-аналитики, включая технологии In-Memory (обработка данных в оперативной памяти устройства), Data Mining (интеллектуальный анализу данных), Search-Based BI (построение запросов в текстовом виде), а также Collaborative Decision Making (интегрированные инструменты совместного принятия решений).

Средства OLAP в Prognoz Platform

Платформа включает расширенный инструментарий моделирования и построения сценарных («Что будет, если…?» и целевых («Что необходимо для…?») прогнозов. В ее составе присутствуют конструктор аналитических панелей, конструктор карт ключевых показателей (scorecards), средства оперативного анализа (OLAP) и анализа временных рядов. Для визуализации данных применяются интерактивные 3D-карты, пузырьковые диаграммы и другие современные инструменты.
Стоит отметить, что Prognoz Platform «бесшовно» интегрируется с приложениями Microsoft Office: можно не только экспортировать результаты аналитической работы в Excel, но и напрямую работать из Excel с хранилищем данных, используя аналитические возможности платформы.

Поддерживается интеграция с геоинформационными сервисами (Google Maps, Яндекс.Карты и т.д.), портальными решениями ( MS SharePoint, SAP NetWeaver, IBM WebSphere). Реализованы возможности использования инструментария платформы по принципу SaaS и в «облаке». Мобильные приложения на базе Prognoz Platform поддерживают динамическое отображение данных в самых разных разрезах и видах, а также работу с ними как в онлайн-, так и в офлайн-режиме. Через нативный клиент для iOS доступны инструменты OLAP, аналитические панели и средства анализа временных рядов.
Одна из уникальных технологий, реализованных в платформе – это моделирование и прогнозирование через веб-интерфейс, в режиме облачных вычислений.

1992-2005

Первая версия платформы — аналитический комплекс «Прогноз» — была представлена в 1992 году. В 2002 году было выпущено существенное обновление платформы — аналитический комплекс «Прогноз-3», а в 2005 году появился аналитический комплекс «Прогноз-5». В 2012 году состоялся выпуск Prognoz Platform 7.

Примечания

• 

  Аналитические панели (Dashboard)

  Интуитивно-понятный инструмент для бизнес-пользователей, ориентированный на быстрое создание аналитических панелей без привлечения ИТ-подразделений.
  Ключевые возможности:

  • Наличие взаимозаменяемых визуализаторов: таблиц, диаграмм, карт, индикаторов
  • Работа по принципу WYSIWYG (What You See Is What You Get) – пользователь Сразу видит, как будет выглядеть панель
  • Использование объектов из других инструментов без дополнительной настройки
  • Анализ нескольких источников в рамках одного визуализатора
  • Широкие аналитические возможности и добавление результатов анализа на панель за счет встроенного блока продвинутой аналитики
  • Параллельная работа нескольких пользователей за счет функциональной возможности совместной разработки панелей

• 

  Аналитические запросы (OLAP)

  Инструмент бизнес-пользователя для многомерного анализа данных «на лету» с отображением данных средствами деловой графики.
  Ключевые возможности:

  • Формирование нерегламентированных запросов к данным и проведение экспресс-анализа с помощью средств деловой графики и с применением различных аналитических функций
  • Функциональные возможности фильтрации, сортировки, настройки вычислений, анализа 80/20, построения трендов, условного форматирования и др.
  • Одновременный анализ нескольких источников в одном визуализаторе
  • Представление данных в виде интерактивных визуализаторов: таблиц, диаграмм, карт
  • Предоставление пользователю прав на редактирование данных
  • Интеграция с Microsoft Office

• 

  Отчеты (Reporting)

  Инструмент для ИТ-специалистов и продвинутых пользователей для создания отчетов со сложным форматированием, формируемых на регулярной основе.
  Ключевые возможности:

  • Формирование регламентных отчетов любой степени сложности
  • Создание аналитических записок
  • Адаптация внешнего вида инструмента под потребности пользователя, его схожесть с интерфейсом электронных таблиц
  • Расширенные настройки печати отчета
  • Настройки сортировки, фильтрации, условного форматирования
  • Возможность редактирования данных и сохранения изменений в источник
  • Интеграция Microsoft Office

• 

  Анализ временных рядов

  Инструмент статистической обработки данных и анализа временных рядов, а также формирования продвинутой аналитики и подготовки данных для моделирования.
  Ключевые возможности:

  • Трансформация рядов данных с использованием арифметических, математических методов, методов преобразования, агрегации, сглаживания, прогнозирования, регрессии, а также методов R
  • Проверка корректности данных с помощью заданных правил, отслеживания и автоматического заполнения пропусков
  • Представление данных в виде таблиц и интерактивных диаграмм
  • Одновременная работа с несколькими рабочими книгами
  • Группировка, сортировка и фильтрация временных рядов, условное форматирование, расчет статистических характеристик
  • Предоставление пользователю прав не только на проведение анализа, но и на редактирование данных
  • Интеграция с Microsoft Office

• 

  Конструктор моделей и расчетов

  Инструменты для исследования данных, построения моделей, алгоритмов и расчетов.
  Ключевые возможности:

  • конструирование моделей в едином рабочем пространстве
  • конструирование моделей на виртуальных источниках (DataSet) без привязки к определенным источникам данных
  • определение параметров расчётных блоков, последовательности выполнения расчетов
  • установка связей между расчётными блоками и определение правил взаимодействия между ними
  • использование обширной библиотеки математических и статистических алгоритмов
  • интеграция с R и Python

• 

  Импорт, экспорт и преобразование данных

  Инструмент для импорта и экспорта данных с возможностью настройки взаимосвязи между источниками и приемниками, а также промежуточных преобразований данных.
  Ключевые возможности:

  • визуальное построение схемы трансформации данных на едином рабочем пространстве
  • слияние, разделение, удаление дубликатов, группировка, фильтрация, сортировка данных перед их загрузкой
  • настройка очередности выполнения операций
  • протоколирование загрузки данных
  • добавление и создание пользовательских шаблонов
  • загрузки и преобразования данных
  • поддержка подключения к внешним источникам данных:
  • -баз данных: Visual FoxPro, DBase, OLE DB
  • -файлов: XLS, XLSX, XML, HTML, TXT, CSV, JSON

• 

  Управление бизнес-процессами

  Инструмент для визуального моделирования бизнес-процессов, их выполнения и мониторинга.

  • Ключевые возможности:
  • Создание процесса и настройка его этапов и шагов
  • Настройка параметров процесса
  • Назначение куратора процесса
  • Создание объектов полномочий
  • Симуляция выполнения шагов процесса
  • Выполнение процесса
  • Мониторинг выполнения процесса

• 

  Интерактивные формы ввода / вывода данных

  Инструмент для создания форм для ручного ввода данных конечным пользователем, контроля вводимых данных и согласования.
  Ключевые возможности:

  • Построение форм: табличных, реестровых, комбинированных и виде карточек
  • Настройка структуры и оформление форм
  • Использование форм расчета и контроль данных
  • Ввод и согласование данных
  • Экспорт форм в форматы: XLS, XLSX, PDF

• От общего к частному

  Детализируйте любой показатель деятельности и получите полное видение ситуации в компании

• Новые данные — новые знания

  Самостоятельно загружайте необходимую информацию, чтобы оценить процесс или явление в новом ключе

• Быстро и удобно

  Быстро создавайте информационную панель и выводите нужную информацию в виде диаграмм, графиков, карт с максимальной наглядностью

• В любом месте и в любое время

  Просматривайте и анализируйте данные в любом браузере на любом устройстве

• Все под контролем

  Любая ваша информация, вплоть
  до государственной тайны, надежно защищена