В последнее время в IT-индустрии постоянно находится на слуху аббревиатура BI. Возможно, потому, что под ней скрываются два различных понятия: Business Intelligence и Business Integration. Это совпадение часто приводит к путанице, скрывающей истинный смысл обоих понятий. В данной статье рассматривается концепция Business Intelligence и ее реализация с помощью JEE-продуктов с открытым исходным кодом. В первой статье серии мы предложим читателю небольшой обзор представленных на рынке решений, а также расскажем об установке и начале использования открытой версии системы Pentaho BI-Suite. В следующих материалах цикла знакомство с этой замечательной системой будет продолжено.
Введение в Business Intelligence
Буквальный перевод с английского термина Business Intelligence дает множество толкований, из которых самым близким по смыслу можно считать "способность к пониманию бизнес-информации". Однако в русском языке давно закрепился вариант перевода "бизнес-аналитика", поэтому в статье будет использоваться именно он.
Главная задача бизнес-аналитики - оперативное предоставление информации, необходимой для принятия управленческих решений. Однако, кроме собственно построения отчетов, в эту же задачу входит извлечение, хранение, преобразование, моделирование и анализ той самой бизнес-информации. Поэтому BI понимается как "методы, технологии и средства извлечения и представления данных".
Современные бизнес-процессы позволяют собирать огромное количество информации, которая может использоваться для принятия успешных решений о будущих действиях. Однако сами по себе накопленные данные бесполезны, и задача BI-технологий - выполнить фильтрацию и преобразование данных, чтобы пользователь мог получить отчет, который можно использовать при планировании дальнейшего развития бизнеса и принятии важных решений.
Существует огромное количество теорий выполнения бизнес-анализа и их реализации в виде ПО: от простых электронных таблиц до сложных продуктов, интегрирующихся в бизнес-процессы компании. В основном же BI-продукты делятся на два типа: собственно генераторы запросов и отчетов и развитые аналитические OLAP-инструменты, однако в последнее время эта граница усиленно размывается благодаря развитию продуктов первого типа. По типу реализации BI-решения можно также разделить на следующие группы: продукты типа "все-в-одном" - так называемые BI-платформы, BI-расширения для существующих СУБД и BI-каркасы, способные интегрироваться с обычными СУБД и предоставлять соответствующую функциональность.
Существующие BI-решения
К лидерам рынка BI-платформ можно отнести решения от компаний Business Objects и SAP, а на рынке расширений для СУБД представлено большинство поставщиков корпоративных СУБД, например, Microsoft и Oracle. Однако для небольших или недавно открывшихся компаний подобные продукты окажутся слишком дорогими, а, кроме того, большая часть их возможностей просто останется невостребованной из-за малого количества накопленной информации. Поэтому подобным компаниям стоит обратиться к BI-каркасам, где тоже представлены решения, способные решать различные BI-задачи.
На этом сегменте рынка присутствуют решения с открытым исходным кодом и, что особенно удобно для клиента, начальные версии продуктов предоставляются на безвозмездной основе в рамках существующих открытых лицензий. Однако возможностей этих версий вполне достаточно для решения базовых BI-задач. Одними из наиболее известных BI-решений с открытым исходным кодом являются продукты Pentaho BI Suite от Pentaho Corporation и Jaspersoft BI Suite от компании Jaspersoft.
Jaspersoft Open Source Business Intelligence Suite
Своей известностью компания Jaspersoft во многом обязана Java-библиотеке JasperReports - одной из первых библиотек для создания и представления сложных отчетов. Эта библиотека считается одним из лучших продуктов для построения отчетов на платформе Java, обладая богатыми функциональными возможностями для построения отчетов и графиков в различных форматах. Её можно использовать как отдельный компонент, интегрировав в существующее приложение, или как самостоятельный продукт для создания, управления и представления отчетов, сохраняя возможность для интеграции с существующими приложениями. JasperReports доступна как в виде бесплатного пакета, так и в виде коммерческого продукта JasperReports Professional Edition, предоставляющего дополнительные функциональные возможности и поддержку со стороны Jaspersoft.
Продукт Jaspersoft Open Source Business Intelligence Suite основывается именно на библиотеке JasperReports, добавляя к возможностям по построению отчетов функциональность следующих продуктов:
- JasperServer - контейнер для хранения, управления и запуска отчетов;
- JasperAnalysis - сервер для выполнения OLAP-анализа данных;
- JasperETL - высокопроизводительное решение для интеграции данных;
- iReport - GUI-редактор для создания отчетов.
Jaspersoft BI Suite также доступен в двух версиях: платном варианте Professional Edition c последующей технической поддержкой и бесплатном варианте Community Edition с некоторыми ограничениями по функциональности.
Pentaho BI Suite
Компания Pentaho также является известным игроком на рынке BI-решений с открытым исходным кодом, при этом она изначально работала только на рынке BI и поэтому, возможно, не очень известна в среде разработчиков, как компания Jaspersoft, которая завоевала популярность благодаря генератору отчетов JasperReports. Однако продукт Pentaho BI Suite не уступает существующим BI-решениям и является хорошим вариантом для знакомства с миром BI. Так же как и другие BI-решения, продукт Pentaho состоит из отдельных модулей-компонентов, которые вместе формируют Pentaho BI Platform:
- Pentaho Reporting - модуль создания и представления отчетов;
- Pentaho Analysis - модуль для выполнения OLAP-анализа;
- Pentaho Dashboard - модуль для управления и прогнозирования;
- Pentaho Data Integration - модуль для интеграции данных из разных источников;
- Pentaho Data Mining - модуль для поиска скрытых зависимостей в данных.
Как и в случае с предыдущим продуктом, Pentaho BI Suite представлен в двух версиях: бесплатном Community Edition и коммерческом Enterprise Edition. Эти версии отличаются уровнем поддержки и наличием продвинутой, хотя и не очень востребованной небольшими компаниями функциональности: кластеризацией, мониторингом производительности и т.д. Оставшаяся часть этой статьи будет посвящена знакомству с бесплатной версией Pentaho BI Suite.
Стоит отметить, что кроме BI-продуктов компания Pentaho также предлагает продукты для интеграции данных. Этот DI-продукт (data integration) позволяет переносить данные из одной СУБД в другую, облегчая задачу сопровождения, если компания использует несколько СУБД в разных филиалах или выполняет переход с одной версии СУБД на другую. Кроме того, в ходе переноса данные могут быть преобразованы, если это необходимо, а сами интеграционные сеансы могут выполняться без вмешательства пользователя и по установленному расписанию, когда число активных пользователей СУБД не велико.
Установка Pentaho BI Suite Community Edition
Продукт Pentaho BI Suite разработан на языке программирования Java, поэтому обладает всеми преимуществами и недостатками, свойственными Java-приложениям. К преимуществам относится мультиплатформенность, благодаря которой Pentaho BI Suite может работать на разных ОС, при этом однозначно поддерживаются: Windows XP SP2, современные дистрибутивы Linux, Solaris 10 и MacOS X 10.4. Также для работы с этим BI-продуктом потребуется установленная версия JDK (комплекта разработчика Java) версии не менее 1.5 (5.0), так как в проекте используются возможности, появившиеся в Java только с этой версии. При установке Pentaho на Linux-систему может возникнуть проблема, связанная с компилятором GCJ (GNU compiler for Java), который используется по умолчанию на многих системах. Поэтому лучше отключить этот компилятор каким-либо способом и перейти на стандартный компилятор javac, входящий в JDK.
Бесплатная версия Pentaho находится на Web-сайте портала SourceForge - известного репозитария проектов с открытым кодом; там же, кстати, находятся и дистрибутивы BI-решений от Jaspersoft. Страница с компонентами BI-решения от Pentaho находится по этому адресу. Обязательно нужно загрузить последнюю стабильную версию Business Intelligence Server, так как это ядро продукта. В BIS-сервер также входят встроенные версии сервлет-контейнера Tomcat и локальной СУБД Hypersonic, так что им можно пользоваться сразу после установки. Дополнительно можно загрузить и клиентские приложения для работы с сервером:
- Report Designer
- Data Integration
- Design Studio
- Pentaho Metadata
Загруженные файлы необходимо развернуть в папке, выбранной для установки ПО.
Запуск Pentaho BI-сервер
Для начала работы с Pentaho BIS необходимо запустить его основные компоненты: сам BI-сервер и его административную консоль. Для этого необходимо выполнить следующие сценарии.
Для Linux:
Примечание. Возможно, придется внести изменения в сценарий запуска административной консоли, явно указав месторасположение интерпретатора java.
Для остановки сервера можно использовать соответствующие сценарии с префиксом stop, находящиеся в этих же каталогах. После того как оба сценария запущены, можно войти в административную консоль с помощью любимого Web-браузера; ее URL-адрес по умолчанию: http://localhost:8099/admin. По умолчанию для администрирования создана учетная запись admin/password (имя пользователя/пароль). В административной консоли необходимо убедиться, что сервер успешно запустился: иконка Server Status (статус сервера) справа от логотипа в верхнем ряду.
Начало работы с Pentaho BI-сервер
После запуска и проверки статуса сервера можно начинать использовать его на уровне обычного пользователя для решения BI-задач. Для этого нужно открыть в Web-браузере консоль пользователя по URL-адресу: http://localhost:8080/. Для входа в выпадающем списке пользователей необходимо нажать кнопку Login, выбрать пользователя Joe из списка и нажать кнопку Login. На рисунке 1 приведен пример GUI-интерфейса Pentaho. Возможности, предоставляемые этим интерфейсом, будут различаться в зависимости от уровня доступа пользователя (пользователь Joe является администратором и имеет доступ ко всей функциональности).
Рисунок 1. GUI-интерфейс Pentaho
Воспользуемся основной возможностью, предоставляемой всеми BI-решениями, - созданием отчета по уже имеющимся в системе данным (Pentaho BI-сервер поставляется с предустановленным набором данных, которые можно использовать для ознакомления с продуктом). Для этого необходимо нажать кнопку New Report (новый отчет) в главном окне Pentaho, после чего запустится мастер создания отчетов. Первая форма для создания отчета показана на рисунке 2.
Рисунок 2. Мастер создания отчетов: выбор данных и шаблона отчета
На Select Business Model (выбрать бизнес-модель) в списке Business Models (бизнес-модели) необходимо выбрать набор данных, для которого будет строиться отчет, и указать стиль шаблона для форматирования этого отчета. В данном случае был выбран набор данных Orders (заказы) и фирменный стиль шаблона Pentaho. После этого необходимо нажать кнопку Next, чтобы перейти к следующей форме мастера (рисунок 3).
Рисунок 3. Мастер создания отчетов: выбор столбцов для отчета и группировки
В форме Make Selections (выбрать данные) необходимо указать, какие столбцы из таблиц, входящих в набор данных, будут отображаться в отчете. При этом необходимо указать столбцы для группировки и собственно столбцы, содержащие данные. В данном случае используются два уровня группировки - сначала данные группируются по столбцу Territory (территория), а затем по столбцу City (город). Чтобы указать эти столбцы для группировки, необходимо просто перенести их мышью в соответствующие позиции в области Groups (группы) - Territory становится группировкой первого уровня (Level 1), а City - второго (Level 2).
Далее нужно выбрать столбцы, содержащие данные, и точно так же перенести их в группу Details (подробная информация); для этого были выбраны столбцы Amount (сумма платежа) и Payment Date (дата платежа). Если какие-либо столбцы были добавлены по ошибке или в неправильном порядке, то их можно удалить/поменять местами с помощью соответствующих кнопок (вверх/вниз/удалить) в правом верхнем углу каждой области. Выполнив эти действия, необходимо нажать кнопку Next и перейти к следующей форме Customise selections (кастомизация выбранных данных), рисунок 4.
Рисунок 4. Мастер создания отчетов: настройка представления данных
На этом этапе создания отчета можно указать различные параметры отображения данных (выравнивание, стиль форматирования, тип сортировки). Изменим параметры отображения столбца Payment Date; для этого необходимо выделить столбец Payment Date, щелкнув по нему левой кнопкой мыши. В области Date Format (формат даты) необходимо выбрать стиль 21/02/2007, в области Alignment (выравнивание) необходимо выбрать опцию Left (по левому краю), а в области Sort Details Columns (сортировка столбцов с данными) нажать кнопку Add (добавить), чтобы отсортировать данные по возрастанию значений в столбце Payment Date. После этого можно нажать Next и перейти к завершающему этапу создания отчета - форме Report Settings (настройки отчета), рисунок 5.
Рисунок 5. Мастер создания отчетов: установка параметров отчета
В этой форме необходимо указать глобальные параметры отчета: размер (Paper) и ориентацию страниц отчета (Orientation), его описание (Report Description), заголовок (Header) и заключение (Footer).
Примечание. Параметры Page в областях Header и Footer будут применяться к отчету только в том случае, если он выводится в формате, где происходит разбиение на страницы (к таким форматам относится только PDF). Указав требуемые значения, можно выбрать желаемый формат отчета в выпадающем списке Preview As (предварительный просмотр в формате) и нажать кнопку Go (начать), чтобы увидеть пример выполнения отчета. На рисунке 6 показан пример созданного отчета в формате HTML.
Рисунок 6. Пример отчета, созданного Pentaho BI-suite
После того как отчет был создан, его стоит сохранить для дальнейшего использования; для этого необходимо выбрать вкладку с отчетом, чтобы снова переключиться на него. Эта вкладка называется Untitled (у отчета пока нет имени) и находится под панелью инструментов GUI-интерфейса. Затем нужно нажать кнопку Save As (сохранить как - пиктограмма с изображением дискеты с карандашом), выбрать папку для сохранения (они указываются относительно сервера, а не локальной файловой системы), ввести название файла отчета и нажать кнопку Save. Пример сохранения отчета показан на рисунке 7.
Рисунок 7. Сохранение отчета для последующего использования
Теперь этот отчет можно найти через панель Browse (просмотр) в левой части GUI-интерфейса, если открыть папку (Steel Wheels/Reports), в которой он хранится. Для запуска этого отчета необходимо открыть его контекстное меню, щелкнув по нему правой кнопкой мыши, и выбрать опцию Open (открыть). Для редактирования необходимо выбрать в этом меню опцию Edit (редактировать), тогда отчет откроется в режиме редактора (рисунок 8).
Рисунок 8. Контекстное меню отчета
Опция Schedule в контекстном меню позволяет выполнять отчет по расписанию в указанные периоды времени, а опция Properties (свойства) позволяет устанавливать глобальные параметры отчета, например такие, как права доступа. Это позволяет рядовым пользователям использовать отчеты, которые были созданы для них другими, более опытными пользователями.
Для завершения работы с Pentaho BI-suite необходимо выбрать опцию Logout (выйти из системы) в меню File.
Выполнение анализа в Pentaho BI-Suite
Основной целью BI-продуктов является не создание статических по своей природе отчетов, а выполнение интерактивного анализа различной степени сложности. Попробуем провести анализ данных с помощью Pentaho BI Suite; для этого необходимо нажать кнопку New Analysis View (новое аналитическое представление) на главном экране GUI-интерфейса. После этого будет показано диалоговое окно, в котором в выпадающем списке Schema (схема данных) надо будет выбрать значение SampleData, a в выпадающем списке Cube (тип анализа) выбрать значение QuadrantAnalysis и нажать кнопку OK. После этого будет показано окно, изображенное на рисунке 9.
Рисунок 9. Окно для выполнения интерактивного анализа
В этом окне при помощи символов "+" у соответствующих элементов можно сворачивать и разворачивать наборы данных, чтобы выводить только нужную информацию. По умолчанию выводится вся информация из набора данных без какой-либо фильтрации или изменения порядка представления. Попробуем изменить порядок представления, выведя информацию о региональных отделах, которые превысили свой бюджет. Для этого необходимо перейти к мастеру OLAP-навигатор (рисунок 10), нажав на кнопку с изображением синего кубика (на крайней левой позиции панели инструментов вкладки Analysis View).
Рисунок 10. Мастер OLAP-навигатор
В окне этого мастера необходимо:
- перенести Region из области Rows в область Columns (для этого используется пиктограмма синего кубика слева от слова Region).
- перенести Measures из области Columns в область Filter (для этого используется пиктограмма воронки слева от слова Measures).
- сделать так, чтобы показывалось отклонение от намеченного бюджета (для этого необходимо щелкнуть левой кнопкой мыши по слову Measures, в появившемся диалоговом окне выбрать опцию Variance (отклонение) и нажать кнопку OK).
После этого выпадающее окно мастера навигатора примет такой вид, как на рисунке 11 и, если нажать в нем кнопку ОК, то структура отчета будет изменена, как показано на рисунке 11.
Рисунок 11. Подготовка отчета для поиска региональных отделов с превышением бюджета
Из этого отчета можно сделать вывод, что бюджет отдела Executive management в регионах Eastern и Western был превышен на 24072 и 64072 соответственно. Этот интерактивный аналитический отчет можно сохранить для последующего использования точно так же, как и простой отчет, как было показано ранее.
Заключение
В этой статье были рассмотрены теоретические вопросы использования и вариантов реализации систем, предоставляющих возможности Business Intelligence. Несмотря на большое количество разработок подобного рода, большинство из них являются крупными коммерческими продуктами, которые не подходят небольшим компаниям из-за высокой стоимости или избыточного функционала. В то же время существует хороший вариант для знакомства с BI-продуктами - решения с открытым исходным кодом. Начав пользоваться бесплатными версиями подобных программ, компания сможет оценить их возможности и свои потребности и, вполне вероятно, перейдет к их использованию уже на коммерческой основе.
Две самые известные системы подобного рода - это решения от компаний Jaspersoft и Pentaho, каждая из которых предоставляет базовые BI-возможности с возможностью последующего подключения дополнительной функциональности. Во многом своей популярности эти решения обязаны платформе Java Enterprise Edition, на которой они построены, и которая отвечает за их функционирование, а также за интеграцию с существующими приложениями. Благодаря использованию Java и открытости продуктов обеспечивается поддержка большого сообщества программистов, оказывающих значительное влияние на развитие проекта и его стабильность.
В следующих материалах цикла будут описаны другие возможности Pentaho BI-Suite, например подключение собственных источников данных и различные способы управления этой BI-платформой.