Гибридная бизнес-аналитика с Power BI. Power Bl от Microsoft: сервис бизнес-аналитики для компаний

Потребность в аналитике больших объемов данных, с целью аудита, выявления проблем и генерации новых знаний, высока в любой связанной с ИТ области.

Направление информационной безопасности не исключение. Для сбора и корреляции разнокачественных источников данных принято использовать системы класса SIEM (Security information and event management). При этом для оперативного решения задач, встающих перед службой информационной безопасности, хорошо подходят и системы бизнес аналитики (Business Intelligence).

Power Pivot / Power View

Надстройки позволяют обрабатывать и визуализировать большие объемы данных из нескольких источников. В общих чертах работа с надстройками сводится к следующим этапам:

Исходя из задачи определить источники информации
Загрузить данные в Power Pivot
Провести дополнительную обработку данных и связать таблицы между собой (создать модель данных)
Вывести на PowerView интересующие графики и отчеты

Пример: Аудит web сервиса

В компании есть web сервис, с помощью которого внешние пользователи регистрируются на прием и подают заявления. Количество ресурсов (время приема) ограниченно, кто не успел - ждет следующей недели, значит - возможны злоупотребления. Межсетевые экраны фиксируют атаки на сервис, больше всего в момент открытия регистрации на прием.

Требуется провести аудит, чтобы понять нагрузку на сервис, кто из пользователей и организаций наиболее активен, как пользователи связаны с атаками, есть ли аномалии в работе сервиса.

Исходные данные: логи web сервера, БД web приложения, БД web aplication firewall

Объединяя исходные данные на одном листе PowerView получаем удобный инструмент аналитики. Ответы на перечисленные вопросы становятся буквально "видны". Кроме того, становятся доступны новые знания, например были выявлены взаимосвязи пользователей между собой (по почте, IP адресам) что позволило лучше понять происходящие процессы и пресечь злоупотребления.

Power BI

С 2016 у Microsoft появился отдельный продукт, позиционирующийся как сервис бизнес аналитики. Power BI базируется на тех же компонентах и логике что и Power Pivot, но является отдельным приложением, а не надстройкой к Excel. Возможностей по аналитике значительно больше, есть дополнительные плагины, в том числе для визуализации связей . Так же доступен хороший учебный курс .

Пример: Аудит подключений пользователей

В компании есть терминальные сервера, к которым подключаются внешние пользователи. Требуется провести аудит активности внешних пользователей на терминальных серверах, а так же внутренних пользователей на контроллерах домена, выявить подозрительную активность, в том числе по неудачным подключениям.

Исходные данные: Windows event logs с серверов, каталоги Active Directory, таблицы Microsoft security events description.

Помимо общей статистики, о том какие пользователи и организации работают больше всего или в какое время на сервера идет наибольшая нагрузка по результатам аудита были выявлены такие инциденты:

Использование учетных записей пользователей с нескольких узлов, в том числе одновременно, что означало компрометацию учетной записи;
Активности в нерабочее время, когда пользователь не мог быть на своем рабочем месте;
Брутфорс пароля. На сервере фиксировались события неправильного ввода пароля пользователем, но блокировки учетной записи не происходило, т.к. между попытками ввода пароля проходило достаточно много времени чтобы сбрасывался счетчик неудачных попыток авторизации. Учитывая, что в день таких событий по одному пользователю было более 30 предположение о том, что это человеческий фактор, было исключено.

Резюме

Если Power Pivot стал для меня скорее вынужденным инструментом для решения конкретных задач то Power BI это настоящее открытие, дающее весьма широкие возможности для оперативного анализа всего и вся. Недостатком Power BI является то, что он не SIEM и не умеет осуществлять сложных корреляций и слать оповещения. Но как инструмент для получения новых знаний и проведения периодических аудитов Power BI подходит отлично.

Преимуществом визуального анализа является то, что в процессе анализа часто выявляются знания, о которых ранее было ничего не известно. Появляются ответы на вопросы, которые не задавались, но не потому, что не важны, а потому что предвидеть все не возможно.

А какие инструменты для анализа данных используете вы? Какие нестандартные источники данных при визуальном анализе дают полезные службе ИБ результаты?

Microsoft Power BI - это набор средств бизнес-аналитики для анализа данных и предоставления ценной информации. Контролируйте свой бизнес с любого устройства в любой точке мира в режиме реального времени!

В основе концепции Power BI следующие идеи:


1. Красочная современная графика Современные технологии с учётом последних трендов в анализе данных.	2. Самостоятельный анализ (Self-BI) Бизнес-пользователи могут самостоятельно анализировать и создавать интерактивные панели без помощи ИТ-отдела.	3. Мобильность Приложения для мобильных устройств на базе Windows, Android и iOS.


4. ВСЁ и СРАЗУ! Анализируйте сразу все ваши данные в удобном формате. Встроенные коннекторы к большинству систем и сервисов.	5. Представление данных Большой набор визуальных представлений.	6. На одном языке с вами Просто спросите у Power BI: “Какая маржа по всем проектам за II квартал 2018 года?”, и система сразу даст ответ в виде интерактивной панели.


7. Единый центр анализа Больше не надо искать информацию о делах компании по разным папкам и файлам. Вся аналитика формируется в ОДНОМ интерактивном интерфейсе.	8. Общий доступ Общий доступ ко всем приложениям с любых устройств.

Интерактивный (кликабельный) демо-пример

Получить демо

Стоимость и функционал Power BI

Power BI

Power BI Pro

	Ограничение ёмкости данных	1 ГБ на пользователя	10 ГБ на пользователя
	Создавайте, просматривайте и используйте персональные панели мониторинга и отчеты совместно с другими пользователями Power BI
	Создавайте содержимое с помощью Power BI Desktop
	Просматривайте данные с использованием естественного языка
	Получайте доступ к информационным панелям на мобильных устройствах, используя нативные приложения для iOS, Windows и Android
	Используйте проверенные пакеты содержимого для таких служб, как Dynamics, Salesforce и Google Analytics
	Импортируйте данные и отчеты из файлов Excel, CSV и Power BI Desktop
	Публикация в Интернете
Обновление данных
	Используйте содержимое с запланированными обновлениями	Ежедневно	Каждый час
	Используйте данные потоковой передачи на информационных панелях и в отчетах	10 тыс. строк в час	1 млн строк в час
	Используйте динамические источники данных с полными интерактивными возможностями
	Получите доступ к локальным данным с помощью шлюзов подключения к данным (персональным и для управления данными)
Совместная работа
	Совместно работайте с командой, используя группы Office 365 в Power BI
	Создавайте, публикуйте и просматривайте пакеты содержимого организации
	Управляйте доступом и совместной работой с помощью групп Active Directory
	Общие запросы данных через каталог данных
	Контролируйте доступ к данным с помощью средств безопасности на уровне строк для пользователей и групп

Получить демо

Зачем Вам Power BI?

С Power BI вы сможете анализировать все данные своей компании, как облачные, так и локальные. Включив воображение и используя визуальные инструменты Power BI, вы создадите интерактивные отчёты за считанные секунды в режиме реального времени. Система сама автоматически устранит проблемы с форматированием данных. Работая с Power BI, вы сможете подключить базы данных SQL Server, модели Analysis Services и другие источники данных к одним и тем же интерактивным панелям в Power BI.

Какие знания нужны для работы с Power BI?

После внедрения системы бизнес-пользователю не потребуется специальных знаний, чтобы эффективно работать с данными. Удобный, интуитивно понятный интерфейс позволит быстро и легко изменить или создать аналитику в нужном представлении.

Проект внедрения Power BI

BI команда компании Первый БИТ - это команда экспертов отрасли, имеющая большой опыт внедрения проектов на различных платформах. Мы комплексно закрываем все потребности клиента в рамках внедрения бизнес-аналитической системы Power BI:

Обследование ваших бизнес-процессов
Формирование и согласование требований к BI-системе
Подключение к источника данных и их консолидация
Построение модели данных и разработка отчётности
Обучение ваших сотрудников (бизнес-аналитиков и разработчиков)
Профессиональная технологическая поддержка вашей компании в будущем

Примеры решений на Power BI

Продажи, розничная торговля, оптовая торговля

Более глубокое понимание клиентов
Анализ цен
Результативность магазинов
Оценка запасов
Анализ каналов продажи

2 сентября 2015

Вам нужно подготовить бизнес-презентацию и на это у Вас есть пара дней. Но это может быть весьма непростой задачей даже для опытного пользователя, особенно когда данные находятся в нескольких источниках, в облачных и локальных, и Ваш ИТ отдел занят совершенно другими задачами и не может Вам помочь в подготовке презентации.

Было бы замечательно иметь под рукой доступные и понятные инструменты, которые помогли бы преобразовать и визуализировать Ваши данные для создания наглядной презентации, чтобы посмотреть на ситуацию «свежим взглядом».

Вам повезло. Power BI - это облачная бизнес-аналитика, которая помогает пользователям визуализировать и анализировать данные с большей скоростью, эффективностью и простотой. Вы можете зарегистрироваться на сайте Power BI и начать использование сервиса совершенно бесплатно.

1. Получите данные в несколько кликов

Подключитесь к источнику данных за считанные минуты. Нажмите кнопку Получение данных на панели навигации.

Затем выберите источник данных: пакет содержимого, файл, базу данных или примеры. Источник данных может располагаться в Вашей организации, локально или в облаке, или в онлайн-службах, например, Microsoft Dynamics, Salesforce.com, QuickBooks Online или Google Analytics. Соединять данные вместе очень просто.

2. Создание информационных панелей.

Информационные панели позволяют следить за важной информацией о деятельности организации. Информационная панель в Power BI является подобием панели приборов в автомобиле, на которой выводится важная информация о нем: скорость, уровень топлива и исправность двигателя, только в этом случае приводится информация о вашей компании.

Информационная панель показывает локальные и облачные данные в одном месте. Каждая плитка на информационной панели является визуализацией, созданной из данных одного или более набора данных.

Посмотреть, как устроена информационная панель, Вы можете на готовом примере данных по розничной торговле, который доступен в сервисе Power BI.

Как создаются информационные панели? Все просто!

Нажмите на иконку Плюс рядом с заголовком «Информационные панели » и введите название.

Подключитесь к источнику данных, используя данные из Ваших отчетов или наборов данных, которые уже доступны в Power BI, или добавьте новый источник данных. Закрепите плитку на информационной панели, измените ее размер и название. Плитки также можно перемещать по экрану и удалять в случае необходимости. Поэкспериментируйте с плитками и выберите подходящие для Вас параметры.

3. Общий доступ к информационным панелям

Ваши коллеги получат по электронной почте приглашение со ссылкой на информационную панель. При нажатии на ссылку, информационная панель добавляется к Вашим информационным панелям Power BI.

4. Просмотр информационных панелей на мобильных устройствах

Коллега прислал вам ссылку на информационную панель? Теперь Вы можете просмотреть ее на своем мобильном устройстве. Вы можете исследовать данные, комментировать плитки и делиться ими с другими из любой точки мира. Power BI доступен на устройствах под управление iOS и Android, работает на всех версиях Windows 8.1 и Windows 10 устройств, таких как планшет Surface Pro.

Вы слышали выражение: «Пусть факты говорят сами за себя»? Но иногда самый быстрый способ получить данные, это задать вопрос. В Power BI Вы можете запрашивать данные с использованием естественного языка.

Введите свой запрос в поле на информационной панели. Например: 2014 sales by month and territory as stacked bar.

В процессе набора своего запроса, Power BI выбирает лучшие визуализации для отображения данных по Вашему запросу и при этом визуализация динамически изменяется при изменении запроса. Потрясающе!

6. Создание впечатляющих отчетов

Используйте инструменты Power BI, чтобы впечатлить Ваших коллег интуитивно понятным представлением Ваших данных. Разные варианты визуализаций предоставляют возможность по-новому взглянуть на Ваши данные и оценить их в нужном разрезе.

Чтобы создать новый отчет, выберите набор данных, чтобы открыть, или щелкните правой кнопкой мыши и выберите Просмотреть .

Визуализация данных

Tutorial

UPD: Обновил публикации в связи с выходом Power BI Desktop из стадии Preview 24 июля.

Сегодня хочу рассказать про построение простого дашборда с план-фактным анализом доходов и расходов в Power BI Desktop и Power BI . В первой части рассмотрим работу с запросами, научимся объединять данные из нескольких источников и выполнять их очистку.

Исходные данные: несколько файлов Excel в которых хранится информация о показателях доходов и расходов компании за некоторое время. Поскольку форма отчетов и статьи учета несколько раз менялись, то листы с информацией имеют похожую, но не совсем одинаковую структуру. На выходе требуется получить нечто, что позволит руководителям получить представление о том, что происходит с финансами компании
Давайте посмотрим, как Power BI Desktop позволит объединить данные и их визуализировать.

Рисунок 1. Стартовое окно Power BI Desktop

При запуске Power BI Desktop просит указать источник данных или выбрать один из недавних источников. Кстати, по поводу источников – возможно подключение к большому их количеству, включая онлайн и локальные источники. Например, Google Analytics. В нашем случае все отчеты хранятся в одной папке, поэтому выберем в качестве источника «Папка». Такой выбор позволит в дальнейшем добавлять новые отчеты в эту папку и подгружать их данные для анализа нажатием кнопки «Обновить».

Рисунок 2. Выбор источника данных

После нажатия кнопки «Подключиться» отображается окно предварительного просмотра результатов запроса к источнику данных. Можно загрузить данные «как есть» или перейти в режим редактирования запроса, нажав на кнопку «Изменить». В большинстве случаев результаты запроса требуется обрабатывать.

Рисунок 3. Предварительный просмотр результатов запроса

После нажатия кнопки «Изменить» автоматически открывается окно «Редактор запросов», в котором можно и нужно выполнить очистку и подготовку данных.

Рисунок 4. Окно редактора запросов

Как видно на снимке экрана, Power BI Desktop подгрузил файлы из папки и основную метаинформацию. Удалим все столбцы, кроме «Content», «Name» и «Extension». Поскольку имя файла показывает, к какому году относится соответствующий отчёт, мы его для этого и используем.
Если нажать на любую строку в столбце «Content», Power BI Desktop откроет содержимое соответствующей книги. Обратите внимание, что в разделе «Параметры запроса» все выполненные шаги записываются и их можно изменять или удалять. Если же открыть окно «Расширенный редактор», то откроется окно, в котором будет виден программный код для всех выполненных действий. Да в Power BI Desktop есть свой язык программирования “M” и это очень круто.

Рисунок 5. Расширенный редактор запросов

Поскольку для формирование отчета требуется содержимое всех файлов Excel в папке, а не только одного, то я удалю два последних шага и использую некоторые функции языка “M” для парсинга содержимого книг Excel из папки.
Перед дальнейшей обработкой данных также нужно учесть то, что в папку могут быть подгружены не только файлы Excel. Поэтому нужно применить фильтр к столбцу «Extension», что позволит исключить ненужные типы файлов.

Рисунок 6. Применение фильтра

Теперь нужно выполнить «извлечение» содержимого книг Excel. Для этого я добавлю новый столбец, используя функцию Excel.Workbook, которая позволяет «извлекать» содержимое книг Excel. Новый столбец содержит в себе значения типа «Таблица», что позволяет «развернуть» его содержимое на несколько других столбцов. При «развертывании» можно выбирать, какие столбцы будут отображены. В данном случае смысловую нагрузку несут столбцы «Data» и «Item»

Рисунок 7. Добавление пользовательского столбца

Столбец «Data» содержит в себе данные листов Excel, а «Name» и «Item» я в дальнейшем использую для временных отметок.
Поскольку столбец «Name» содержит данные вида yyyy.xlsx, где yyyy это год отчета, то выполним простую операцию разделения данных в столбце. Разделение можно выполнять как по количеству символов, так и по разделителю. В данному случае столбец нужно делить по разделителю.

Рисунок 8. Разделение столбца

После разделения столбца нужно будет его переименовать.

Рисунок 9. Окно настройки параметров разделения столбца

Рисунок 10. Подготовленный к «развертыванию» запрос

Затем я «развертываю» столбец Data и вижу содержимое всех файлов и листов Excel, при этом в виде, который непригоден для построения итоговой отчетности. Но я могу использовать возможности Power BI Desktop для очистки данных.

Рисунок 11. Запрос после «развертывания» содержимого файлов

1. Использую верхние строки как заголовки и затем переименую столбцы. Удалю столбцы «Фактическое отклонение» и «Отклонение в %». В дальнейшем их пересчитаем.
2. Удалю строки, которые содержат пустые значения и значение «Показатель» в столбце «Показатель», применив фильтрацию. Таким же образом удалю строки, в которых содержатся суммарные значения, например «Итого ЧОД», «Итого» и т.д.

Рисунок 12. Меню фильтрации данных

3. Используя функцию «Замена значений» выполню замену синонимов, например «Доход» и «Доходы».

Рисунок 13. Замена значений

4. Еще немного изучив содержимое столбца «Показатель» обнаруживаю, что все доходы у меня относятся к показателю «Доход» или «Доходы». Всё остальное относится к расходам, что сильно облегчает задачу. Для удобства дальнейшей обработки и фильтрации создам столбец «Категория», который будет содержать значение «Доход», если в столбце «Показатель» присутствует слово «Доход», а во всех остальных случаях примет значение «Расход».

Рисунок 14. Добавление столбца «Категория»

5. Дальше, мне нужно указать, что тип значений в столбцах «План» и «Факт» - десятичное число. Но перед этим мне нужно удалить из содержимого этих столбцов пробелы.
6. После выполнения операции проверяю столбцы на наличие ошибок и отрицательных значений. Поскольку в нашем случае наличие отрицательного значения означает ошибку ввода, то используя функцию преобразования значений выделяю абсолютное значение в столбцах «План» и «Факт». На этом базовая очистка данных закончена.
7. Для того, чтобы отображать показатели с привязкой по времени требуется указать дату для каждой записи. В таблице содержится месяц в текстовом виде и год. Для удобства примем, что данные отображаются на конец каждого месяца. Здесь нас подстерегает проблема – язык «М» не позволяет на текущий момент конвертировать названия месяцев в даты. Поэтому потребуется сделать несколько промежуточных шагов.
8. Создадим новый запрос, который будет содержать названия месяцев и их номера. Для этого создаем пустой запрос, открываем расширенный редактор и вставляем следующий код:
let
Source = {"январь", "февраль", "март", "апрель", "май", "июнь", "июль", "август", "сентябрь", "октябрь", "ноябрь", "декабрь"},
#"Converted to Table" = Table.FromList(Source, Splitter.SplitByNothing(), null, null, ExtraValues.Error),
#"Added Index" = Table.AddIndexColumn(#"Converted to Table", "Index", 0, 1),
#"Added to Column" = Table.TransformColumns(#"Added Index", {{"Index", each List.Sum({_, 1})}}),
#"Renamed Columns" = Table.RenameColumns(#"Added to Column",{{"Column1", "Месяц"}})
in
#"Renamed Columns"

Рисунок 15. Добавление пустого запроса

9. Перехожу в запрос «План-Факт» и объединяю запросы, выбрав нужный тип объединения.

Рисунок 16. Объединение запросов

10. Данные из запроса «Месяцы» добавились как новый столбец. Раскрываю его и теперь у нас есть все данные для формирования даты. Создаю новый столбец с названием «Дата», используя формулу: =Date.EndOfMonth(#date([Год],,1)) Столбец добавлен и он содержит последнее число каждого месяца. Для того, чтобы Power BI Desktop мог группировать даты по месяцам и годам, нужно будет явно задать тип «Date»

Рисунок 17. Добавление столбца «Дата»

11. Удалим столбцы Index, Год и Месяц. Они нам больше не нужны. Затем нужно нажать на кнопку «Закрыть и загрузить», чтобы перейти к моделированию и визуализации данных.

На этом базовая часть обработки данных закончена и можно перейти к визуализации. Возможности визуализации данных в Power BI Desktop рассмотрим в