Системы поддержки принятия решений и анализ данных. Изучение предметной области, в результате которого формулируются основные цели анализа. Интерпретация найденных паттернов. Данный этап может включать визуализацию извлеченных паттернов, определение дейст

Анализ данных - область математики и информатики, занимающаяся построением и исследованием наиболее общих математических методов и вычислительных алгоритмов извлечения знаний из экспериментальных (в широком смысле) данных; процесс исследования, фильтрации, преобразования и моделирования данных с целью извлечения полезной информации и принятия решений. Анализ данных имеет множество аспектов и подходов, охватывает разные методы в различных областях науки и деятельности.

Интеллектуальный анализ данных - это особый метод анализа данных, который фокусируется на моделировании и открытии данных, а не на их описании.

Не следует путать с Извлечением информации. Извлечение информации (англ. information extraction ) - это задача автоматического извлечения (построения) структурированных данных из неструктурированных или слабоструктурированных машиночитаемых документов.

Извлечение информации является разновидностью информационного поиска, связанного с обработкой текста на естественном языке. Примером извлечения информации может быть поиск деловых визитов - формально это записывается так: НанеслиВизит(Компания-Кто, Компания-Кому, ДатаВизита), - из новостных лент, таких как: «Вчера, 1 апреля 2007 года, представители корпорации Пепелац Интернэшнл посетили офис компании Гравицап Продакшнз». Главная цель такого преобразования - возможность анализа изначально «хаотичной» информации с помощью стандартных методов обработки данных. Более узкой целью может служить, например, задача выявить логические закономерности в описанных в тексте событиях.

В современных информационных технологиях роль такой процедуры, как извлечение информации, всё больше возрастает - из-за стремительного увеличения количества неструктурированной (без метаданных) информации, в частности, в Интернете. Эта информация может быть сделана более структурированной посредством преобразования в реляционную форму или добавлением XML разметки. При мониторинге новостных лент с помощью интеллектуальных агентов как раз и потребуются методы извлечения информации и преобразования её в такую форму, с которой будет удобнее работать позже.

Типичная задача извлечения информации: просканировать набор документов, написанных на естественном языке, и наполнить базу данных выделенной полезной информацией. Современные подходы извлечения информации используют методы обработки естественного языка , направленные лишь на очень ограниченный набор тем (вопросов, проблем) - часто только на одну тему.

Data Mining (рус. добыча данных, интеллектуальный анализ данных, глубинный анализ данных ) - собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Термин введён Григорием Пятецким-Шапиро в 1989 году.

Английское словосочетание «Data Mining » пока не имеет устоявшегося перевода на русский язык. При передаче на русском языке используются следующие словосочетания: просев информации , добыча данных , извлечение данных , а, также, интеллектуальный анализ данных . Более полным и точным является словосочетание «обнаружение знаний в базах данных » (англ. knowledge discovering in databases , KDD).

Основу методов Data Mining составляют всевозможные методы классификации, моделирования и прогнозирования, основанные на применении деревьев решений, искусственных нейронных сетей, генетических алгоритмов, эволюционного программирования, ассоциативной памяти, нечёткой логики. К методам Data Mining нередко относят статистические методы (дескриптивный анализ, корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов, анализ выживаемости, анализ связей). Такие методы, однако, предполагают некоторые априорные представления об анализируемых данных, что несколько расходится с целями Data Mining (обнаружение ранее неизвестных нетривиальных и практически полезных знаний).

Одно из важнейших назначений методов Data Mining состоит в наглядном представлении результатов вычислений, что позволяет использовать инструментарий Data Mining людьми, не имеющими специальной математической подготовки. В то же время, применение статистических методов анализа данных требует хорошего владения теорией вероятностей и математической статистикой.

Бизнес-аналитика охватывает анализ данных, который полагается на агрегацию.

Business intelligence или сокращенно BI - бизнес-анализ, бизнес-аналитика. Под этим понятием чаще всего подразумевают программное обеспечение, созданное для помощи менеджеру в анализе информации о своей компании и её окружении. Существует несколько вариантов понимания этого термина.

• Бизнес-аналитика - это методы и инструменты для построения информативных отчётов о текущей ситуации. В таком случае цель бизнес-аналитики - предоставить нужную информацию тому человеку, которому она необходима в нужное время. Эта информация может оказаться жизненно необходимой для принятия управленческих решений.
• Бизнес-аналитика - это инструменты, используемые для преобразования, хранения, анализа, моделирования, доставки и трассировки информации в ходе работы над задачами, связанными с принятием решений на основе фактических данных. При этом с помощью этих средств лица, принимающие решения, должны при использовании подходящих технологий получать нужные сведения и в нужное время.

Таким образом, BI в первом понимании является лишь одним из секторов бизнес-аналитики в более широком втором понимании. Помимо отчётности туда входят инструменты интеграции и очистки данных (ETL), аналитические хранилища данных и средства Data Mining.

BI-технологии позволяют анализировать большие объёмы информации, заостряя внимание пользователей лишь на ключевых факторах эффективности, моделируя исход различных вариантов действий, отслеживая результаты принятия тех или иных решений.

Термин впервые появился в 1958 году в статье исследователя из IBM Ханса Питера Луна (англ. Hans Peter Luhn ). Он определил этот термин как: «Возможность понимания связей между представленными фактами.»

BI в сегодняшнем понимании эволюционировал из систем для принятия решений, которые появились в начале 1960-х и разрабатывались в середине 1980-х.

В 1989 году Говард Дреснер (позже аналитик Gartner) определил Business intelligence как общий термин, описывающий «концепции и методы для улучшения принятия бизнес-решений с использованием систем на основе бизнес-данных».

В статистическом смысле некоторые разделяют анализ данных на описательную статистику, исследовательский анализ данных и проверку статистических гипотез.

Цель описательной (дескриптивной) статистики - обработка эмпирических данных, их систематизация, наглядное представление в форме графиков и таблиц, а также их количественное описание посредством основных статистических показателей.

В отличие от индуктивной статистики дескриптивная статистика не делает выводов о генеральной совокупности на основании результатов исследования частных случаев. Индуктивная же статистика напротив предполагает, что свойства и закономерности, выявленные при исследовании объектов выборки, также присущи генеральной совокупности.

Исследовательский анализ данных это подход к анализу данных с целью формулировки гипотез стоящих тестирования, дополняющий инструментами стандартной статистики для тестирования гипотез. Названо Джоном Тьюки для отличия от проверки статистических гипотез, термином используемым для набора идей о тестировании гипотез, достигаемом уровне значимости, доверительном интервале и прочих, которые формируют ключевые инструменты в арсенале практикующих статистиков.

Исследовательский анализ данных занимается открытием новых характеристик данных, а проверка статистических гипотез на подтверждении или опровержении существующих гипотез.

Проверки статистических гипотез - один из классов задач в математической статистике.

Пусть в (статистическом) эксперименте доступна наблюдению случайная величина, распределение которой известно полностью или частично. Тогда любое утверждение, касающееся называется статистической гипотезой . Гипотезы различают по виду предположений, содержащихся в них:

• Статистическая гипотеза, однозначно определяющая распределение, то есть, где какой-то конкретный закон, называется простой .

• Статистическая гипотеза, утверждающая принадлежность распределения к некоторому семейству распределений, то есть вида, где - семейство распределений, называется сложной .

На практике обычно требуется проверить какую-то конкретную и как правило простую гипотезу. Такую гипотезу принято называть нулевой . При этом параллельно рассматривается противоречащая ей гипотеза, называемая конкурирующей или альтернативной .

Выдвинутая гипотеза нуждается в проверке, которая осуществляется статистическими методами, поэтому гипотезу называют статистической. Для проверки гипотезы используют критерии, позволяющие принять или опровергнуть гипотезу.

В большинстве случаев статистические критерии основаны на случайной выборке фиксированного объема из распределения. В последовательном анализе выборка формируется в ходе самого эксперимента и потому её объем является случайной величиной (см. Последовательный статистический критерий).

Учебное пособие

ББК 22.172я73

Рецензенты:

Мартышенко С.Н.

Компьютерный анализ данных:

Учебное пособие. – Владивосток: Изд-во ВГУЭС, 2010. – 80 с.

Составлено в соответствии с учебной программой по дисциплине «Компьютерный анализ данных» и требованиями государственного стандарта России. Предназначена для студентов специальностей 0618000 Математические методы в экономике и 351400 «Прикладная информатика в экономике». Содержит теоретический материал по дисциплине, задания к практическим занятиям и указания к их выполнению.

Утверждена на заседании кафедры Математики и моделирования 19.10.08***,протокол№ 18 ***

© Издательство Владивостокского государственного университета

экономики и сервиса, 2010

Введение

Для современной науки и большинства направлений практической деятельности сейчас характерен статистический подход. Закономерности экономики только в среднем смогут считаться детерминистическими, при более детальном исследовании оказывается, что они носят типично случайный характер.

В пособии рассматриваются теоретические и практические вопросы анализа статистических данных. Компьютерный анализ данных следует рассматривать как изучение методик практического применения теоретических методов математической статистики. Прикладной характер, изучаемой дисциплины подчеркивается ориентацией ее на применение конкретного программного продукта EXCEL.

Социально-экономические процессы и явления зависят от большого количества характеризующих их параметров, что обуславливает трудности, связанные с выявлением структуры взаимосвязей этих параметров. В подобных ситуациях, когда решение принимается на основе анализа стохастической, неполной информации необходимо применение методов статистического анализа данных.

Методы анализа данных позволяют обоснованно выбрать среди множества возможных вероятностно-статистических моделей такую, которая наилучшим образом соответствует исходным статистическим данным, характеризующим реальное поведение исследуемой совокупности объектов, оценить надежность и точность выводов, сделанных на основании большого статистического материала.

В пособии рассматривается совокупность глубоко формализованных статистических методов, базирующихся на представлении исходной информации в многомерном геометрическом пространстве и позволяющих определять неявные (латентные), но объективно существующие закономерности в организационной структуре и тенденциях развития изучаемых социально-экономических процессов и явлений.

Основной задачей пособия является обучение студентов теоретическим основам наиболее распространенных методов статистического анализа данных и развития навыков применения стандартных программных средств, в которых реализованы процедуры статистического анализа данных.

Для успешного изучения материала, изложенного в пособии студенту необходимы знания по основным разделам «Высшей математики» и «Математическая статистика». Необходимы знания таких основополагающих понятий как: виды случайных величин, характеристики случайных величин, основные законы распределения случайных величин, способы оценки выборочных характеристик, основы статистического вывода с использованием статистических критериев и проверки гипотез, линейная и нелинейная регрессии.

В ходе изучения материала, изложенного в пособии, у студента должно формироваться представление о конкретных практических ситуациях, в которых необходимо использование методов статистического анализа.

В результате работы с пособием и выполнения практических заданий студенту необходимо достигнуть определенного уровня знаний в области компьютерного анализа данных. Необходимый уровень знаний состоит из трех пунктов.

1. освоить:

Концепцию и технологии современного анализа данных на компьютере;

Принципы работы программных средств, предназначенных для статистического анализа данных;

Принципы работы современных визуальных методов анализа данных и использования их для статистического вывода и формулировки гипотез о структуре данных.

2. Выработать умения самостоятельного решения задач по выбору методов анализа в практических ситуациях;

3. полученть навыкиприменения программных систем; предназначенных для статистического анализа данных, а также тестирования программных модулей на модельных данных.

Два подхода к анализу данных

Любая организация в процессе своей деятельности стремится повысить прибыль и уменьшить расходы. В этом ей помогают новые компьютерные технологии, использование разнообразных программ автоматизации бизнес-процессов. Это учетные, бухгалтерские и складские системы, системы управленческого учета и многие другие. Чем аккуратнее и полнее ведется сбор и систематизация информации, тем полнее будет представление о процессах в организации. Современные носители информации позволяют хранить десятки и сотни гигабайт информации, но без использования специальных средств анализа накопленной информации такие носители превращаются просто в свалку бесполезных сведений. Очень часто принятие правильного решения затруднено тем, что хотя данные и имеются, они являются неполными, или, наоборот, избыточными, замусорены информацией, которая вообще не имеет отношения к делу, несистематизированными или систематизированными неверно. Тогда прибегают к помощи программных средств, которые позволяют привести информацию к виду, который дает возможность с достаточной степенью достоверности оценить содержащиеся в ней факты и повысить вероятность принятия оптимального решения.

Есть два подхода к анализу данных с помощью информационных систем.

В первом варианте программа используется для визуализации информации - извлечения данных из источников и предоставления их человеку для самостоятельного анализа и принятия решений. Обычно данные, предоставляемые программой, являются простой таблицей, и в таком виде их очень сложно анализировать, особенно если данных много, но имеются и более удобные способы отображения: кубы, диаграммы, гистограммы, карты, деревья…

Второй вариант использования программного обеспечения для анализа – это построение моделей . Модель имитирует некоторый процесс, например, изменение объемов продаж некоторого товара, поведение клиентов и другое. Для построения модели необходимо сделать предобработку данных и далее к ним применять математические методы анализа: кластеризацию, классификацию, регрессию и т. д. Построенную модель можно использовать для принятия решений, объяснения причин, оценки значимости факторов, моделирования различных вариантов развития…

Рассмотрим пример. Предоставление скидки покупателям является стимулом для увеличения объемов закупок. Чем больше продается некоторого товара, тем больше прибыль. С другой стороны, чем больше предоставляется скидка, тем меньше наценка на товар и тем меньше прибыли приносят продажи этого товара. Пусть есть история продаж, представленная таблицей со столбцами: дата, объем продаж, скидка в процентах, наценка и прибыль. При проведении анализа «вручную» можно рассмотреть диаграмму.

Понятие анализа данных достаточно широкое. Само понятие «анализ» пришло к нам из Древней Греции и значит «распутывать», «освобождать». В области анализа данных определений много и все они разные. Обратимся к Большому экономическому словарю (Институт новой экономики. А.Н. Азрилиян, 1997):

Анализ данных – это направление статистических исследований, включающее комплекс методов обработки многомерной системы данных наблюдений, характеризующейся многими признаками. В отличие от классических математико-статистических методов, предполагающих известную вероятностную модель порождения данных, методы анализа данных используют только сведения, зафиксированные в этих .

В целом определение верное и точное. Но для бизнеса важна и другая составляющая такого анализа. В определении словаря говорится только об обработке данных, но для любого руководителя или топ-менеджера важна не сама обработка и структурирование данных. Намного интереснее и полезнее при заключительный этап — поиск скрытых закономерностей и получение новых знаний.

Поэтому в бизнес-среде в последнее время очень популярно определение Марио Фариа (Mario Faria), вице-президента Gartner:

Анализ - преобразование данных в выводы, на основе которых будут приниматься решения и строиться действия с помощью людей, процессов и технологий.

Невозможно и неправильно смотреть на анализ данных только как на обработку информации после ее получения и сбора. В первую очередь, анализ данных - это средство и способ проверки гипотез и способ решения задач исследователя. Поэтому среди важных задач анализа данных мы выделяем:

• прогнозирование,
• выявление отклонений,
• получение рекомендаций.

Характеристики данных анализа

С точки зрения своих характеристик данные, которое мы используем при анализе, делятся на 2 большие группы:

• количественные
• и качественные.

Качественные данные важны при маркетинговых исследованиях – какой ваш товар, за что его должны «полюбить» потребители. Наиболее интересными для прогнозирования, конечно, являются количественные данные. Цифры – наше все! На их основе можно, например, прогнозировать спады или рост продаж. А это, согласитесь, очень важно. Возможность закупить правильный объем товара, выстроить логистическую цепочку, подготовить персонал – все это, в конечном счете, влияет на выручку компании.

Как анализировать быстро и полезно?

Информации в мире становится все больше. В исследовании компании IBS говорится, что уже к 2003 году в миру было накоплено 5 эксабайтов данных (1 ЭБ = 1 млрд гигабайтов). В 2011 году данных будет уже 1,76 зеттабайта (1 ЗБ = 1024 эксабайта), а в мае 2015 года мировой объем данных составил более 6,5 ЗБ. По информации из исследования The Data Age 2025 прогнозируется, что к 2025 году будет сформировано более 400 зеттабайтов информации.

Но главное – все эти накопленные данные содержат в себе важную информацию, с помощью которой можно и нужно прогнозировать, делать выводы и принимать решения. Для того чтобы из всего массива накопленных данных выделить полезную информацию, необходима обработка этих данных. Или – анализ данных.

Обрабатывать данные становится все сложнее. Если раньше, лет 15 назад, в Excel был пределом совершенства, то сейчас это уже действительно «прошлый век». Вслед за запросом на анализ «больших данных» на рынке появляются новые решения для бизнеса – малого, среднего и крупного.

Решения для анализа данных варьируются в зависимости от стоимости внедрения и персонала, который будет задействован для управления ими. Есть решения для крупных корпораций, где, конечно, не обойтись без больших вложений – как на этапе внедрения, так и позже – на этапе работы решения (основная трата – это специалисты, работающие с ПО).

Опрос сотрудников, клиентов, потребителей – не просто сбор информации, это полноценное исследование. А целью всякого исследования является научно- обоснованная интерпретация изученных фактов. Первичный материал необходимо обработать, а именно упорядочить и проанализировать.

Анализ данных исследования – ключевой этап. Он представляет собой совокупность приемов и методов, направленных на то, чтобы проверить, насколько были верны предположения и гипотезы, а также ответить на заданные вопросы. Данный этап является, пожалуй, наиболее сложным с точки зрения интеллектуальных усилий и профессиональной квалификации, однако позволяет получить максимум полезной информации из собранных данных.

Методы анализа данных многообразны. Выбор конкретного метода анализа данных зависит, в первую очередь, от того, на какие вопросы мы хотим получить ответ.

Можно выделить два класса процедур анализа данных:

• одномерные (дескриптивные) и
• многомерные.

Многомерные типы анализа данных

Многомерный анализ данных позволяет одновременно исследовать взаимоотношения двух и более переменных и проверять гипотезы о причинных связях между ними.

Техники многомерного анализа разнообразны. Мы рассмотрим следующие:

Суть факторного анализа , состоит в том, чтобы имея большое число параметров, выделить малое число макропараметров, которыми и будут определяться различия между измеряемыми параметрами. Это позволит оптимизировать структуру анализируемых данных.

Применение факторного анализа преследует две цели:

• сокращение числа переменных;
• классификация данных.

Факторный анализ довольно полезен на практике. Приведем несколько примеров.

Перед вами стоит задача исследовать имидж компании. Клиенту предлагается оценить данную компанию по целому ряду критериев, общее число которых может превышать несколько десятков. Применение факторного анализа в данном случае позволяет снизить общее количество переменных путем распределения их в обобщенные пучки факторов, например, «материальные условия компании», «взаимодействие с персоналом», «удобство обслуживания».

Еще одним случаем применения данного метода может служить составление социально-психологических портретов потребителей. Респонденту необходимо выразить степень своего согласия/несогласия с перечнем высказываний о стиле жизни. В итоге, можно выделить, например, целевые группы потребителей: «новаторы», «прогрессисты» и «консерваторы».

Актуальным примером исследования в сфере банковского дела, может послужить, изучение уровня доверия клиента к банку, которое можно описать следующими факторами:

— надежность сделок (включающий такие параметры, как сохранность средств, возможность беспрепятственного их перевода);

— обслуживание клиентов (профессионализм сотрудников, их благожелательность) и

— качество обслуживания (точность выполнение операций, отсутствие ошибок) и др.

(от англ. сluster – сгусток, пучок, гроздь) – это один из способов классификации объектов. Он позволяет рассматривать достаточно большой объем информации, сжимая его и делая компактными и наглядными.

Термин «кластерный анализ» был введен в 1939 году английским ученым Р. Трионом, предложившим соответствующий метод, который сводился к поиску групп с тесно коррелирующим признаком в каждой из них.

Целью кластерного анализа является выделение сравнительно небольшого числа групп объектов, как можно более схожих между собой внутри группы, и как можно более отличающихся в разных группах. В настоящее время разработано достаточно большое число алгоритмов кластерного анализа. Однако, попробуем объяснить его суть, не прибегая к строгому теоретизированию.

Допустим, вы планируете провести опрос потребителей, (а все потребители разные), и вам, соответственно, необходимы различные стратегии для их привлечения. Для решения данной задачи мы предлагаем сегментировать клиентов, прибегнув к методу кластеризации. Для этого выполняем следующие шаги:

1. формируем выборку и проводим опрос клиентов,
2. определяем переменные (характеристики), по которым будем оценивать респондентов в выборке,
3. вычисляем значения меры сходства и различия между ответами респондентов,
4. выбираем метод кластеризации (т.е. правила объединения респондентов в группы),
5. определяем оптимальное число кластеров (групп).

В результате получаем таблицу следующего содержания:

Информация, представленная в таблице, позволяет нам составить портрет клиентов каждого кластера, которые впоследствии необходимо учитывать при составлении стратегии успешного продвижения продукта на рынке.

• В социологии: разделение респондентов на различные социально-демографические группы.
• В маркетинге: сегментация рынка по группам потребителей, группировка конкурентов по факторам конкурентоспособности.
• В менеджменте: выделение групп сотрудников с разным уровнем мотивации, выявление мотивирующих/демотивирующих факторов в организации, классификация конкурентоспособных отраслей и поставщиков, и др.
• В медицине — классификация симптомов, признаков заболеваний, пациентов, препаратов для успешной терапии.
• А также психиатрии, биологии, экологии, информатике и т.д.