Оценка работы информационных систем и технологий в ИП Иванькович Владимир Зиновьевич

отчет по практике

5. Работа с информационно-поисковыми системами (общие сведения, порядок работы, сохранение и редактирование найденной информации)

Информационно-поисковая система - совокупность информационно поискового правил перевода с естественного языка на информационно - поисковый и обратного перевода, а также критерия соответствия, предназначенная для осуществления информационного поиска. В число составных частей конкретной информационно - поисковой системы (ИПС), кроме информационно-поискового языка, правил перевода и критерия соответствия, входят также средства ее технической реализации, массив текстов (документов), в котором осуществляется информационный поиск, и люди, непосредственно участвующие в этом поиске.

Информационный поиск - процесс отыскания в некотором множестве текстов (документов) всех таких, которые посвящены указанной в запросе теме (предмету) или содержат нужные потребителю факты, сведения. ИП осуществляется посредством информационно-поисковой системы и выполняется вручную либо с использованием средств механизации или автоматизации. Непременным участником ИП является человек. В зависимости от характера информации, которая содержится в выдаваемых информационно - поисковой системой (ИПС) текстах, ИП может быть документальным, в том числе библиографическим, и фактографическим. ИП нужно отличать от логической переработки информации, без которой невозможна непосредственная выдача человеку ответов на задаваемые им вопросы. При ИП отыскиваются - и могут быть найдены - такие и только такие факты или сведения, которые были введены в ИПС. Перед вводом в ИПС текста (документа) определяется его основное смысловое содержание (тема или предмет), которое затем переводится и записывается на одном из информационно-поисковых языков. Эта запись называется поисковым образом текста. Так же поступают и когда в ИПС вводят определённым образом записанные факты, сведения. Поступивший запрос также переводится на информационно-поисковый язык, образуя поисковое предписание. Поскольку поисковые образы текстов и поисковые предписания записаны на одном и том же языке, выражения на котором допускают только одно истолкование, то, возможно сравнивать их формально, не вникая в смысл. Для этого задаются определённые правила (критерии соответствия), устанавливающие, при какой степени формального совпадения поискового образа с поисковым предписанием текст следует считать отвечающим на информационный запрос и подлежащим выдаче.

Техническая эффективность ИП характеризуется двумя относительными показателями - коэффициентом точности (отношением числа текстов, отвечающих на информационный запрос, к общему числу текстов в данной выдаче) и коэффициентом полноты (отношением числа текстов, отвечающих на информационный запрос, к общему числу таких текстов, содержащихся в данной ИПС). Необходимые значения этих показателей зависят от специфики информационных потребностей. Например, при поиске патентных описаний с целью проведения экспертизы патентной заявки на новизну необходима 100%-ная полнота выдачи; при поиске, ориентированном на обычного исследователя или инженера, очень хорошей считается точность выдачи около 80%, полнота - около 50%.

Рисунок 1 - Процесс поиска

ИП может быть двух типов - избирательное (или адресное) распространение информации и ретроспективный поиск. При избирательном распространении информации ИП производится по постоянным запросам некоторого числа потребителей (абонентов), осуществляется периодически (обычно один раз в неделю или в две недели) и выполняется лишь в массиве текстов, поступивших в ИПС за этот период времени.

Между ИПС и потребителями (абонентами) устанавливается эффективно действующая обратная связь (абонент сообщает, в какой степени этот текст соответствует запросу и нужна ли ему копия полного текста, о степени соответствия этого текста его информационной потребности), которая позволяет уточнять потребности абонентов, своевременно реагировать на изменения этих потребностей и оптимизировать работу системы.

При ретроспективном поиске ИПС отыскивает содержащие требуемую информацию тексты во всём накопленном массиве текстов по разовым запросам.

Архитектура современных информационно-поисковых систем WWW.

Рассмотрим типовую схему такой системы. В различных публикациях, посвященных конкретным системам, приводятся схемы, которые отличаются друг от друга только применением конкретных программных решений, но не принципом организации различных компонентов системы. Поэтому рассмотрим эту схему на представленном примере:

Рисунок 2 - Структура ИПС для Internet

На этой схеме обозначены:

client - это программа просмотра конкретного информационного ресурса. В настоящее время наиболее популярны мультипротокольные программы типа Netscape Navigator. Такая программа обеспечивает просмотр документов World Wide Web, Gopher, Wais, FTP-архивов, почтовых списков рассылки и групп новостей Usenet. В свою очередь все эти информационные ресурсы являются объектом поиска информационно-поисковой системы.

user interface - интерфейс пользователя - это не просто программа просмотра. В случае информационно-поисковой системы под этим словосочетанием понимают и способ общения пользователя с поисковым аппаратом системы, т.е. с системой формирования запросов и просмотров результатов поиска. Просмотр результатов поиска и информационных ресурсов сети - это совершенно разные вещи, на которых остановимся чуть позже.

search engine - поисковая машина служит для трансляции запроса пользователя, который подготавливается на информационно-поисковом языке (ИПЯ), в формальный запрос системы, поиска ссылок на информационные ресурсы Сети и выдачи результатов этого поиска пользователю.

index database - индекс - это основной массив данных информационно-поисковой системы. Он служит для поиска адреса информационного ресурса. Архитектура индекса устроена таким образом, чтобы поиск происходил максимально быстро и при этом можно было бы оценить ценность каждого из найденных информационных ресурсов сети.

queries - запросы пользователя сохраняются в его личной базе данных. На отладку каждого запроса уходит достаточно много времени, и поэтому чрезвычайно важно хранить запросы, на которые система дает хорошие ответы.

index robot - робот-индексировщик служит для сканирования Internet и поддержки базы данных индекса в актуальном состоянии. Эта программа является основным источником информации о состоянии информационных ресурсов сети.

www sites - это весь Internet. А если говорить более точно, то это те информационные ресурсы, просмотр которых обеспечивается программами просмотра.

Поисковые cистемы обычно состоят из трех компонентов:

1. агент (паук или кроулер), который перемещается по Сети и собирает информацию;

2. база данных, которая содержит всю информацию, собираемую пауками;

3. поисковый механизм, который люди используют как интерфейс для взаимодействия с базой данных.

Автоматизация информационной системы управления заказов на предприятии ООО "Сервис-ТВ"

Общие положения 1. Настоящие Правила определяют порядок работы сотрудников Компании со средствами автоматизации, установленными на рабочих местах. Сотрудники Компании обязаны ознакомиться с настоящими Правилами под роспись...

Автоматизация Школы Информационно-Телекоммуникационных Технологий

В августе месяце 2000 года в городе Душанбе прошло учредительное собрание, на котором была создана школа по изучению компьютерных технологий. Учредителями этой школы являются детский фонд «Ошёни баланд» имени Мирзо Турсун-Заде...

База данных "Филателист"

Например, отредактируем запись о коллекционере Петренко Кирилле. Пусть Коллекционер сменил телефон "12-36-98" на "11-22-33". Для изменения записи открываем на форму "КОЛЛЕКЦИОНЕР". Для этого на Главной кнопочной форме нужно нажать на кнопку ФОРМЫ...

Графическая информация и способы ее обработки

Представление данных на мониторе компьютера в графическом виде впервые было реализовано в середине 50-х годов для больших ЭВМ, применявшихся в научных и военных исследованиях...

Виды компьютерной графики Представление данных на мониторе компьютера в графическом виде впервые было реализовано в середине 50-х годов для больших ЭВМ, применявшихся в научных и военных исследованиях...

Графическая информация и средства ее обработки

Методы автоматического порождения поисковых эвристик

Рассмотрим сравнительную таблицу результатов поиска с использованием разных поисковых систем с точки зрения пертинентности: Рубрика Количество текстов в выборке Google Яндекс Виртуальный...

Назначение и порядок формирования информационно-правовых систем

Жизненный цикл информационных систем - совокупность стадий и этапов, которые проходит информационная система в своем развитии от момента принятия решения усовершенствования до момента, когда она приостанавливает свое существование...

Обработка агрометеорологической информации

Информационно-программный комплекс АМFD предназначен для создания фонда данных агрометеорологических наблюдений на основе полевых книжек КСХ-1М, КСХ-2М, таблиц ТСХ-6М и формирования соответствующих таблиц агрометеорологического ежегодника...

Оценка работы информационных систем и технологий в ИП Иванькович Владимир Зиновьевич

Антивирус - это программа, цель которой найти и обезвредить вирусы на компьютере пользователя. Прежде всего хотелось бы сказать, что попытка найти и обезвредить вирусы вручную абсолютно бесполезна. Во-первых...

Построения систем защиты информации для программных пакетов, используемых в монопольном доступе

Все большее внимание уделяется новому направлению в образовании - дистанционному обучению. Дистанционное образование с одной стороны открывает новые возможности, с другой ставит новые задачи...

Разработка системы моделирования поисковой оптимизации веб-сайта

Разработка справочника для отслеживания информации о сотрудниках предприятия

Вызов редактора для корректирования информации об уже имеющимся в базе сотрудникам осуществляется при помощи кнопки на главной форме «Редактировать», предварительно поставив галочку напротив редактируемого элемента...

Редактирование графических объектов в GIMP

Задание 1. Из файла фотографии Работа 4.jpg из капота автомобиля сделать капот карбонового вида. Ход выполнения 1. Откройте фото автомобиля, такое, чтобы с ним было удобно работать, например, такое как на рисунке 30. Рисунок 30...

Язык Web-программирования - PHP

Для начала создаем базу данных и таблицу. Входим в phpMyAdmin (phpMyAdmin -- веб-приложение с открытым кодом, написанное на языке PHP и представляющее собой веб-интерфейс для администрирования СУБД MySQL) (см. приложение 5)...

Информационно-поисковые системы и их классификация

Информационно-поисковая система – это прикладная компьютерная среда для обработки, хранения, сортировки, фильтрации и поиска больших массивов структурированной информации.

Каждая информационно-поисковая система (ИПС) состоит из двух частей: базы данных (БД) и системы управления базами данных (СУБД).

База данных - это совокупность информационных массивов с записями об объектах и связями между ними..

Система управления базами данных - это комплекс программных и языковых средств, необходимых для создания баз данных, поддержания их в актуальном состоянии и организации поиска в них необходимой информации.

На настоящий момент существует множество различных СУБД. Наиболее широкую известность получили такие как Dbase, Clipper, FoxPro, Paradox, Microsoft Access.

Каждая информационно-поисковая система (ИПС) предназначена для решения определенного класса задач, для которых характерен свой набор объектов и их признаков. ИПС бывают двух типов:

Для юристов важно знать также определение, данное в статье 1260 Гражданского кодекса РФ: «База данных - представленная в объективной форме совокупность самостоятельных материалов (статей, расчётов, нормативных актов, судебных решений и иных подобных материалов), систематизированных таким образом, чтобы эти материалы могли быть найдены и обработаны с помощью электронной вычислительной машины (ЭВМ)».

Для сравнения приведем украинский вариант определения, данный в законе «Об авторском праве и смежных правах»: база данных (компиляция данных) - совокупность произведений, данных или любой другой независимой информации в произвольной форме, в том числе - электронной, подбор и расположения составных частей которой и ее упорядочение являются результатом творческой работы, и составные части которой являются доступными индивидуально и могут быть найдены с помощью специальной поисковой системы на основе электронных средств (компьютера) или других средств.

ИПС могут быть классифицированы по различным признакам:

♦ территориальному: международные, районные, региональные, геоинформационные и т. д.;

♦ области применения: экономика, право, медицина, образование и т. д.;

♦ целевому назначению: оперативные, архивные, учебные и т. д.;

♦ виду данных: полнотекстовые и фактографические.

В полнотекстовых базах собираются и систематизируются тексты документов или их библиографическое описание. В фактографических базах ИПС накапливается описание выбранных характеристик, свойств объектов.

ИПС могут быть также классифицированы по их функциональным возможностям:

♦ информационно-справочные системы (ИСС);

♦ информационно-логические системы (ИЛС);

♦ экспертные системы (ЭС);

♦ автоматизированные рабочие места (АРМ);

♦ автоматизированные системы управления (АСУ).

Информационно-справочные системы предназначаются для сбора, систематизации, хранения и поиска информации в определенной области знаний. Наиболее распространенными в правовой области являются ИСС «Гарант», «КонсультантПлюс», «Кодекс». Работа пользователей с этими системами осуществляется путем выполнения запросов по заданным критериям поиска, например тематике или реквизитам документа.

Создано большое количество специализированных ИСС для правоохранительных органов: «Кортик», «Рэкет», «Разбой», «Сонда», «Следователь», «Убийство».

К более сложным информационным системам относятся системы, позволяющие решать логические задачи. Пользователю предоставляется возможность не только выполнять поиск информации, но и получать новые сведения путем выполнения некоторых логических процедур. Примером такой системы является подсистема «След», использующаяся в органах прокуратуры.

Более функциональными (и сложными в разработке) являются экспертные системы (ЭС).

Экспертные системы - один из немногих видов систем искусственного интеллекта, которые получили широкое распространение и нашли практическое применение в различных видах деятельности. Разработка экспертных систем очень трудоемкая задача, требующая не только усилий программистов, но и работы большой группы аналитиков-профессионалов в узкой предметной области. Экспертные системы предназначены для накопления, обработки знаний из некоторой области с целью выработки новых решений практических задач. Важно отметить, что при помощи экспертных систем решаются задачи неформализованные, не поддающиеся алгоритмизации. Одной из главных проблем создания экспертных систем является решение задачи формализации знаний, получаемых от экспертов, для размещения их в компьютерной системе.

Дороговизна и узкая специализация являются сдерживающим фактором в широком распространении экспертных систем. В практике юридической деятельности в России можно привести ЭС:

♦ Прогнозирования преступлений, которая позволяет установить зависимость между личностными качествами преступников и выбором места совершения преступления.

♦ Выявления скрытых преступлений - предназначена для выявления скрытых хищений на производстве на основе анализа показателей деятельности предприятия.

♦ Поиска и установления личности преступника по информации, полученной на месте происшествия. Выдает типовые версии о личности подозреваемого, сужает круг подозреваемых лиц и по мере поступления новых данных уточняет типологические свойства личности неизвестного преступника.

Разновидностью экспертных систем являются генераторы экспертных заключений (ГЭЗ). Их назначение - получение готового экспертного заключения.

Например, ГЭЗ «Клинок» позволяет получить заключение по холодному оружию, включая выбор аналога рассматриваемого клинкового оружия, содержащегося в информационно-поисковой системе. Программа содержит базу данных по клинковому оружию, которая используется при построении экспертного заключения.

Автоматизированное рабочее место (АРМ) – это комплекс программно-технических средств, предназначенный для автоматизации задач в конкретной предметной области. Сегодня АРМ создаются, как правило, на базе персонального компьютера и других средств, включённых в вычислительную сеть организации, а также необходимых программных средств. В состав АРМ может входить несколько программ, необходимых для решения задач конкретного специалиста, однако часто вместо набора программ создаётся специализированный программный комплекс, называемый автоматизированным рабочим местом. Основная задача любого АРМ – автоматизировать процесс решения ежедневных задач конкретного специалиста. В возможности АРМ, как правило, входят функции, осуществляемые специалистом во время решения профессиональных задач.

Например, АРМ юрисконсульта должно включать в себя редактор текстов, электронную таблицу, переводчики, справочно-правовые системы и др. АРМ студента-юриста должно включать в себя электронные учебники по изучаемым дисциплинам, обучающие программы и среды, электронные справочники, кодексы и энциклопедии, переводчики и др.

Одним из распространенных АРМ в юридической деятельности, обладающих описанными выше функциями, является АРМ следователя. Очень часто на практике используются узкоспециализированные АРМ, представляющие собой аппаратно-программные комплексы. В юридической деятельности такие комплексы наибольшее распространение получили в криминалистике.

АРМ, применяемые при проведении экспертиз (например, трассологических, баллистических, портретных, автотехнических, фоноскопических, почерковедческих), проводимых в рамках расследования уголовных дел, многообразны. Изучение конкретных АРМ целесообразно проводить в рамках соответствующих спецкурсов.

К числу методов, автоматизация которых имеет значительные перспективы в области идентификационного исследования веществ и материалов, относят количественные методы анализа, включающие в себя теорию распознавания образов.

Основой всех поисковых систем составляют базы данных - совокупность данных организованных по предельным правилам, предусматривающим общие принципы описания, хранения и манипулирования данными, независимо от прикладных программ.

Можно выделить следующие элементы функционирования информационных систем:

Сбор информации - организованный в специальном порядке процесс сбора и отображения информации:

Получение информации;

Оценка относимости информации;

Порядок отбора и фиксации информации.

Комплектование - процесс сложения информации из множества частей в единое целое и доведения её до пользователя.

Поиск и выдача информации - установление специального технологического порядка удовлетворения информационных потребностей абонентов информационной системы в управленческой деятельности и технологических процессах.

Поддержание целостности и сохранения информации - пересмотр, ревизия и отсеивание утратившей актуальность информации являются неотъемлемой функцией информационных подразделений. Сохранность информации осуществляется с помощью нормативно - инструктивных документов.

По характеру предоставления логической организации хранимой информации информационные системы разделяются на фактографические, документальные и геоинформационные.

Фактографические информационные системы накапливают и хранят данные в виде множества экземпляров одного или нескольких типов структурных элементов. Каждый из таких экземпляров структурных элементов или некоторая их совокупность отражают сведения, по какому - либо факту, событию. Структура каждого типа информационного объекта состоит из конечного набора реквизитов, отражающих основные аспекты и характеристики сведений для объектов данной предметной области.

В документальных информационных системах единичным элементом информации является нерасчлененный на более мелкие элементы документ и информация при вводе, как правило, не структурируется, или структурируются в ограниченном виде. Для вводимого документа могут устанавливаться некоторые формализованные позиции - дата изготовления, исполнитель, тематика. Некоторые виды документальных информационных систем обеспечивают установление логической взаимосвязи вводимых документов - соподчиненность по смысловому содержанию.

В геоинформационных системах данные организованы в виде отдельных информационных объектов, привязанных к общей электронной топографической основе. Геоинформационные системы применяются для информационного обеспечения в тех предметных областях, структура информационных объектов и процессов в которых имеется географический компонент.

Другим критерием классификации поисковых систем являются функции или решаемые задачи. По данному признаку различаются справочные, поисковые и расчётные системы.

Справочные являются наиболее распространенным типом функций информационных систем, и заключается в предоставлении абонентам системы возможностей получения установочных данных на определённые классы объектов.

Поисковые являются наиболее распространённым классом информационных систем. В общем, виде можно рассматривать как некое информационное пространство, задаваемое в терминах информационно - логического описания предметной области.

Расчетные заключается в обработке информации, находящейся в системе, по определённым расчётным алгоритмам для различных целей.

Технологические функции информационных систем заключаются в автоматизации всего технологического цикла или отдельных его компонентов, производственной или организационной структуры.

Таким образом, к основным функциям ИПС можно отнести:

Хранения больших объемов информации;

Быстрого поиска требуемой информации;

Добавления, удаления и изменения хранимой информации;

Вывода информации в удобном для человека виде.

Различают: - автоматизированные (coputerised);

Библиографические (reference);

Диалоговые (online);

Документальные и фактографические информационно-поисковые системы.

Информационно-поисковые системы в последнее время начали ускоренно развиваться, появляются новые системы, они широко рекламируются и продаются. Это обусловлено значительно возросшей потребностью общества в эффективной работе с правовой и нормативно-технической информацией и использованием при этом компьютерных информационно-поисковых систем. Широкое распространение поисковых систем явилось подлинным прорывом в области информатизации в России и дало возможность техническим специалистам предприятий получить свободный доступ к правовым и нормативно-техническим документам.

Качество принятых специалистом решений зависит от количества обработанной информации. В современных условиях обойтись без мощного и удобного инструмента, помогающего в поиске и обработке информации, невозможно. Эффективное использование поисковых систем зависит от того, насколько технический специалист знает специфику, возможности и область применения этих новых информационных систем.

Создание современных систем хранения информации осуществляется двумя основными способами: с использованием иерархической и гипертекстовой моделей. В иерархической модели используется многоуровневая рубрикация при классификации информации. Для поиска документа используется его краткое описание, составляемое при вводе информации в систему. Современная гипертекстовая модель позволяет в электронных документах использовать ссылки на другие документы.

Опыт эксплуатации различных систем обработки и поиска информации, основанных на таких моделях указывает на то, что они не лишены недостатков. Обе системы требуют значительных материальных затрат на разработку и формирование, а значит, ограничены в объемах хранимой информации. Формирование рубрикаторов и ссылок производится специалистами, а их представление об информации и представление пользователя могут различаться.

Санкт-Петербургский государственный университет

Филологический факультет

Кафедра математической лингвистики

В.П. Захаров

ИнформационнО-ПОИСКОВЫЕ
системы

Учебно-методическое пособие

Санкт-Петербург

Рецензенты:

докт. техн. наук В.Ш. Рубашкин (С.-Петерб. гос. ун-т)

канд. пед. наук О.А. Арбатская (С.-Петерб. гос. ун-т культ. и иск-в)

Печатается по постановлению
Редакционно-издательского совета
С.-Петербургского государственного университета

Захаров В.П.

З-38Информационно-поисковые системы: Учебно-метод. пособие. - СПб., 2005. - 48 с.

Предлагаемое пособие содержит описание основ документального информационного поиска, программу учебной дисциплины «Теория информационного поиска», которая изучается студентами 3-го курса отделения структурной и прикладной лингвистики Санкт-Петербургского государственного университета, и набор лабораторных (практических) работ по этой дисциплине. Отдельные лабораторные работы используются для обучения студентов других курсов и по другим дисциплинам. Пособие базируется на исследовательской и преподавательской деятельности автора.

Для студентов и аспирантов, специализирующихся в области прикладной лингвистики, информационных систем и автоматизированных систем обработки текста.

ã В.П. Захаров, 2005

ã Санкт-Петербургский
государственный
университет, 2005

1. Введение в теорию и практику
информационного поиска

1.1. Основные понятия информационного поиска

Информационно-поисковая система (ИПС) - это упорядоченная совокупность документов (массивов документов) и информационных технологий, предназначенных для хранения и поиска информации - текстов (документов) или данных (фактов). Информационно-поиско-выми системами являются любые определенным образом организованные хранилища информации. Причем информационно-поисковые системы могут быть и неавтоматизированными. Главное - это целевая функция: хранение и поиск информации.

В зависимости от объекта хранения и типа запроса различают два вида информационного поиска: документальный и фактографический - и, соответственно, два типа ИПС - документальные и фактографические. Последние также называют информационно-справочными ИПС.

Документальными называются ИПС, в которых реализуется поиск по тематическим запросам в массиве документов или текстов с последующим предоставлением пользователю подмножества этих документов или их копий. Понятие документа может меняться от системы к системе. В общем случае это некий информационный объект, зафиксированный (обычно посредством некоторой знаковой системы) на каком-то материальном носителе (бумага, фото- и кинопленка, магнитная память и т.п.) и предназначенный для передачи в пространстве и времени в системе социальных коммуникаций.

Фактографические ИПС реализуют хранение, поиск и выдачу непосредственно фактических данных (научных, технических, экономических характеристик и свойств объектов, процессов, явлений, адресов, наименований, количественных данных и т.п.).

Главное, сущностное, различие между документальным и фактографическим поиском заключается в подходе к семантике документов. В документальных системах описывается смысл документов в целом с точки зрения их тематического, предметного содержания. В этом случае важно выявить и назвать (перечислить) основные темы и объекты, которым посвящен документ. В фактографических системах описываются объекты, фиксируются их признаки и значения этих признаков. Отсюда различия в языках описания и способах хранения описаний в системе. Соответственно, для каждого вида поиска существуют свои поисковые средства.

Фактографические системы предполагают накопление и поиск в массиве документов со строго регламентированной структурой. Такая структура является или результатом предварительной интеллектуальной обработки документов при вводе информации в систему, или наличием таких документов в готовом виде в конкретных сферах человеческой деятельности, например, учетные формы, бланки, справочники, расписания и т.п. Существуют фактографические ИПС, которые обеспечивают накопление информации и поиск только по одному типу объектов и только по одному типу запросов. Существуют и более развитые фактографические системы, обеспечивающие хранение и поиск данных, разнообразных по содержанию и структуре, но это разнообразие всегда конечно.

В то же время между документальными и фактографическими системами нет непреодолимой разницы. Нередко реальные ИПС представляют собой пример смешанных систем, в которых фактографическая информация используется как дополнительное средство документального поиска, и наоборот. В документальных системах тексты (документы) также могут быть структурированы, разбиты на фрагменты или поля, и обработка и выдача документальной информации может вестись на уровне отдельных полей.

Выделяют еще и третий тип систем, которые называют информационно-логическими. Это системы, отвечающие на запросы, на которые в информационной базе в явном виде ответа нет. Получить ответ помогает экстралингвистическая база знаний и информация, порождаемая алгоритмически из уже имеющейся (документальной или фактографической). Эта новая информация или выдается как ответ на запрос, или дополнительно используется для поиска.

Информационно-поисковая система документального типа представляет собой упорядоченную совокупность документов, а также совокупность средств и методов, предназначенных для хранения, поиска и выдачи по запросам документальной информации. Документальная ИПС выдает документы, соответствующие запросу по теме, по предмету. Документ, центральный предмет или тема которого в целом соответ-ствует смысловому содержанию информационного запроса, называется релевантным , а свойство смысловой близости между двумя и более текстами (в данном случае - между документом и информационным запросом) - релевантностью . Релевантность - это фундаментальное понятие теории информационного поиска. Говорят о двух видах релевантности: смысловой и формальной. Соответствие документа содержа-нию информационного запроса называют смысловой релевантностью, а соответствие поискового образа этого документа формализованному поисковому предписанию, выражающему данный информационный запрос, - формальной релевантностью. Также формальную релевантность называют релевантностью документа, а смысловую релевантность - релевантностью информации (имеется в виду «информации, содержащейся в документе»).

Составные части ИПС называют подсистемами. Разделение на подсистемы необходимо и полезно как в целях разработки, так и для описания технологии функционирования систем. Оно может иметь разную основу. Обычно рассматривают два типа разбиения ИПС на подсистемы: по функциональному принципу (функциональные подсистемы) и по типу средств (обеспечивающие подсистемы).

Различные средства, реализующие функции ИПС, получили название обеспечивающих подсистем , или «обеспечений». Выделяют следующие подсистемы: лингвистическое обеспечение, информационное обеспечение, техническое обеспечение, программное обеспечение, технологическое обеспечение, кадровое обеспечение и др.

Информационное обеспечение - это информационные массивы (документы, запросы, метаданные), а также средства и способы их описания, построения и классификации.

Лингвистическое обеспечение - это логико-семантический аппарат, состоящий из информационно-поискового языка, правил применения (методик индексирования), критерия выдачи и других языковых средств.

Программное обеспечение - это алгоритмы и программные средства, реализующие все функции ИПС, выполняемые с помощью компьютера.

Техническое обеспечение - это технические средства (компьютеры, средства телекоммуникаций), обеспечивающие хранение, поиск и передачу информации.

Технологическое обеспечение - это набор и порядок выполнения автоматизированных и неавтоматизированных процессов и процедур обработки информации в ИПС, включая их описание, информационно-технологические схемы и инструктивно-методические материалы.

Кадровое (или штатное) обеспечение - это люди, взаимодействующие с системой и обеспечивающие ее эксплуатацию (обслуживающий персонал).

ИПС также делят на составные части (подсистемы) по функциональному признаку, когда каждая подсистема выполняет определенную функцию в технологическом процессе: ввод документов, индексирование документов, ввод и корректировка запросов, индексирование запросов, поиск, ведение словарей, ведение статистики, обработка результатов поиска, выдача документов и др. Такие части получили название функциональных подсистем .

Важные понятия в информационном поиске - документ и запрос. Документ определяется как средство закрепления любым способом на специальном материале любой информации о фактах, событиях, явлениях объективной действительности и мыслительной деятельности человека. Документы имеют различную форму представления. В автоматизированных документальных ИПС это прежде всего текстовая информация на естественных языках в машиночитаемой форме.

Запрос представляет собой информационную потребность, сформулированную на естественном языке. Результат «перевода» информационного запроса на информационно-поисковый язык называют поисковым образом запроса (ПОЗ) или поисковым предписанием (ПП). Под этим понимают выражение на языке запросов , который включает в себя как собственно ИПЯ, так и средства управления поиском. Синтаксис и семантика языков запросов определяется структурой и наполнением документов и общими задачами системы.

Третья часть информационного обеспечения - так называемая «выдача», результаты поиска. Выдача существует в двух видах: краткие описания документов и собственно документы.

Важнейшей компонентой информационно-поисковых систем является информационно-поисковый язык. Человек, чтобы отобрать из массива документов нужные, должен прочитать или просмотреть их содержимое. Для ускорения и упрощения этой процедуры появились различные формы сокращенной записи содержания документов - аннотации, рефераты, каталоги. Но во всех этих случаях при отборе документов по их сокращенным описаниям используется естественный язык. Хорошо известны такие «недостатки» языковых знаков, как омонимия, синонимия, многозначность. Точное значение многих слов можно понять только в контексте. Это препятствует использованию естественного языка для фиксации и отождествления понятийной информации. Поэтому формальные системы, предназначенные для хранения документальной информации с целью последующего поиска, потребовали создания специальных информационных языков. Информационно-поисковые языки представляют собой знаковые системы со своим алфавитом, лексикой, грамматикой и правилами пользования. Заметим лишь, что все искусственные языки так или иначе создавались и создаются на основе естественных языков.

При сопоставлении документов и запросов требуется определить релевантность документа по отношению к запросу и принять решение о выдаче или невыдаче документа на данный запрос. Правила, на основе которых формально определяется степень релевантности документа и запроса, т.е. соответствие ПОД и ПОЗ, называются критерием смыслового соответствия (КСС), или критерием выдачи .

Математические модели и формулы вычисления коэффициента релевантности могут быть самые разные. На практике повсеместное распространение получили ИПС с логическим критерием выдачи , когда ПП строятся с использованием логических (булевых) операторов конъюнкции (&), дизъюнкции (\/), отрицания (~). В этом случае логическое выражение запроса представляет собой набор поисковых элементов (обычно ключевых слов), объединенных логическими операторами и скобками, необходимыми для указания порядка выполнения операторов. Ключевые слова ПП играют роль булевых переменных, принимающих значение 1 («истина»), если данное слово содержится в документе, и 0 («ложь»), когда оно там отсутствует. Документ признается релевантным запросу, если логическая формула запроса в целом получает для данного документа значение «истина», и нерелевантным, если результат вычисления логической формулы дает «ложь».

Принятые в логике для обозначения конъюнкции, дизъюнкции и отрицания значки (&, \/, ~) в информационном поиске обычно заменяют на операторы AND, OR и NOT соответственно. В России чаще используются обозначения И, ИЛИ, НЕ. Однако в общем случае в каждой конкретной ИПС обозначения для булевых операторов выбираются свои, причем иногда для удобства пользователя вводится несколько значков для одного и того же оператора (например, в ИПС «Апорт» оператор конъюнкции может быть задан следующими знаками: &, пробел, AND, И, +).

Использование булевых операторов обеспечивает логику сравнения документов и запросов, понятную пользователю. Поиск (вычисление истинности для элементов ПП), как правило, проводится по специальным индексным (инвертированным) файлам, построенным на основе словника документального массива, и характеризуется высокой скоростью. Эти простота и понятность логического КСС и явились причиной его широкой распространенности.

Проблема оценки эффективности поиска является комплексной проблемой, включающей как теоретическую, так и практическую сторону. Главные из функциональных (технических) показателей ИПС, базирующихся на релевантности, - это полнота и точность, которые основываются на разделении документов на релевантные и нерелевантные, а также на выданные и невыданные.

Полнотой поиска (П) (англ. Recall - R) называется мера, вычисляемая как отношение количества выданных релевантных документов к общему числу релевантных документов, содержащихся в информационном массиве.

Точность поиска (Т) (англ. Precision - P) - это отношение количества выданных релевантных документов к общему числу документов в выдаче .

1.2. Информационный поиск в сети Интернет

Переход к информационному обществу XXI века породил беспрецедентный рост объемов и концентрации информации в глобальных компьютерных сетях. Это резко обострило проблему создания информационно-поисковых систем (ИПС) и их эффективного использования.

История автоматизированных информационно-поисковых систем исчисляется полувеком. Типичная ИПС первых лет - это человеко-машинная система, где анализ и описание содержания документов (индексирование) выполняется вручную, а поиски проводятся машиной. Первоначально основу ИПС составляли информационно-поисковые языки (ИПЯ), основным элементом которых являются дескрипторные словари и тезаурусы. Сегодня, однако, большинство работающих ИПС относится к классу вербальных систем бестезаурусного типа, когда индексационные термины выбираются непосредственно из текстов документов. Лавинообразный рост объемов электронной документальной информации, ее видовое, тематическое и языковое разнообразие являются как причиной кризиса современного информационного поиска, так и стимулом его совершенствования.

Проблема поиска ресурсов в сети Интернет была осознана достаточно скоро, и в ответ появились различные системы и програм-мные инструменты для поиска, среди которых следует назвать системы Gopher, Archie, Veronica, WAIS, WHOIS и др. В последнее время на смену этим инструментам пришли «клиенты» и «серверы» всемирной паутины WWW.

Если попытаться дать классификацию ИПС сети Интернет, то можно выделить следующие основные типы:

1. ИПС вербального типа (поисковые системы – search engines)

2. Классификационные ИПС (каталоги – directories)

3. Электронные справочники («желтые» страницы и т.п.)

4. Специализированные ИПС по отдельным видам ресурсов

5. Интеллектуальные агенты.

Глобальный учет всех ресурсов Интернета обеспечивается вербальными и отчасти классификационными системами.

Классификационные ИПС реализуют навигацию в веб-пространстве на основе специальных указателей, представляющих собой тематические «деревья», строящиеся на основе классификаций. Схемы классификации ресурсов в Интернете - это, как правило, древесные структуры, узлы которых названы словами естественного языка. Различные классификационные схемы отличаются друг от друга по объему и методологии их составления. Одним из недостатков универсальных иерархических классификаций является то, что они консервативны и отстают от развития науки, техники и жизни вообще. Главная проблема классификационных поисковых служб - это автоматизация классификации. До сих пор задача автоматической классификации удовлетворительного решения не нашла. Регистрация веб-сайтов и веб-страниц в каталогах, как правило, осуществляется людьми - индексаторами и модераторами данной системы. И поэтому объем базы данных систем классификационного типа сравнительно невелик по сравнению с информационной емкостью всего Интернета.

Для решения проблемы максимального охвата ресурсов Интернета создаются системы, называемые метапоисковыми (metasearch engines). Они не имеют собственных поисковых баз данных, не содержат никаких индексов и при поиске используют ресурсы других поисковых систем. За счет этого вероятность нахождения нужной информации возрастает. Для передачи запроса к поисковой системе используется специальный метапоисковый агент, который отвечает за процесс ретрансляции запроса в другие системы. После обработки полученного запроса каждая система возвращает метапоисковому агенту множество описаний и ссылок на документы, которые считает релевантными данному запросу. При всей привлекательности метапоисковых систем следует помнить и об их минусах и недостатках. Прежде всего, отсутствие единого стандарта языка запросов не позволяет метасистемам добиваться от поисковых систем, выполняющих запросы метапоисковых систем, такого же результата, какого может добиться опытный пользователь при работе с каждой машиной в отдельности.

Основным средством поиска информации в сети сегодня следует считать глобальные ИПС вербального типа (search engines), индексирующие (по крайней мере, претендующие на это) все Интернет-пространство. К числу главных поисковых систем этого типа (в первую очередь, по объему базы данных) можно отнести Google, Fast (AlltheWeb), AltaVista, HotBot, Inktomi, Teoma, WiseNut, MSN Search. Среди российских систем главными являются три: Яндекс (Yandex), Рамблер (Rambler) и Апорт! (Aport). Полнота поисковой базы и оперативность индексирования веб-сайтов является главной проблемой всех ИПС в Интернете. Как правило, системы с бóльшим объемом базы дают в результате поиска и большее количество документов. Большая, как лингвистическая, так и программная проблема - многоязычие информационного пространства Интернета и многообразие форматов представления данных. Тем не менее, основные глобальные системы с этими проблемами справляются.

Именно вербальным ИПС и уделено основное внимание в практической части пособия. Прежде всего, моделируется уровень пользователя, выражающийся в языках запросов и в запросно-ответных интерфейсах. Производится сравнительный анализ языков запросов различных ИПС сети Интернет.

Особенность современных систем - полнотекстовый поиск. Многие вербальные ИПС сети Интернет вычисляют релевантность документов запросам путем сопоставления элементов запроса с полными текстами документов, размещенных в сети. Что касается информационно-поискового языка, то, как правило, в качестве поисковых элементов выступают обычные слова естественных языков. Запросы формулируются через специальный интерфейс, реализуемый в виде экранных форм в программах-броузерах.

Полезно представлять, как эти системы устроены. В составе любой поисковой системы можно выделить три основные части.

Робот - подсистема, обеспечивающая просмотр (сканирование) Интернета и поддержание инвертированного файла (индексной базы данных) в актуальном состоянии. Этот программный комплекс является основным средством сбора информации о наличии и состоянии информационных ресурсов сети.

Поисковая база данных - так называемый индекс - специальным образом организованная база (англ. index database), включающая, прежде всего, инвертированный файл, который состоит из лексических единиц, взятых из проиндексированных веб-документов, и содержит разнообразную информацию о них (в частности, их позиции в документах), а также о самих документах и сайтах в целом.

Поисковая система - подсистема поиска, обеспечивающая обработку запроса (поискового предписания) пользователя, поиск в базе данных и выдачу результатов поиска пользователю. Поисковая система общается с пользователем через пользовательские интерфейсы - экранные формы программ-броузеров: интерфейс формирования запросов и интерфейс просмотра результатов поиска.

Индексный файл (или просто индекс) представляет собой набор связанных между собой файлов, ориентированных на быстрый поиск данных по запросу. В основе индекса всегда лежит инвертированный файл. Инвертированная (инверсная) схема организации поискового массива основана на принципе обеспечения доступа к документам через их идентификаторы содержания (поисковые признаки: дескрипторы, ключевые слова, термины, другие признаки). Такую схему получают путем обработки последовательного массива документов с целью создания специальных вспомогательных инвертированных файлов - точек доступа.

Каждая запись такого вспомогательного массива идентифицирована соответствующим идентификатором содержания (дескриптор, ключевое слово, просто термин, имя автора, название организации и т.п.) и содержит имена (адреса хранения) всех документов, в поисковых образах которых он содержится. Для каждого идентификатора содержания (поискового элемента данных) в инвертированном массиве вместе с адресом (номером, именем) документа может храниться (и обычно хранится) дополнительная информация, как-то: имя поля, номер предложения, в составе которых данный элемент встретился в данном документе, номер слова в предложении и т.д. Фиксация положения слова в тексте с точностью до номера предложения и номера этого слова в предложении позволяет построить гибкий язык запросов, позволяющий задавать расстояние между словами и предложениями в документе. Позиционные характеристики также используются при вычислении коэффициента релевантности и ранжировании документов в выдаче.

Нахождение необходимых документов через инвертированный файл осуществляется не сплошным просмотром всего массива, а просмотром лишь тех идентификаторов содержания в инвертированном файле, которые заданы в поисковом предписании, т.е. число операций сравнения слов при поиске пропорционально числу терминов поискового предписания. Такой способ работы систем снижает время на поиск и позволяет обслуживать потребителей информации в реальном масштабе времени.

Поиск в индексе - это операции над списками идентификаторов поисковых элементов в соответствии с моделью поиска и критерием соответствия. Результирующий список релевантных документов (в современной терминологии «отклик»), который преобразуется в ранжированный список кратких описаний документов, снабженных гипертекстовыми ссылками и другими характеристиками, возвращается пользователю в его клиентскую программу-броузер. Щелчок мышью по названию документа в его кратком описании (по гиперссылке) запрашивает этот документ либо непосредственно с того сервера, на котором он находится, либо через базу данных поисковой системы.

Важным компонентом современных ИПС являются так называемые интерфейсные веб-страницы, т.е. экранные формы, через которые пользователь общается с поисковой системой. Различают два основных типа интерфейсных страниц: страницы запросов и страницы результатов поиска.

индексирование полных текстов возможно большего числа сайтов;

«грамотная» работа со словоформами - способность ИПС отождествлять разные словоформы одной и той же лексемы, по-другому, порождать каноническую форму - лемму, и возможность выделять среди множества словоформ конкретную форму;

поиск слов с заданным или произвольным усечением, как правым, так и левым;

работа со словосочетаниями - учет расстояния между словами в словосочетаниях и порядка их следования;

эффективные алгоритмы вычисления коэффициента смысловой релевантности и ранжирования результатов поиска.

Также важно, какую информацию и в каком виде можно извлечь из выходных интерфейсов ИПС. Интерфейс выдачи (форма представления результатов) у разных систем включает такие параметры: статистика слов из запроса, количество найденных документов, количество сайтов, средства управления сортировкой документов в выдаче, краткое описание документов и др. Описание каждого документа, в свою очередь, может содержать в своем составе: заглавие документа, URL (адрес в сети), объем документа, дату создания, название кодировки, аннотацию, шрифтовое выделение в аннотации слов из запроса, указание на другие релевантные веб-страницы того же сайта, ссылка на рубрику каталога, к которой относится найденный документ или сайт, коэффициент релевантности, другие возможности поиска (поиск похожих документов, поиск в найденном). Большой интерес представляют также частотные характеристики - сведения о количестве найденных документов и отождествленных языковых единиц. Некоторые системы ведут журнал запросов с возможностью повторных поисков и выдачей статистики по запросам. Полезной и интересной возможностью является также отнесение документов к тематическим классам.

Покажем особенности разных систем, наиболее популярных и обладающих наиболее развитым лингвистическим обеспечением (см. Табл., с. 14). В первую очередь, это российские ИПС Яндекс, Рамблер и Апорт. Возможно, наиболее мощный лингвистический аппарат имеет ИПС «Артефакт» (фирма «Интегрум-ТЕХНО», г. Москва), однако эта система является коммерческой и ее база данных по составу заметно отличается от других. Из западных систем, в большинстве своем не обладающих развитыми лингвистическими средствами анализа текстового материала, возьмем хорошо известные ИПС Google и AltaVista. Кратко охарактеризуем особенности этих систем (наличие или отсутствие соответствующих возможностей помечено знаками «+» и «-»).

«Поиск по лексемам» означает, что результат сравнения слов документов и запросов признается положительным при наличии в документе любой формы слова из запроса, что обеспечивается механизмом автоматической лемматизации.

«Поиск по словоформам» означает, что результат сравнения документов и запросов признается положительным при наличии в документе словоформы, точно совпадающей со словом из запроса, что происходит при отсутствии автоматической лемматизации или обеспечивается особым механизмом учета словоформ.

«Частота подокументная» означает, что в результате поиска выдается сообщение о количестве релевантных документов, т. е. документов, содержащих данное слово (словоформу) или словосочетание.

«Частота пословная» означает, что в результате поиска дополнительно выдаются сведения об общем количестве словоупотреблений данной лексемы или конкретной словоформы в поисковой базе данных (индексе).

Характеристика поисковых систем

Поиск по лексемам	+ (однословный запрос или логическая формула)
Поиск по словоформам	+ (в синтагмах: однословный запрос в кавычках или словосочетание в кавычках)
Учет синтагм (неразрывных словосоч.)
Учет больших и малых букв	+ (в синтагмах)
Частота послов- ная
Частота подокументная

1.3. Языки запросов ИПС Интернет

Обратившись в какую-либо службу, пользователь, не выходя из броузера, работает с «клиентом» этой службы, предоставляющим нам тот или иной язык запросов. Как правило, это языки без контроля лексики. Фактически, мы имеем дело с нормальным ИПЯ, реализованным в архитектуре «клиент-сервер», но видим только «надводную» часть этого ИПЯ - язык запросов. Язык запросов большинства систем включает в себя как традиционные булевы операторы, так и специальные контекстные операторы, учитывающие структурирование документа, порядок слов в тексте и расстояние между словами.

На языке запросов описывается сам запрос и иногда форма представления результатов. В языках запросов сетевых ИПС можно выделить следующие основные компоненты.

1) Собственно поисковые элементы (объекты поиска).

Это или ключевые слова, или другие идентификаторы содержания.

2) Поисковые операторы.

Почти во всех языках запросов используются булевские логические операторы И, ИЛИ, НЕ. Форма, в которой эти операторы задаются в запросе, самая разная, и разнится она как в отдельных службах, так и в разных типах запросов (простой, сложный).

3) Нормализация элементов запроса.

Одни и те же лексические единицы в документах и запросах могут быть представлены в разной форме. В поисковых службах имеются способы нормализации таких лексических единиц. Эта нормализация может задаваться самим пользователем (способ, известный под названием «усечения» (truncation) или «маскирования» (wildcards)) или выполняться автоматически (последнее предпочтительнее).

4) Линейная грамматика: порядок следования поисковых элементов и расстояние между ними.

Во-первых, это «фразы» (жесткие словосочетания).

Во-вторых, имеются специальные контекстные операторы (контекстное И), когда условие совместного вхождения элементов запроса в документ должно выполняться в контексте определенной длины.

5) Дополнительные условия поиска.

Для уменьшения объема выдачи и повышения точности используются различные дополнительные условия поиска, как-то:

– поиск в определенных полях (частях) документа;

– ограничение области поиска различными критериями (дата, тип данных, формат, и т.п.).

6) Требования к форме представления результатов поиска.

– требования на сортировку (ранжирование) выдаваемых результатов поиска;

– вид выдаваемых результатов;

– количество выдаваемых документов.

Для получения (просмотра) самих документов (веб-страниц) и их просмотра необходимо отправиться по http-адресу. Как правило, системы предоставляют возможность посмотреть контекст - фрагменты документов с выделенными ключевыми словами запроса.

В процессе поиска пользователю, как правило, дается возможность вернуться к старому запросу и либо просто уточнить, сузить его, либо перейти в другой режим поиска, предоставляющий более сложные поисковые средства. Довольно широко также распространен еще один способ поиска - поиск по образцу (search similar pages). При этом стратегия поиска выбирается самой системой.

2. Программа учебной дисциплины
«Теория информационного поиска»

2.1. Организационно-методический раздел

Программа дисциплины составлена в соответствии с государ-ственным образовательным стандартом высшего профессионального образования по направлению 021800 - Лингвистика.

Цель курса состоит в том, чтобы дать студентам теоретические основы информационного поиска, в первую очередь, документального, и навыки использования различных документальных ИПС, в том числе в сети Интернет.

Задачи курса:

ознакомить студентов с основными понятиями и пробле-мами автоматизированного информационного поиска;

ознакомить студентов с основными принципами организа-ции и функционирования информационно-поисковых систем (ИПС);

изучить различные ИПС, в том числе ИПС сети Интернет;

сформировать навыки исследовательской работы по анали-зу и сопоставлению различных систем.

Место курса в профессиональной подготовке выпускника: курс носит пропедевтический характер. Он рассчитан на широкий круг студентов-гуманитариев и призван дать им основополагающее пред-ставление о способах хранения и поиска информации.

Требования к уровню освоения содержания курса

В результате обучения студент:

должен знать:

основные понятия, относящиеся к информационным сис-темам;

основные типы систем;

понятие информационно-поискового языка;

понятия релевантности и критерия смыслового соответ-ствия;

основные поисковые системы сети Интернет;

языки запросов и интерфейсы этих систем;

должен уметь:

осуществлять поиск в сети Интернет;

сравнивать и анализировать различные системы.

Разделы курса:

Основы информационного поиска

Документальные ИПС

Фактографические ИПС

Информационный поиск в сети Интернет

Раздел 1. Основы информационного поиска

Предмет, цели и задачи курса. Связь курса с другими дисциплинами.

Информация, информационные процессы, информационные системы, информационные потоки, информационные технологии. Типы информационных систем (АИПС, АСНТИ, АСУ, АСНИ, АОС, САПР, ЭС, БЗ и др.).

Основные понятия информационного поиска: информация, информационная система, информационная потребность, релевантность.

Данные и документы. Виды информационных документов. Текстовые документы. Описание документов.

Запросы. Типы запросов. Предметный поиск. Основные проблемы автоматизации семантических процессов обработки информации.

Информационно-поисковые системы (ИПС). Типы ИПС. Краткий обзор основных типов: документальные, фактографические, интеллектуальные.

Библиографический поиск. Библиографические базы данных и электронные каталоги. Библиотечные системы.

Нетекстовые информационные системы (географические, картографические и др.). Поиск объектов по их описаниям (графические файлы, музыкальные файлы и т.п.). Поиск изображений и видеоинформации.

Раздел 2. Документальные ИПС

История развития автоматизированных документальных ИПС, этапы развития. Интегрированные системы. АСНТИ. Особенности современного этапа.

Составные части ИПС. ИПЯ. . Модели поиска. Абстрактная и конкретная ИПС.

Структура документальных и фактографических ИПС. Функциональные подсистемы. Структурная схема документальной ИПС.

Двухконтурные системы. Полнотекстовые ИПС. Гипертекстовые информационные системы.

Обеспечивающие подсистемы. Техническое обеспечение. Програм-мное обеспечение. Компьютерные сети. Особенности построения сетевых ИПС.

Математическая модель документальной ИПС.

Организация поисковых массивов в ИПС.

Классификация документальных ИПС по различным основаниям.

Раздел 3. Фактографические ИПС

Фактографическая информация. Хорошо структурированная и плохо структурированная фактографическая информация.

Объектно-характеристические таблицы.

Язык семантической эксп-ликации.

Эффективность фактографических ИПС.

Библиографический поиск как вид фактографического.

Раздел 4. Лингвистическое обеспечение информационного поиска

Лингвистические средства информационного поиска. Состав лингвистического обеспечения ИПС.

Понятие информационно-поискового языка (ИПЯ). ИПЯ как основной элемент логико-семантического аппарата ИПС.

Информационно-поисковые языки: классификация, типология. Объектно-признаковые языки. Классификации. Алфавитно-предметные и фасетные классификации.

Дескрипторные языки. Вербальные языки.

Семантические и синтагматические языки.

Способы описания языков. Составные части дескрипторных информационно-поисковых языков (алфавит, словарь, грамматика).

Нормирование лексики в ИПС. Дескрипторные словари. Тезаурусы. Создание словарей и тезаурусов. Авторитетный контроль как элемент лингвистического обеспечения автоматизированных библиотечных систем.

Грамматические средства ИПЯ. Парадигматические и синтагматические отношения.

Индексирование документов и запросов. Поисковые образы доку-ментов и запросов.

Языки запросов: понятие и состав. Средства и методы выражения информационной потребности. Поисковые предписания.

Модели поиска. Поисковые операторы.

Средства морфологической нормализации.

Языковые средства представления и структурирования электрон-ных документов (форматы, языки SGML, HTML, XML). Языки мета-данных (Dublin Core, GILS и др.).

Лингвистическое обеспечение фактографических ИПС. Основные единицы ИПЯ фактографических ИПС.

Раздел 5. Функционирование и эксплуатация ИПС

Информационное, технологическое и кадровое обеспечение.

Технология предмашинной обработки информации. Индексирование документов и запросов. Особенности поиска в зависимости от видов документов.

Режимы функционирования ИПС (ИРИ, ретроспективный поиск). Пакетный и диалоговый режимы.

Основные технические характеристики документальных ИПС (пол-нота, точность). Факторы, влияющие на эффективность поиска. Оценки эффективности ИПС.

Средства и методы решения лексико-семантических проблем в ИПС. Проблемы составления поисковых предписаний. Обратная связь по релевантности.

Обеспечение результатов поиска первичными документами. Электронная доставка документов.

Раздел 6. Информационный поиск в сети Интернет

Значение компьютерных сетей для организации информационного обслуживания. Способы и средства доступа к удаленным докумен-тальным массивам. Протокол Z39.50 (Search/Retrieval).

Сеть Интернет, ее краткая характеристика. Интернет как элек-тронная транспортная система. Интернет как глобальное информаци-онное пространство.

Информационные ресурсы сети Интернет. FTP-серверы. GOPHER. WAIS.

Понятие о гипертексте. Гипертекстовые системы до появления Интернета. WWW-серверы. Навигация в сети. Проблемы поиска инфор-мации.

Документальные источники информации. Электронные документы. Форматы представления текстовой информации в сети (html, pdf, ps, doc и др.). Электронные издания.

Нетекстовые информационные объекты. Понятие электронной библиотеки.

Типология поисковых систем в сети Интернет. Различные основания для классификации (по ширине охвата, по внутренним характеристикам, по видам документов).

Типология поисковых систем в Интернет. Классификационные информационно-поисковые системы (каталоги). Вербальные (текстовые, словарные) информационно-поисковые системы (поисковые машины).

Глобальные информационно-поисковые системы и службы Интернета.

Естественные языки в Интернете. Региональные ИПС. Региональные версии глобальных систем. Русскоязычный Интернет.

Методы создания поисковых баз данных в глобальных системах. Индексирование и регистрация. Роботы-индексаторы. Инструменты управления индексированием (файл robots.txt, META-элементы).

Особенности лингвистического и информационного обеспечения ИПС в Интернет. Вербальные ИПЯ. Грамматические средства ИПЯ: синтагматика. Контекстно-позиционные операторы («фразы», операторы расстояния и др.).

Проблемы ранжирования документов в выдаче. Способы управления ранжированием.

Входные интерфейсы. Языки запросов (простые, расширенные). Их состав, примеры. Сравнительный анализ языков запросов ИПС сети Интернет. Сохранение запросов (история сеанса).

Выходные интерфейсы. Представление результатов поиска. Описание документов (веб-страниц), описание сайтов. Группирование документов по сайтам. Идентификация и объединение дублей.

Управление поиском. Статистика поиска. Поиск в найденном. Поиск по подобию.

Примеры вербальных ИПС. Сравнительный анализ поисковых систем.

Практикум по отладке запросов и поиску в вербальных ИПС.

Классификационные ИПС. Способы формиро-вания базы данных в классификационных системах. Регистрация, специальные регистрационные сайты. Поиск по рубрикатору.

Практикум по поиску в классификационных ИПС.

Раздел 7. Настоящее и будущее информационного поиска

Коммерциализация Интернета в целом и поисковых служб в частности. Реклама. Плата за ускоренную регистрацию.

Развитие локальных ИПС.

Проблемы унификации и стандартизации.

Средства обратной связи. Неформальные «поисковые сообщества».

Развитие лингвистического обеспечения.

Системы с централизованной и децентрализованной распределенной архитектурой.

Интеллектуализация информационного поиска. Интеллектуальные информационные системы.

Элементы интеллектуальной обработки в глобальных ИПС сети Интернет. Интеллектуальные агенты.

Языки метаданных, языки XML, RDF, OWL и другие средства описания содержания.

2.3. Примерные вопросы для самоконтроля

Дать определения:

Критерий выдачи

Релевантность

Тезаурус

Составные части ИПС

Состав лингвистического обеспечения

Инверсный файл

Выбрать правильные варианты ответов

Знак «&» в ИПС Рамблер означает операцию:

дизъюнкции (ИЛИ)

конъюнкции (И)

расстояния

Знак «|» в ИПС Яндекс означает операцию:

следования

конъюнкции (И)

дизъюнкции (ИЛИ)

Функциональные подсистемы ИПС - это:

лингвистическое обеспечение

программное обеспечение

техническое обеспечение

ввод документов

ввод запросов

критерий смыслового соответствия

язык запросов

выдача результатов поиска

инвертированные файлы

Типы ИПЯ - это:

морфологические языки

дескрипторные языки

семантические языки

классификационные языки

вербальные языки

вторичные языки

объектно-признаковые языки

Основные способы морфологической нормализации в ИПС:

на основе автоматического морфоанализа

усечение

маскирование

префиксация

Критерий смыслового соответствия - это:

правила индексирования

правила нормализации

правила вычисления полноты

методы ранжирования

методы классификации

Индексирование - это:

морфологическая нормализация

составление поискового образа

перевод на язык математической логики

перевод на ИПЯ

вычисление релевантности

составление дескрипторного словаря

Обеспечивающие подсистемы ИПС - это:

лингвистическое обеспечение

программное обеспечение

техническое обеспечение

ввод документов

ввод запросов

критерий смыслового соответствия

поисковые предписания

выдача результатов поиска

инвертированные файлы

Типы ИПЯ:

объектно-признаковые языки

классификационные языки

морфологические языки

семантические языки

вербальные языки

вторичные языки

дескрипторные языки

Критерий выдачи - это:

правила индексирования

правила нормализации

правила вычисления релевантности

правила вычисления полноты

методы ранжирования

методы классификации

2.4. Примерная тематика докладов, рефератов,
курсовых работ

Анализ и описание ИПС сети Интернет (выбор сис-темы по согласованию с преподавателем)

Создание терминологического банка данных по ин-форма-ционно-поисковым системам (выявление, клас-сификация терминов и толкований; результат - ги-пертекстовый словарь-указатель или поисковая база данных)

Исследование способов использования онлайновых словарей и тезаурусов (например, WordNet) для индекси-рования запросов в информационно-поисковых системах

Анализ и описание механизмов морфологической нормализации в информационно-поисковых системах

Учет синтагматических связей как средство повы-шения эффективности поиска в полнотекстовых ИПС (экспериментальное исследование)

Вычисления релевантности в информационно-поис-ковых системах (экспериментальное исследование)

Анализ исследований сравнительной эффективности полнотекстовых информационно-поисковых систем

Анализ лингвистического обеспечения полнотекс-товых информационно-поисковых систем

Аналитический обзор публикаций электронного жур-нала по информационно-поисковым системам Search Engine Report

2.5. Примерный перечень вопросов к экзамену
(зачету) по всему курсу

Абстрактная и конкретная (реальная) ИПС

Вербальные информационно-поисковые системы (поисковые машины). Их архитектура. Примеры вербальных ИПС

Глобальные и региональные ИПС в сети Интернет. Примеры

Грамматические средства ИПЯ. Способы выражения грамматических отношений

Дескрипторные словари. Тезаурусы

Документальная информация в сети Интернет. Текстовые документы. Языковые средства представления и структурирования документов (под углом поиска)

Индексирование документов и запросов. Автоматизация индексирования

Интеллектуальные информационные системы

Интернет как глобальная информационная среда. Информационные ресурсы сети. Проблемы поиска в сети Интернет

Информационная потребность, информационный запрос, поисковое предписание

Информационно-поисковые системы (ИПС). Типы ИПС. Краткий обзор основных типов

Информационно-поисковые языки: классификация, типология

ИПЯ. Дескрипторные языки. Вербальные языки

ИПЯ. Классификационные языки

История развития автоматизированных документальных ИПС, этапы развития. Особенности современного этапа

Классификационные информационно-поисковые системы (каталоги). Примеры классификационных ИПС

Классификация документальных ИПС по различным основаниям

Критерий смыслового соответствия. Модели поиска

Лингвистические средства информационного поиска. Состав лингвистического обеспечения ИПС

Методы создания поисковых баз данных в глобальных системах (индексирование, регистрация)

Морфологическая нормализация лексики в ИПС

Обеспечивающие подсистемы

Объектно-признаковые языки

Организация поисковых массивов в ИПС

Основные технические характеристики документальных ИПС (полнота, точность)

Понятие информационно-поискового языка (ИПЯ). Классификация (типология) ИПЯ

Понятия «информация» и «система». Информационные процессы и системы. Типы информационных систем

Проблемы многоязычного поиска в Интернет. Способы решения в разных ИПС

Проблемы поиска документов на русском языке. Русско-язычные ИПС

Проблемы составления поисковых предписаний. Обратная связь по релевантности

Смешанные (гибридные) системы. Метапоисковые системы. Примеры

Составные части дескрипторных информационно-поисковых языков

Составные части ИПС. Системные взаимосвязи между элементами ИПС

Сущность документального информационного поиска. Понятие релевантности

Семантические языки

Технология и режимы функционирования ИПС. Двухконтурные ИПС

Типология поисковых систем в Интернет

Фактографические ИПС

Функционально-структурная схема ИПС. Функциональные подсистемы

Язык запросов ИПС «Altavista». Интерфейс представления результатов поиска

Язык запросов ИПС «Google». Интерфейс представления результатов поиска

Язык запросов ИПС «Апорт». Интерфейс представления результатов поиска

Язык запросов ИПС «Рамблер». Интерфейс представления результатов поиска

Язык запросов ИПС «Яндекс». Интерфейс представления результатов поиска

Языки запросов современных информационно-поисковых систем. Сравнительный анализ

Языки запросов. Поисковые предписания.

2.6. Распределение часов курса по темам
и видам работы

	Наименование тем и разделов		Аудиторные занятия (ч) В том числе		Самостоятельная работа
				Семи-нары
	Основы информационного поиска
	Документальные ИПС
	Фактографические ИПС
	Лингвистическое обеспечение информационного поиска
	Функционирование и эксплуатация ИПС
	Информационный поиск в Интернет
	Настоящее и будущее информационного поиска
	ИТОГО:

2.7. Форма текущего, промежуточного и итогового контроля

В течение семестра слушатели готовят письменные работы (рефераты) по одной из выбранных тем, которые «защищаются» в конце курса в виде докладов. В конце курса - зачет.

2.8. Учебно-методическое обеспечение курса

Основная литература

Захаров В.П. Информационные системы (документальный поиск). СПб., 2002.

Информатика / Под ред. К.В. Тараканова. М., 1986.

Лахути Д.Г . Автоматизированные документально-фактогра-фические информационно-поисковые системы // Итоги науки и техники. Информатика. Т. 12. М., 1988. С. 6–77.

Солтон Дж. Динамические библиотечно-информационные системы. М., 1979.

Сэлтон Г. Автоматическая обработка, хранение и поиск информации. М., 1973.

Черный А.И . Введение в теорию информационного поиска. М., 1975.

Дополнительная литература

Аветисян Д.О . Проблемы информационного поиска. М., 1991.

Армс У. Электронные библиотеки. М., 2001.

Белоозеров В.Н. Новые стандарты на терминологию инфор-мационного поиска // НТИ. Сер. 1. 1997. № 11. С. 14–21.

Войскунский В.Г. Документальный поиск и обратная связь // Предметный поиск в традиционных и нетрадиционных информационно-поисковых системах. СПб., 1993. Вып. 11. С. 129–141.

Войскунский В.Г., Захаров В.П. Диалоговый отладочный комплекс // Структурная и прикладная лингвистика: Межвузовский сборник. Вып. 4. СПб., СПбГУ, 1993. С. 197–211.

Декер С., Мельник С., Хермелен ван Ф . Semantic Web: роли XML и RDF // Открытые системы. 2001. № 9. С. 23–33.

Захаров В.П., Мордовченко П.Г., Сахарный Л.В. Совершенствование лингвистического обеспечения в ИПС «бестезаурусного» типа // НТИ. Сер. 2. 1980. № 6. С. 14–19.

Захаров В.П., Панков И.П. Информационно-поисковые системы // Прикладное языкознание: Учебник / Отв. ред. А.С. Герд. СПб., СПбГУ, 1996. С. 334–359.

Захаров В.П., Пименов Е.Н . Естественно-языковой подход к созданию лингвистического обеспечения информационно-по-исковых систем // НТИ. Сер. 2. 1997. № 12.

Змитрович А.И. Интеллектуальные информационные систе-мы. Минск, 1997.

Капустин В.А. Поиск информации в Интернет // Мир Internet. 1998. №9. С. 54–58.

Капустин В.А. Информационные ресурсы - как мы их будем искать? // Мир Internet. 1998. № 9. С. 58–61.

Капустин В.А. Основы поиска информации в Интернет: Методическое пособие. СПб., 1999.

Курник А. Поиск в Интернет. СПб., 2001.

Информационно -поисковые системы. М., 1972.

Лахути Д.Г. Интеллектуализация информационных систем: Научный доклад… М., 2002.

Любарский Ю.Я. Интеллектуальные информационные системы. М., 1990.

Масевич А.Ц . Два подхода к теории ИПС в свете современных лингвистических концепций // Предметный поиск в традиционных и нетрадиционных информационно-поисковых системах. Л., 1989. Вып. 9. С.25–49.

Москович В.А . Информационные языки. М., 1971.

Пархоменко В.Ф. Система автоматического индексирования документов СКОБКИ ОС ЕС // М., 1983

Прикладное языкознание: Учебник. СПб., 1996. С. 59–67, 92–99, 360–388.

Рубашкин В.Ш. Представление и анализ смысла в интеллектуальных информационных системах. М., 1989.

Соколов А.В. Автоматизация библиографического поиска. - М., 1981.

Соколов А.В . Введение в теорию социальной коммуникации. СПб., 1996.

Соколов А.В . Методические материалы по разработке информационно-поисковых тезаурусов. Л., 1976.

Степанов В . Библиографический поиск в Интернет // Библиография. 1998. № 1. С. 5–10.

Храмцов П.Б . Информационно-поисковые системы Internet // Открытые системы. 1996. № 3. С. 46–49.

Храмцов П.Б . Моделирование и анализ работы информационно-поисковых систем Internet // Открытые системы. 1996. № 6. С. 46–56.

Шемакин Ю.И., Романов А.А . Компьютерная семантика. М., 1995.

Шемакин Ю.И . Тезаурус в автоматизированных системах управления и обработки информации. М., 1974.

Стандарты

Типовые проектные решения для автоматизированных сис-тем научно-технической информации. М., 1983.

ГОСТ 34.601-90. Информационная технология. Комплекс стандартов на автоматизированные системы. Стадии создания автоматизированных систем.

ГОСТ 34.602-89. Информационная технология. Комплекс стандартов на автоматизированные системы. Техническое задание на создание автоматизированной системы.

ГОСТ 7.52-85. Коммуникативный формат для обмена биб-лиографическими данными на магнитной ленте. Поисковый образ документа.

ГОСТ 7.74-96. Информационно-поисковые языки. Термины и определения.

РД 34.003-90. Информационная технология. Термины и опреде-ления.

РД 34.201-89. Информационная технология. Виды, комплект-ность и обозначения документов при создании автоматизированных систем.

РД 34.680-88. Методические указания. Информационная технология. Основные положения.

РД 34.698-90. Методические указания. Информационная технология. Требования к содержанию документов.

3. Практикум (лабораторные работы)

Инструкция по выполнению лабораторных работ

Результаты лабораторных работ сохраняются на жестком диске в папке соответствующей лабораторной работы Lab#N, где N - номер работы. При этом все эти папки, в свою очередь, хранятся в папке студента, которая имеет следующий путь: ДИСК:\ ФамилияПреподавателя\nnn-Фам\ , где nnn - номер (идентификатор) группы, Фам - фамилия студента. Например, все файлы и папки, создаваемые и сохраняемые в ходе лабораторной работы № 2 размещаются в папке D:\Захаров\ML_3kurs-Иванова\Lab#2. В заданиях лабораторных работ эта текущая папка студента называется «своя папка ».

В ряде случаев перед началом работы по указанию преподавателя следует скопировать (с компьютера преподавателя через «Сетевое окружение» или с дискеты) в свою папку дополнительные файлы, необходимые для выполнения задания.

Текстовый отчет c результатами выполнения соответствующей работы создается в редакторе Word. В окне документа требуется ввести фамилию, имя, номер группы/подгруппы, номер лабораторной работы, дату выполнения работы. Далее в этот файл записывать требуемые результаты выполнения работы (под номером соответствующего пункта задания ). Сохранять эти данные как файл отчета с именем ReportN в своей папке, где N - номер работы. Во избежание потери данных при сбоях формируемые студентами во время работы файлы рекомендуется регулярно сохранять.

Для предъявления преподавателю результатов работы расположить их на экране в следующих окнах, расположив их каскадом слева направо: содержимое папки защищаемой лабораторной работы (в окне Проводника), файл отчета в окне редактора Word, окно броузера (если требуется).

Лабораторная работа № 1

(Классификационные ИПС)

Открыть страницу поисковой системы Апорт (РОЛ, Russia On-Line). Ознакомиться с классификатором (рубрикатором) данной системы. Рубрики верхнего уровня переписать в тетрадь и перенумеровать. Переходя по рубрикам рубрикатора, найти два музея («Литературно-мемориальный музей Ф.М. Достоевского» и «Историко-мемориальный музей М.В. Ломоносова в селе Ломоносово Архангельской области»). Ознакомиться с формой представления информации о сайтах в каталоге.

Для каждого музея:

скопировать краткие описания указанных музеев в каталоге в файл отчета Report1;

указать индекс цитируемости (в виде числа) и лигу (в виде словесного названия) для данных музейных сайтов;

перейти на сайт музея и первую домашнюю страницу скопировать в своей папке в формате ;

создать «закладку» на сайт музея в своей папке в Избранном.

Открыть страницу поисковой системы Яндекс. Ознакомиться с классификатором (рубрикатором) данной системы. Рубрики верхнего уровня переписать в тетрадь и перенумеровать. Пометить (обвести) рубрики, совпадающие с рубриками Апорта (полностью или частично). Переходя по рубрикам рубрикатора, найти «Литературно-мемориальный музей Ф.М. Достоевского» и «Историко-мемориальный музей М.В. Ломоносова в селе Ломоносово Архангельской области». Их описания в рубрикаторе Яндекса скопировать в файл отчета.

Посетить Рейтинговую систему ИПС Рамблер. Ознакомиться с классификатором (рубрикатором) данной системы. Рубрики, совпадающие с рубриками Апорта (полностью или частично), переписать в тетрадь. Посмотреть рейтинг сайтов по теме «Образование». Ознакомиться с формой представления информации в каталоге. Название сайта, занимающего пятое место, с его количественными показателями, скопировать в файл отчета Report1. Посмотреть подробную статистику и статтаблицу скопировать в файл отчета.

То же самое повторить в системе Yahoo.

Лабораторная работа № 2

(Русскоязычные вербальные ИПС: сравнительный анализ)

Работа заключается в сравнительном изучении систем Апорт, Яндекс, Рамблер. Результаты изучения студент должен отразить в виде таблицы (с. 34) в файле Report2 (ориентация таблицы - альбомная). В ячейках записать, как в каждой системе представляется тот или другой элемент языка запросов или входного/выходного интерфейса (все допустимые способы). В некоторых случаях можно отвечать знаками «+» или «–» (например, «Описание документа ») или свободным текстом своими словами (например, «Релевантные страницы того же сайта» или «Сортировка» ).

Перейти на сайт поисковой системы Апорт (затем Яндекс и Рамблер). Найти в каждой системе ссылки на ее описание в целом, на описание языка запросов, интерфейсов («Справка», «Помощь», «Расширенный поиск» и т.п. ). Перейдя по ссылкам, внимательно изучить справочную информацию и в рабочей тетради кратко закон-спектировать основные пункты. После этого для каждой системы заполнить соответствующие ячейки таблицы (разделы 1, 2).

Примечание. Если текст ответа не помещается в ячейке таблицы, рекомендуется делать сноску и продолжать его под таблицей. Обратить внимание на то, что возможности систем в простом и в расширенном поиске различаются. Отразить это в отчете. Обратить внимание на наличие разделов «другое».

Вернуться назад на начальную страницу поисковой системы Апорт (затем Яндекс и Рамблер). Ввести какой-либо запрос (например, «Статистические методы в лингвистике» ) в окне для текстового запроса и провести поиск. Страницу с результатами поиска сохранить в своей папке в формате «только html» .

Изучить форму представления результатов. Кратко записать в тетради, что содержится на веб-странице с результатами поиска (структуру веб-страницы). Изучить форму представления отдельных веб-документов (их краткие описания с дополнительной информацией). На основе изучения полученных результатов и ранее изученной справочной информации заполнить соответствующие ячейки таблицы (раздел 3).

Предъявить работу преподавателю.

Результаты сравнительного изучения систем Апорт, Яндекс, Рамблер

№ раздела	Параметры	Апорт	Яндекс	Рам-блер
	Поиск по тексту
	Логические операторы:
	конъюнкция
	дизъюнкция
	отрицание
	Синтагматические операторы:
	фразы (словосочетания, слова рядом)
	расстояние в словах
	расстояние в предложениях
	Морфологическая нормализация (автоматическая, используемые метасимволы)
	Поиск по полям
	по заглавию
	по полю ключевых слов
	по комментарию к картинкам (поле ALT)
	по тексту гиперссылок
	по адресам ссылок
	по доменному имени сайта (сервера)
	по формату
	Интерфейс выдачи (форма представления результатов)
	статистика слов из запроса
	количество найденных документов
	количество найденных сайтов
	количество документов на странице результатов
	сортировка документов на странице выдачи
	поиск в найденном
	описание документа включает следующие элементы:
	URL (адрес в сети)
	размер документа (объем)
	дата создания
	кодировка
	аннотация (краткое содержание)
	указание на другие релевантные веб-страницы того же сайта
	поиск похожих документов

Лабораторная работа № 3

(Русскоязычные вербальные ИПС: поиск)

Составление и отладка тематического запроса

Составить в тетради запрос по теме «Морские сражения во время Великой отечественной войны». При этом убрать из темы незначащие слова, расширить запрос синонимами, составить логическую формулу запроса с обязательным использованием операторов конъюнкции, дизъюнкции, расстояния и фразы (жесткое словосочетание).

Показать запрос преподавателю.

Затем записать его варианты на языках систем Апорт, Яндекс, Рамблер.

Отладить запрос в режиме реального поиска, проводя последовательно сеансы во всех трех системах. Попытаться варьировать поисковые предписания, чтобы добиться оптимальных показателей поиска. Для этого фиксировать в тетради полученные результаты по каждому варианту: точность (по первым 20 документам) и условную полноту (абсолютный объем выдачи).

Вернуться к наилучшему поисковому предписанию и текст запроса скопировать через буфер обмена из поисковой строки (окно для ввода запроса) в окно файла отчета Report3 (поочередно в каждой системе). Указать при этом в отчете показатели точности и полноты. Первую веб-страницу с результатами поиска в каждой системе сохранить в своей папке в формате «только html» .

Знакомство с поиском по полям («Расширенный поиск»)

Найти с помощью системы Яндекс документы, посвященные Льву Гумилеву. Количество найденных документов и сайтов записать в файл отчета. Адрес (URL) первого документа из списка сохранить в Избранном в папке «Гумилев».

Затем перейти в режим расширенного поиска и найти документы, посвященные Льву Гумилеву, с датой после 1 октября 2004 г. Новое количество найденных документов и сайтов снова записать в файл отчета. Первый документ из списка результатов поиска сохранить в своей папке в формате «веб-архив, один файл» (*.mht) .

Найти через систему Рамблер документы по теме «Экономика города Москвы». При этом объём выдачи (количество описаний документов на странице результатов) установить равным 30. Результаты поиска отсортировать по дате (по убыванию) и первую веб-страницу с результатами поиска сохранить в своей папке в формате «только html»

Перейти в режим расширенного поиска и найти документы по той же теме, но находящиеся лишь на сайте. Результаты поиска отсортировать по дате (по возрастанию) и первую веб-страницу с результатами поиска сохранить в своей папке в формате «только html» . Количество найденных документов и сайтов зафиксировать в файле отчета.

Найти через систему Яндекс документы по теме «Образование», из которых есть ссылка на сайт. Первую веб-страницу с результатами поиска сохранить в своей папке в формате «только html» . Количество найденных документов и сайтов зафиксировать в файле отчета.

Загрузить один из найденных документов, просмотреть его html-код, найти в нем ссылку на сайт и элемент гиперссылки (от начального до конечного тега А) через буфер обмена скопировать в файл отчета.

Документ в формате mht, сохраненный в п. 7 (о Льве Гумилеве), прочитать в редакторе Word: вначале в формате веб-страницы, затем в формате «только текст». При втором чтении просмотреть содержимое окна ввода редактора Word (особенно начало и конец файла), скопировать первую страницу окна ввода в файл отчета и быть готовым объяснить, что такое формат mht.

Примечание. Формат mht кодируется в соответствии со стандартом MIME (RFC2046 и RFC2047) .

Предъявить работу преподавателю.

Лабораторная работа № 4

(Глобальные вербальные ИПС: сравнительный анализ)

Работа заключается в сравнительном изучении заданных глобальных ИПС сети Интернет вербального типа.

Примечание. Набор систем и их количество может меняться по усмотрению преподавателя.

Перейти на сайт соответствующей поисковой системы (здесь и далее - доменное имя системы: www .название_системы. com ). Найти в каждой системе ссылки на ее описание в целом, на описание языка запросов, интерфейсов, режимов работы и других особенностей системы. Описание каждой ИПС кратко законспектировать в тетради.

Проанализировать и сравнить возможности систем в режиме расширенного поиска. Страницы интерфейса расширенного поиска сохранить в своей папке.

Результаты анализа в сжатом виде представить в форме сводной таблицы (с. 38) в файле отчета Report4 (ориентация таблицы - альбомная). Размеры таблицы можно увеличить. Если что-то не помещается в таблице, в ячейке делать сноску на текст под таблицей (таблица не столько форма представления результатов, сколько схема анализа).

Предъявить работу преподавателю.

Результаты сравнительного изучения глобальных вербальных ИПС

	Параметры
	Логические операторы (какие и как задаются)
	Синтагматические операторы (какие и как задаются)
	Поиск по полям (составить список полей, отмечать их наличие / отсутствие в конкретных системах)
	поле 1
	поле 2
	………
	поле k
	Выбор поисковой базы данных (в каких ресурсах можно искать)
	ресурс 1
	ресурс 2
	………
	ресурс k
	Формат выдачи содержит следующие элементы (под таблицей привести пример из каждой системы)
	элемент 1
	элемент 2
	………
	элемент k
	Специальные возможности или характерные особенности (описать для каждой системы)

Лабораторная работа № 5

(Глобальные вербальные ИПС: изучение и поиск)

Провести поиск по теме «Компьютерная лингвистика» в заданных глобальных ИПС (набор систем и их количество может меняться по усмотрению преподавателя). Поисковое предписание логически должно выглядеть следующим образом:

(comp utational V c omputi ng V c omput er ) & l inguistics .
Запрос задать по-английски дважды, как конъюнкцию и как устойчивое словосочетание (фраза), используя характерные для каждой системы способы выражения операторов (для незнакомых систем найти соответствующую справочную информацию). Первую веб-страницу с результатами каждого поиска сохранить в своей папке в виде «только html» . Количественные результаты отразить в таблице:

Название ИПС

Найдено документов/сайтов

Тема: Информационно - поисковые системы.

1. Общие сведение о информационно-поисковых системах (ИПС). Основные определения.

2. Функционирование ИПС. Схема функционирования поисковой системы.

3. ИПС, базирующиеся на классификации.

4. Организация ИПС на поиски по ключевым словам.

5. Метасистемы.

6. Развитие информационно – поисковых систем.

Ключевые слова

Поиск информации, электронные каталоги, информационно – поисковая система, классификация, ключевые слова, метаданные, объём информации, анализ документа, поисковый образ, запрос, релевантность, атрибут, метасистема, рубрикация, информационные ресурс, эффективность, библиотечные каталоги, технология, портал, образовательная срда, пользователи, архитектура, автоматизированная система.

В последние годы сеть интернет стала основным хранилищем информации. С ростом объёмов хранимых данных стала актуальной проблема информационного поиска. Для облегчения поиска на открытых для доступа сайтах в интернет используют информационно – поисковые системы (ИПС) и электронные каталоги.

В ИПС собираются, индексируется и регистрируется информация о документах, имеющихся в обслуживаемой системой группе Web – серверов. Индексирование включает создание поисковых образов документов. Обычно в поисковый образ входят или все значащие слова, имеющиеся в документе, или только слова из заголовка.

Информационно – поисковая система – программная система для хранения, поиска и выдачи интересующей пользователя информации. Информационно – поисковая система выполняет анализ документов, создание и хранение поисковых образов документов, анализ запросов пользователей, поиск и выдачу пользователю данных о месте расположения в сети запрашиваемых документов.

В основе поиска лежит сопоставление запроса пользователя с поисковыми образами документов, в результате отбираются релевантные документы, т.е. документы, чьи поисковые образы соответствуют запросу. Во многих ИПС пользователю представляется возможность обращаться к серверу с запросами на естественном языке, а также со сложными запросами, включающими логические связки. Примерами таких ИПС могут служить системы Excite, Lycos, Altavista и другие. Для функционирования Altavista в своё время фирма DEC выделила несколько компьютеров, в том числе десятипроцессорную машину Alpha – 8400.

Поисковые образы, называемые также метаописаниямиили метаданными , могут представлять собой значения атрибутов документов или множество ключевых слов. Поиск на основе этих двух вариантов поисковых образов называют атрибутивным и контекстным поиском. Часто используют сочетание этих двух способов поиска.

Поиск в электронных каталогах основан на составлении запроса с разделами информации в иерархической структуре её классификации.

Классификацию информации называют рубрикацией . Наиболее сложной является разработка тематической рубрикации. В мире существует ряд систем тематической рубрикации. Та, в России широко известны иерархические системы УДК (универсальная десятичная классификация) и ГРНТИ (Государственные реестр научно – технической информации). Однако, они громоздки и неудобны для использования в электронных каталогах и образовательных ИПС. Поэтому существует ряд частных систем рубрикации с несколькими уровнями иерархии.

Отметим, что если в ИПС создание поисковых образов осуществляется автоматически, то в электронных каталогах структура информационных ресурсов определяется квалифицированными людьми.

Примеры поисковых систем, работающих по принципу электронного каталога: Yahoo!, Galaxy, Looksmart, Yandex. Так, в Yahoo! На верхнем уровне иерархи выделено 14 категорий (например, искусство и гуманитарные науки, образование, бизнес и экономика, наука и др.) Пользователь при поиске осуществляет навигацию по разделам иерархического дерева, спускаясь от верхнего уровня до искомого конечного, на котором он получает сведения об адресах сайтов с нужными информационными ресурсами. Объем информационного пространства в упомянутых системах довольно велик. Так, в системе Yahoo! Была собрана информация 1 800 000 сайтов.

Функционирование информационно – поисковой системы

Общая схема функционирования традиционной ИПС представлена на рис.

Рис. 1. Схемы функционирования ИПС.

Основными процессами в ИПС являются индексирование документов и поиск документов по запросу пользователя. Процесс информационного поиска происходит следующим образом. Пользователь выражает свои информационные потребности в виде специального текста – информационного запроса к ИПС. Система формирует из информационного запроса поисковое предписание , переводя запрос на информационно – поисковый язык (ИПЯ). ИПЯ представляет собой формальный язык, который используется внутри ИПС для представления пользовательского запроса и хранимых документов. Описание документов на ИПЯ называется поисковым образом документа. В процессе поиска ИПС должна выбрать из массива документов те, которые содержательно релевантны запросу, то есть соответствуют информационным потребностям пользователя, выраженным в запросе. Такое определение релевантности не формально, поэтому определяют формальную релевантность , как соответствие, определяемое алгоритмически, путем сравнения поискового предписания и поискового образа документа. Критерий выдачи документа – поискового образа документа и поискового предписания, по которому принимается решение о выдаче некоторого документа в ответ на информационный запрос.

В процессе индексирования, для каждого документа, хранящегося в системе, строится поисковый образ. Различают 2 основных подхода к построению поискового образа –приписывающее и выводящее индексирование. В первом случае в процессе индексирования документу присваивается номер ключевых слов из некоторой классификационной системы, и документ помещается в общую классификацию. Во втором случае из документа выбирается набор ключевых слов и объявляется поисковым образом, с которым далее работает ИПС.

Традиционные ИПС осуществляют как поиск, так и хранение документов. В отличие от традиционных ИПС, ИПС для поиска информации в интернет не могут осуществлять фукнцию хранения документов, что приводит к необходимости другого подхода к организации работы ИПС.

Рассмотрим основные классы промышленных ИПС для поиска информации в интернет.

ИПС, базирующиеся на классификации.

В целом, схема работы такой ИПС в Интернет аналогична схеме работы традиционной ИПС. Общая схема работы ИПС на основе классификации показана на рис. 2.

Рис. 2.Общая схема работы ИПС базирующейся на классификации.

Основным отличием является появление процесса поиска новых документов. В традиционных ИПС новые документы вводятся в систему хранения оператором и индексируются. В ИПС, ориентированных на работу в Интернет, ввод новых документов осуществляется либо вручную оператором, либо автоматически с помощью специальной программы обхода Интернет – индексирующего робота. Применение для информационного поиска в интернет ИПС базирующихся на классификации эффективно в случае, когда классификационная система построена по узкой предметной области.

Основных недостатков два:

1. Для качественного поиска они вынуждены выкачивать из Интернет все документы для индексирования и хранения их у себя. Это приводит к большому объёму хранимой информации, высокой нагрузке на сеть и необходимости постоянно обновлять информации в базе;

2. Поиск документов пользователем может осуществляться только по используемой классификационной системе.

ИПС, базирующиеся на поиске по ключевым словам.

ИПС базирующиеся по ключевым словам позволяют искать Web – страницы о их содержанию, формируя запрос в виде ключевых слов, которые должны присутствовать в документе. В настоящее время, системы поиска по ключевым словам представляют собой наиболее распространенные ИПС в интернет.

На рис. 3 показана общая схема работы системы поиска по ключевым словам. Основными процессами в работе системы является поиск новых документов индексирующим роботом, индексирование найденных документов и выполнения запроса пользователя.

Индексирующий робот представляет собой автономный процесс, постоянно или периодически обновляющий и пополняющий базу документов. Изначально роботу дается список Web – серверов, которые необходимо проиндексировать. В процессе работы индексирующий

Рис. 3. Общая схема работы системы по ключевым словам.

Робот осуществляет обход Web – серверов по гиперссылкам между страницами и собирает все найденные документы в базу документов, а ссылки - в базу ссылок. Таким образом, на основе начального списка серверов строятся документы для всех достижимых Web – страниц. Периодически, индексирующий робот проверяет хранящуюся информацию на корректность и целостность путем повторного обхода проиндексированных страниц.

По известным ИПС документам строится индекс, позволяющий эффективно осуществлять поиск по ключевым словам. Дальнейшее хранения всего документа после индексирования ненужно, для экономии дискового пространства хранится короткий поисковый образ. Запрос пользователя представляет собой набор ключевых слов с булевыми связками. Выбор документов по запросу осуществляется с помощью индекса. ИПС возвращает в ответ на запрос список ссылок на документы.

Достоинством систем поиска по ключевым словам является простота использования. К недостаткам можно отнести следующие особенности.

1. В ответ на запрос выдается много нерелевантной информации. Это происходит из-за того, что с помощь. Списка ключевых слов практически можно сформулировать информационные потребности пользователя.

2. Индексирующие роботы сильно загружают сеть. Так как робот не имеет возможности перемещаться по сети, он вынужден скачивать большие объемы информации для локальной обработки (объём информации исчисляется терабайтами).

3. Невозможность работы с часто изменяемой информацией.

4. Охват Интернет любой из имеющихся систем поиска по ключевым словам не превышает 16%.

5. Возможность работы пользователя только в интерактивном режиме.

Метасистемы. Метасистемы для ИП в Интернет, являются надстройками над существующими системами поиска по ключевым словам. Они позволяют преодолеть следующие недостатки промышленных систем поиска по ключевым словам.

Решение проблемы ИП в Интернет на сегодняшний день состоит не только в построении эффективных ИПС, но и в изменении структурной организации информации Интернет.

Технология поиска, основанная на упорядочении метаинформации наподобие библиотечных каталогов (классификация по содержанию) продолжает развиваться.

Однако поиск по ключевым словам во всем пространстве Интернет не всегда оказывается эффективным и может потребовать слишком много времени. Сделать работу пользователя корпоративной системы в интернет более эффективной позволяет технология порталов, применение языка разметки XML и языков поиска XPath или XQuery в базах XML – документов.

Контрольные вопросы и задания.

1. Какую информацию выполняют информационно – поисковые системы?

2. Что лежит в основе поиска информации?

3. Что представляют собой поисковые образы и каким образом осуществляется создание поисковых образов?

4. Приведите примеры ИПС.

5. Объясните и составьте общую схему работы ИПС, базирующейся на классификации.

6. Каким образом происходит поиск в ИПС по ключевым словам?

7. Какие недостатки имеет система поиска по ключевым словам?

9. По каким признакам классифицируется ИПС?

10. Приведите примеры поисковых систем по принципу электронного каталога.

11. Для каких целей в Интернет создают порталы?

12. Перечислите задачи, связанные с развитием ИПС.

Литература 2, 5, 13, 18.