Курсовая, контрольная работа. Примеры выполнения

Поиск в Интернет

Поиск в Web  — это во многом искусство, основанное на знании самой Сети, возможностях поисковых систем и в значительно меньшей степени — на возможностях конкретного браузера. Тем не менее, поскольку умение правильно применять существующие инструменты – основа любого искусства, рассмотрим те функции по поиску в Web, которые встроены прямо в интерфейс Internet Explorer.

Использование панели поиска в Internet Explorer

• Rambler (русский Web-индекс и каталог);
• Апорт! (русский Web-индекс);
• Яndex (русский Web-индекс);
• Alta Vista (международный Web-индекс);
• Lycos (международная система поиска с индексом и каталогом);
• Excite (международный Web-индекс).

Преимущество такой панели — вы можете отправить запрос на несколько серверов с одной страницы, значительно экономя время на том, что не надо загружать заглавные страницы этих поисковых серверов друг за другом. Подобные средства, обеспечивающие доступ сразу к нескольким поисковым системам (типа рассмотренной панели в Internet Explorer с доступом к нескольким серверам), называются мета-поисковыми средствами поиска.

К сожалению, подобные средства мета-поиска отнюдь не свободны от недостатков. Главный из них состоит в том, что мета-поиск на поддерживаемых серверах осуществляется по наиболее упрощенной методике (Simple Search). Это связано с тем, что каждая поисковая система имеет свой набор дополнительных опций по сужению области поиска, применению булевых операторов и т. д. Естественно, что в случае «простого поиска» (Simple Search) из «поля зрения» выпадают документы, которые могли бы быть найдены при более тщательном поиске «продвинутыми» средствами конкретного сервера.

В общем случае, чтобы улучшить результаты поиска при работе с мета-поисковыми сервисами, можно порекомендовать вначале выбрать один или несколько поисковых серверов, которые нашли наибольшее количество документов. Затем отдельно загрузить уже заглавные страницы этих серверов и в качестве следующего шага провести отдельный тщательный поиск с помощью уже только этих серверов. О том, как пользоваться средствами сложного поиска (advanced search) на каждом конкретном сервере, можно узнать, если обратиться к справке (обычно это оформлено в виде кнопки Help) по методике проведения сложного поиска на данном сервере.

Итак, чтобы вызвать поисковую страницу браузера Internet Explorer, проделайте следующее:

1.  Вызовите панель поиска, щелкнув кнопку Поиск на панели инструментов.

2.  Выберите сервер, с которым вам хотелось бы поработать.

3.  Введите какое-нибудь интересующее вас слово в окне для ввода ключевых слов и нажмите на кнопку Поиск, которая изображена на этой WWW-странице рядом с окном ввода текста. В результате обработки запроса выбранный вами поисковый сервер возвратит список аннотаций найденных документов. Полученные ссылки на найденные документы можно прочесть на правой половине окна.

Как улучшить результаты поиска

Очень часто поисковый сервер возвращает более скромный, чем хотелось бы, список документов. Или наоборот, список полученных ссылок огромен, но они совершенно не относятся к искомой теме. Прежде чем переходить к другому поисковому серверу или впадать в уныние, попробуйте улучшить результаты поиска. Если вы работаете через интерфейс Internet Explorer, то выйдите из этого режима и загрузите заглавную страницу одного из поисковых серверов в окне просмотра. Затем постарайтесь внимательно изучить те страницы поискового сервера, где содержатся советы по организации поиска и различного рода подсказки. Хотя они (в случае международных узлов) приведены на английском языке, но написаны бывают очень простыми словами, и главное, содержат множество примеров, которые помогут вам правильно применить то или иное правило. К сожалению, практически на каждом сервере применена своя система правил (синтаксис команд), определяющая поиск фраз из нескольких слов, применение булевых операций и т. д. Поэтому конкретные правила, действующие на том или ином сервере, вам лучше изучить самостоятельно.

• Сформулируйте ваш запрос по возможности точнее. Хотя ряд лидирующих поисковых машин позволяет вам задать вопрос на естественном языке, например «Tell me about the GreenPeace in 1998», этой возможностью следует пользоваться с осторожностью. Дело в том, что в таком случае поисковый сервер «отбрасывает» все незначащие по его мнению слова, кроме тех, которые можно интерпретировать как ключевые слова (в данном случае «GreenPeace» и «1998»). Однако существует вероятность, что при этом будет отброшено и то слово, которое важно для результатов поиска. Поэтому по возможности старайтесь пользоваться четкими и ясными ключевыми словами, наиболее полно характеризующими предмет вашего поиска.
• Проверьте правильность написания ключевых слов. Если результаты поиска по какой-либо теме полностью отрицательны, проверьте орфографию введенных вами английских терминов (или терминов на другом языке, если вы ищите неанглоязычные страницы). Очень удобно, если на вашем компьютере установлен MS Word из комплекта Office 95 или 97 (или теперь Office 2000). В этом случае можно не рыться в словарях, а ввести вашу фразу в Word, который подчеркнет неправильно набранные слова. Если теперь щелкнуть правой клавишей мыши на подчеркнутом слове, то Word предложит вам его правильное написание.
• Используйте синонимы. Во многих предметных областях можно улучшить результаты поиска, если задать поиск по синонимам. Это особенно касается областей знания, где в силу новизны предмета еще не полностью устоялась терминология (в том числе в области компьютерных технологий).
• Используйте опцию «расширенного поиска» (Advanced Search). На многих серверах имеется режим «расширенного» или «сложного» поиска, где действуют специальные синтаксические правила для применения булевых операций над ключевыми словами, предусматривается различие прописных и строчных букв, предлагается выбор способов ранжирования найденных документов и т. д. Как уже подчеркивалось выше, следует подробно изучить возможности выбранного вами поискового сервера, правила ввода и формулировки терминов, поскольку без этого вряд ли удастся достичь значительной полноты поиска.
• Повторите поиск для других видов сервиса Интернета. Многие поисковые серверы обеспечивают раздельный доступ к информационному пространству WWW, UseNet и других видов сервисов Интернет, что регулируется с помощью различных раскрывающихся списков. Проверьте, в какой конкретной области происходил поиск (как правило, по умолчанию это WWW), и повторите его для других видов сервиса, где также может находиться искомый вами документ.
• Постарайтесь локализовать поиск. Во многих случаях, когда предмет поиска можно локализовать географически, полезно выполнить поиск на серверах местных организаций, например, на серверах университетов. Там находится огромное количество ссылок на местную прессу, компании и общественные организации, работающие в этом регионе и т. д. По разным причинам поисковые серверы не индексируют значительную часть таких документов, и они могут быть найдены только в результате кропотливого локального поиска информации.
• Старайтесь сами определить наиболее вероятный узел, где хранится искомый документ или файл. При поиске файлов с драйверами, программными продуктами и др. имеет смысл, в первую очередь, обратиться на Web-сервер фирмы-производителя. На многих серверах существуют локальные поисковые системы, обеспечивающие поиск документов по этому серверу, и корпоративные распределенные системы поиска, работающие с несколькими тематически связанными серверами (такие, к примеру, как поиск по серверам издательской корпорации Ziff-Davis). Поэтому, если вы, например, хотите найти информацию по операционной системы Windows 98, то, в первую очередь, имеет смысл провести поиск по ключевым словам на сервере Microsoft (http://www.microsoft.com), драйверы к принтерам и сканерам Hewlett-Packard — на http://www.hp.com, а для поиска сведений, относящихся к OS/2 Warp Connect, логично обратиться к поисковой системе WWW-сервера IBM (http://www.ibm.com). Аналогичный подход можно использовать при нахождении информации по иным товарам и услугам — расписаниям авиакомпаний, маршрутам турагентсв, и т.д.
• Интернет — Intranet. Публично доступные документы, содержащиеся на различных серверах Интернета, составляют лишь небольшую часть того информационного богатства, которое находится на файл-серверах в локальных сетях корпораций, правительственных учреждений, исследовательских центров, университетов и т. д. Эта «подводная» часть сети, носящая название Intranet, закрыта для посторонних пользователей. Однако ссылки на имена и адреса электронной почты конкретных людей — профессоров, исследователей, журналистов, а также на области их деятельности, как правило, можно найти на WWW-серверах. Завяжите с этими людьми электронную переписку, попросите прислать копии их статей или URL известных им документов по интересующей вас теме — в общем, наладьте информационный обмен. Это очень эффективный путь поиска информации, поскольку знания эксперта – это высшая степень владения информацией.

Поиск документов на русском языке

Вполне вероятно, что еще пару лет назад о появлении мощных поисковых систем, помогающих в нахождении документов на русском языке, можно было лишь мечтать. Достаточно сложная морфология русского языка затрудняла эту задачу, не позволяя «в лоб» применить проверенные западные алгоритмы. Но бурное развитие российской части Интернета помогло и эту «сказку сделать былью».

Создание достаточно полных русскоязычных Web-каталогов, которые можно было бы сравнивать с Yahoo!, по видимому, еще впереди — слишком больших финансовых и людских ресурсов они требуют. Тем не менее, первые и достаточно серьезные шаги в этом направлении уже делаются, – поисковая система Rambler на сегодня представляет уже не просто индекс, а гибридную систему с большим классификатором по тематическим разделам.

Среди поисковых систем, работающих с русскоязычными документами, можно выделить как международные Web-индексы, так и системы, разработанные и внедренные российскими компаниями. Начнем с международных поисковых систем: здесь выбор невелик — это знаменитая AltaVista (http://www.altavista.com). Несмотря на способность целого ряда зарубежных Web-индексов заносить в базу данных русскоязычные слова, лишь AltaVista делает это на уровне, достойном быть примером для остальных.

Как вы наверняка представляете, российский Интернет, как и все в России, многогранен и противоречив. Одна из главных его проблем — это наличие нескольких национальных сетевых кодировок. Для обычного англоязычного Web-сервера эта проблема решается просто. К русскоязычной поисковой машине предъявляются более жесткие требования. Дело в том, что далеко не все серверы поддерживают все или по крайней мере основные кодировки. Часть из них поддерживает или только KOI-8, или только Windows 1251, и только примерно треть поддерживает все или 2-3 основные кодировки. Если вы вводите запрос в окне на поисковом сервере в определенной кодовой странице, то не сможете найти ту информацию, которая существует в другой кодировке на серверах, поддерживающих какую-либо одну кодировку, если ваши кодовые страницы не совпадают. Для получения полной информации вам придется воспользоваться всеми кодировками, поддерживаемыми поисковыми серверами.

Хотя сегодня существует около десятка русскоязычных поисковых систем, мы ограничим свой рассказ о тех системах, которые стандартно вызываются на панели поиска Internet Explorer – Rambler, Яndex, Апорт!

Rambler, http://www.rambler.ru

Поисковая система Rambler была изначально создана в фирме «Стек» для возможности поиска по русскоязычным серверам. Компания «СТЕК» образовалась в Научном Центре Биологических Исследований в г. Пущино (Московская область) в 1991 г., а автором поисковой системы является Дмитрий Крюков.

Рамблер — единственный в российском Интернете портал, объединивший поисковую систему, рейтинг-классификатор, а также ряд бесплатных сервисов и информационных проектов. Ресурсы портала регистрируют ежесуточно более 3,5 млн посещений, а ежемесячная аудитория Рамблера составляет 60-70% всех пользователей Рунета.

Только поисковая система содержит информацию о более чем 12 миллионах документов, расположенных на серверах России и стран СНГ. Рамблер обрабатывает ежесуточно не менее 500 тысяч поисковых запросов (в среднем — 5 запросов в секунду), сканируя 48 тысяч web-серверов и используя несколько одновременно работающих программ-роботов. Все проекты Интернет-холдинга реализованы на базе собственных технологических разработок.

Поисковая система Rambler поддерживает различные логические операции между словами, а также усечения слов с помощью метасимволов. Пользователь может определить выходной формат документов, максимальное количество результатов поиска и т. д.

Яndex, http://www.yandex.ru

Эта поисковая система Интернета — часть проекта фирмы Comptek по разработке набора средств полнотекстовой индексации и поиска в текстовых данных с учетом морфологии русского языка. Яndex (произносится как «яндекс») расшифровывается как Языковый Индекс или, в английском написании, Yandex — Yet Another Index.

Как указывается в документе на сервере, продукты Яndex предназначены для работы с большими объемами русских текстов всех типов — в виде файлов различных форматов, полей баз данных и страничек Интернет.

Поисковая машина Яndex была запущена в эксплуатацию в конце сентября 1997 г. и область поиска системы — русскоязычный Интернет. Отличительные особенности системы, в соответствии с описанием на http://yandex.ru:

• полнотекстовый поиск с полным учетом морфологии русского и английского языков;
• мощный язык запросов (в том числе возможность поиска с расстоянием);
• возможность запроса на естественном языке;
• корректная обработка сленговых слов;
• возможность поиска похожего документа;
• очень компактный индекс;
• подсветка слов из запроса в найденных документах;
• развитая релевантность, позволяющая найти искомую информацию, не перегружая пользователя тысячами ссылок на не нужные документы;
• высокая скорость поиска.

Как работает Яndex

Система просматривает все указанные ей тексты, преобразует каждое русское слово в нормальную форму (для существительных — это именительный падеж единственного числа, для глаголов – неопределенная форма и т.д.) и запоминает подробный адрес каждого слова. Алгоритмы морфологического разбора, которыми мы занимаемся, позволяют проанализировать слово, определить его характеристики и найти все формы, например: идти — идешь — шел; ребенок — дети; окно — окон; отзывать — отозвали.

Яndex обеспечивает индексацию одновременно с морфологическим разбором. Это позволяет создавать компактный индекс – около 30% исходных текстов, сохраняя достаточно высокую скорость индексации – 1-2 Мб/мин. Такая технология дает возможность почти полного снятия омонимии на этапе индексации.

Морфология базируется на словаре из 90 тыс. слов, к которому добавлены алгоритмы словообразования, а также на механизме построения гипотез для слов, отсутствующих в словаре. Создан и пополняется словарь имен собственных.

Русский интерфейс к поисковой системе AltaVista

Работу морфологии Яndex можно использовать не только на самом поисковом сервере Яndex, но и на примере русского поиска с помощью системы AltaVista (http://www.comptek.ru/alta.html). Как известно, слова в AltaVista проиндексированы просто как последовательность символов, что заставляет пользователя при поиске специально думать о том, как русские слова изменяются при склонениях и спряжениях . При запросе же через Яndex в запрос системы автоматически подставляются все допустимые формы требуемых слов.

Апорт! http://www.aport.ru

Поисковая система Апорт! — это проект фирмы Агама при поддержке российского отделения Intel. Система задумана и реализована как Web-индекс для осуществления поиска в Российской части Интернета, на русскоязычных серверах СНГ и мирового Интернета. Рассмотрим в качестве примера образец результатов поиска Апорта-2000 (см. рис. 8.5).

Основной блок выдачи начинается с символа «домик», который обозначает сайт (в противоположность символу «страничка», обозначающему отдельный документ).

Апорт-2000 дает весьма информативное представление найденных при поиске страниц. В блоке каждого сайта Апорт приводит информацию об одной (самой подходящей) из найденных на сайте страниц (8). При этом кроме типичного для поисковых машин «джентельменского набора» (адрес, заголовок, размер и дата файла, и т.п.) Апорт выдает цитаты из документа (9). Важно, что цитаты выбираются из полного текста документа и содержат слова, которые вы искали. Читая цитаты, зачастую легко понять, интересует вас документ или нет. Это очень удобно.

Рис. 8.5. Образец результатов поиска Апорта-2000:

1 – название и адрес сайта; 2 — описание сайта, сделанное человеком (из каталога Апорта); 3 — блок описания самой подходящей (релевантной) из найденных страниц; 4 — цитаты из полного текста страницы, где встречаются слова вашего запроса; 5 – ссылка на результаты поиска по данному сайту (все найденные страницы); 6 — ссылка на полную реконструкцию текста документа (полезно, если сам сайт недоступен через Интернет); 7 — ссылка на рубрику каталога апорта, к которой относится найденный сайт; 8 — подробная информация о сайте; 9 — рубрики из каталога на тему вашего запроса

Имеется ссылка на реконструкцию полного текста документа. Она нужна, если документ недоступен на самом сайте (упал сервер, документ уже удалили и т.п.). В новой версии Апорта реконструкция текста сделана более читаемой, она содержит больше элементов форматирования из оригинального документа. Если вы хотите заняться сайтом более плотно (желаете получить информацию о всех остальных страницах, которые Апорт нашел на нем), то можете воспользоваться ссылкой, которая замыкает блок результатов. По этой ссылке вам выдается дополнительное окно, в котором открываются результаты поиска только по данному сайту. Они состоят из блоков данных по отдельным страницам.

Основные понятия об информации и информатике