Рунет представляет собой место, где можно найти практически все. Но только при условии пользования правильным поисковиком. Последних на сегодняшний день в российской части Интернета уже с десяток, но некоторые из них используются почти всеми пользователями, а другие – лишь небольшим процентом. Связано это как с особенностями самих поисковых систем, так и с устоявшимся мнением, что Яндекс и Goggle – это круто, а остальные лишь пытаются за ними угнаться.
А знаете кто придумал Яндекс и Goggle? Вот .
Что такое поисковик
Поисковая система – это сервис, осуществляющий поиск информации во Всемирной Сети Интернет по заданному поисковому запросу пользователя. Для того чтобы найти эту самую информацию, необходимо открыть сайт поисковика и сформулировать запрос. При этом не обязательно записывать целые предложения в поисковой строке. Поисковики сегодня уже настолько «умны», что могут понять запрос пользователя буквально с полуслова.
В современном мире практически не существует человека, который хоть раз в жизни не искал что-либо во Всемирной сети Интернет. Поисковики, с помощью которых мы и осуществляем поиск, уже прочно вошли в нашу жизнь – мы «гуглим» названия фильмов и книг, имена и адреса людей, кулинарные рецепты и студенческие работы.
Трудно представить, как трудно нам пришлось, если бы не было Яндекса, Гугла, Майла и других информационно-поисковых систем. Приходилось бы записывать названия сайтов или даже подбирать их из набора символов. Но несмотря на то, что поисковики являются неотъемлемой частью повседневной жизни современного человека, мало кто задумывается, как они работают и каким образом появились.
История возникновения поисковиков
Удивительно, но история поисковых систем началась еще в 1945 году. Именно тогда американский ученый Вэнивер Буш впервые в одной из своих статей привел идею гипертекста. Впоследствии он также участвовал в создании первого прототипа поисковика, но основную работу все же проделали другие люди.
В 1969 году ученые одного из агентств по работе над исследовательскими проектами США создали концепцию, позволяющую передавать информацию при помощи компьютерной сети. Данную разработку хотели использовать для военных целей, но выяснилось, что соединение слишком слабое и может возникнуть утечка информации. Работа над концепцией прекратилась, но была снова возобновлена в 1980 году. На этот раз удалось объединить библиотеку информации университетов США с помощью компьютерных сетей.
Первый настоящий прототип современных поисковиков появился в середине 1990-х годов, когда были созданы каталоги сайтов, по которым можно было осуществлять поиск. Также существовали боты поисковых систем, но они не смогли дальше справляться со своими обязанностями после развития Интернета и появления большого количества сайтов.
С 1995 года во Всемирной сети начали свою работу современные поисковики – Yahoo, Google, Яндекс и другие.
Принцип работы поисковых систем
Процесс нахождения информации в Интернете поисковиком состоит из трех этапов:
- Изучение всех сайтов – сканирование;
- Индексирование;
- Ранжирование
На первом этапе поисковик блуждает по Всемирной сети, изучая содержимое каждого сайта. Учитывая, сколько сайтов представлено в Интернете и какое количество информации на них представлено, можно только предполагать с какой скоростью происходит сканирование. Ведь выдать результат нужно сразу после запроса пользователя.
Сканированием у поисковиков занимаются специальные роботы. Их также называют пауками. Они заходят на каждый сайт в Интернете и заносят информацию с них в свою базу данных. На старых сайтах это делается периодически, но именно сколько раз в месяц, решают уже сами поисковики. Когда же появляется новый сайт, роботы быстро сканируют весь его контент и забирают себе всю эту информацию. Дальше все происходит точно так же, как и на других сайтах.
На втором этапе и происходит процесс занесения найденной информации в базу данных. Здесь также каждая поисковая система работает по-своему. Например, Goggle забирает всю информацию, найденную на сайте, а Яндекс – лишь ту часть, которая кажется ему полезной. Затем поисковики классифицируют данные по темам, чтобы впоследствии было проще с ними работать.
На третьем этапе происходит выстраивание сайтов по порядку, в зависимости от того, насколько информация на них совпадает с поисковым запросом пользователя.
Количество пользователей поисковых систем растет с каждым днем, а значит, растет и популярность самих поисковиков. Возможно, совсем скоро позиции сервисов изменятся, они начнут работать в другом ключе или исчезнут вовсе. А простым пользователям остается лишь подстраиваться под них.
Итак, вот самые распространенные поисковые системы Рунета.
Яндекс: история возникновения
Как пользоваться поиском Google
Работа Goggle практически аналогична работе Яndex. Здесь также для нахождения нужной информации достаточно вбить письменный запрос на нужном языке в поисковую строку. Также можно задать и голосовую команду. Для этого достаточно нажать на значок микрофона и сделать запрос на поиск.
Поисковик поможет найти не только сайты с текстовой информацией, но и нужные картинки, видео или новости. Чтобы это сделать, нужно задать запрос и затем выбрать соответствующий раздел внизу поисковой строки.
Поисковая система Майл
– крупнейший интернет-портал Рунета, объединяющий в себе несколько сервисов. Один из них – поисковая система Mail, которая появилась сравнительно недавно – в 2003 году. Данный проект был запущен с намерением сделать его таким же успешным, как почту mail.ru, Одноклассники или Агент. Для этого были использованы разработки Google WebSearch, сервис интегрировали с List.mail.ru, но все же поисковик не стал таким популярным, как, например, Яндекс.
Несмотря на это mail.ru имеет свои особенности, выгодно отличающие его от других подобных сервисов. Так, поиск в нем ведется не только по всему Интернету, но и в самих сервисах Mail.Также поисковая система умеет различать названия фильмов и книг, запоминать предыдущие запросы пользователей, выдавать информацию по похожим запросам. В перспективе создание специального сервиса для вебмастеров, где можно будет получать информацию о:
- запросах, интересующих пользователей поисковых систем;
- посещаемых страницах;
- скачанных файлах;
- кэше посещаемых страниц;
- рейтинге сайтов по посещаемости.
В настоящее время поисковая система Mail занимает 3 место по популярности в Рунете и обрабатывает почти 6% всех запросов в Интернете в РФ.
Как пользоваться поиском Mail
В отличие от Google и Яндекс, поисковая строка Mail расположена в верхней части главной страницы. А вот алгоритм поиска тот же. Для нахождения информации достаточно вписать запрос и нажать значок с лупой. Аналогичны главным поисковикам Рунета и разделы Mail. Здесь тоже можно найти картинки и видео, но кроме этого, доступны «приложения» и «ответы». Выбрав первый раздел, можно воспользоваться многочисленными инструментами сервиса. Второй позволит найти информацию в Mail.Ответы.
А в этой статье я писал про сервисы очень подробно.
Поисковая система Рамблер
Рамблер – самый первый поисковик Рунета и огромное информационное пространство. История его началась в 1991 году. В то время Интернет как таковой в России только начинал зарождаться и использовался только в крупных организациях. В число таких организаций входили институты РАН, и в одном из них стали использовать локальную сеть для передачи данных между сотрудниками. Позже сеть была подключена к Интернет.
После пяти лет успешного использования на базе сети под началом российского программиста Дмитрия Крюкова создали поисковую систему под названием Rambler, что в переводе означает «странник». Данное название полностью отражает суть не только этого поисковика, но и всех остальных.
Сейчас, спустя 16 лет, Рамблер существует как система с разнообразными инструментами – игры, погода, новости, товары, карты и т.д. На его долю приходится 0,4% поисковых запросов Рунета.
Наиболее существенные изменения сервис претерпел в 2012 году: поменялся дизайн, появился показ новостей по умолчанию. Но практически сразу после этого руководством было принято решение заключить договор с Яндексом и перейти на его поиск. То есть теперь запросы с Рамблер обрабатывает и выдает Яндекс, а сам сервис работает на основе других своих инструментов.
Как пользоваться поиском Рамблер
Поиск в Рамблер ничем не отличается от поиска в других аналогичных сервисах. Пользователем задается команда в поисковой строке и после нажатия «найти» отображаются результаты. Кроме текстовой информации, здесь можно найти также картинки.
Другие поисковые системы Рунета
Поисковая система Нигма
Нигма – самая интеллектуальная поисковая система, созданная программистами Виктором Лавренко и Владимиром Чернышовым в 2004 году. Он отличается от других аналогичных сервисов тем, что здесь используется не только собственный алгоритм поиска, но и данные других поисковиков. Также Нигма позволяет использовать фильтры для быстрого нахождения нужной информации.
Здесь можно отдельно искать фильмы, музыку, картинки, ссылки и даже инструменты, помогающие ученикам и студентам с домашними заданиями. Функция фильрации называется кластеризацией. Изначально Нигма задумывалась именно как умная поисковая система, экономящая время. Именно поэтому и были созданы фильтры.
Несмотря на все фишки Нигмы, она не так популярна, как Яндекс, Гугл, Майл и даже Рамблер. На ее долю приходится лишь 0,1% всех запросов в поисковых системах. Возможно, именно поэтому с сентября 2017 года сайт «нигма.рф» стал недоступен для использования, но никаких официальных объявлений о закрытии проекта пока не было.
Поисковая система Спутник
Спутник – российская официальная поисковая система, которая появилась на рынке в 2014 году. Создатель ее – компания «Ростелеком».
История «Спутника» началась еще в 2010 году, когда Правительство РФ объявило о необходимости создания национальной поисковой системы. Причиной этого стала невозможность контроля уже существующих поисковиков, так как они не государственные. В 2011 году Президент Дмитрий Медведев поддержал идею, а уже в 2013 проект имел название и готовился к запуску. 22 мая он был запущен в режиме бета-тестирования.
Кроме поиска информации, Спутник предлагает такие сервисы, как «Погода», «Медицина», «Телепрограмма», «Карты», «Финансы», «Афиша» и т.д. Но несмотря на это пользователи Интернета восприняли поисковик без особого энтузиазма и в 2017 году проект был признан неудачным.
Как пользоваться поиском Спутник
Еще один российский поисковик Спутник имеет простой и удобный интерфейс. Для поиска информации в нем достаточно ввести запрос в поисковую строку и нажать кнопку «найти». Единственное, чем данный сервис принципиально отличается от аналогичных – это качество результата. То есть Спутник не выдаст столько результатов поиска, сколько другие, более популярные.
Поисковая система Апорт
Я застал время, когда мы им активно пользовались. Мне он нравился. Апорт как поисковик был создан в 1996 году компанией «Агама» — одним из лидеров по разработке программного обеспечения. Изначально сервис осуществлял поиск только по одному сайту, но со временем их стало больше, а затем поиск стал возможен по всему Рунету.
До 2000 года Апорт занимал высокие позиции в Рунете наряду с Яндексом и Гуглом. Разработчики несколько раз меняли дизайн, внедряли и другие инструменты, кроме поиска, но все же он начал сдавать позиции.
В 2011 году Апорт заключил договор с Яндекс и перешел на его движок. С этого времени поисковая система перестала существовать как привычная пользователям. Сейчас это сервис поиска цен на различные товары и сравнения с таковыми в других магазинах.
Как пользоваться Апорт
Апорт – это поисковая система, но находит она только товары с ценами. Для этого нужно выбрать из каталога нужный товар, а сервис покажет цены на него в различных магазинах. Затем можно перейти в магазин с более выгодной ценой и купить нужную вещь.
В сервисе представлено множество разделов с самыми разнообразными товарами. Благодаря ему можно отлично сэкономить.
Поисковая система Bing
Bing – поисковик от Microsoft, ставший третьим подобным проектом компании и самым удачным. Руководство Microsoft давно мечтало создать свою поисковую систему и впервые мечта стала реальностью в 1998 году, когда на рынке появился проект MSN Search. Но задумка была совершенно не встречена с энтузиазмом пользователями Интернета. И неудивительно, поскольку поисковик не представлял из себя ничего стоящего.
В 2006 году появился Windows Live Search, через год ему на смену пришел Live Search, но оба также не имели успеха у пользователей.
Наконец, в 2009 году Microsoft анонсировал новый сервис – Bing. Несмотря на неудачи своих предшественников, поисковик за короткое время заработал себе поклонников. В течение года по числу пользователей он сравнялся с Yahoo, что само по себе явление удивительное, а еще через немного вошел в список лучших поисковых систем мира.
В Рунете Бинг популярен гораздо меньше, чем во всей Всемирной паутине. Главная причина этого состоит в том, что поисковик очень мало отображает русскоязычные сайты. К тому же, в Рунете практически уже невозможно подвинуть те поисковики, которые устоялись.
Кроме самых популярных, есть также большое количество поисковых систем, которые мало кому известны, но все же используются некоторыми пользователями. Так, в Китае более 60% поисковых запросов обрабатывает поисковик Baidu.
У Бинга неплохая панель для вебмастеров. Обязательно добавьте ваш сайт туда.
Как пользоваться Bing
Поиск в Bing такой же удобный, как и в большинстве других поисковиков. Чтобы здесь найти сайт с текстовой информацией, изображение, видео или новость, достаточно ввести соответствующий запрос в поисковую строку. Поисковая система находит информацию как на российских сайтах, так и на зарубежных.
Главное отличие Bing от других сервисов с аналогичным функционалом – интерфейс с красивым дизайном. В отличие от того же Google, здесь по умолчанию установлен красочный фон.
Сравнение популярных поисковиков Рунета: где что искать
Поисковики тем лучше, чем больше точной информации могут выдать в ответ на запрос пользователя. Сегодня самая популярная система в Интернете – Google, а в Рунете – Яндекс. Если судить именно по качеству выдачи, то оно у них примерно одинаковое, но все же про что-то легче найти в Goggle, про что-то – в Яндекс. То же самое касается и других поисковых систем. Каждая из них ориентирована на определенную категорию пользователей и запросы.
Задача всех поисковых систем – нахождение информации, но каждый из них делает это по-своему. У всех свой алгоритм поиска и свои особенности. Возьмем к примеру Яндекс. Здесь можно найти практически все, но он в большей степени ориентирован на русскоязычные сайты. То есть если вы ищете информацию на русском языке про русского писателя, другого источника точно не надо. А вот если требуется статья на английском, уже стоит обратиться к Goggle или Bing. То же самое можно сказать и про иностранные видео и новости. Их вдоволь в одноименных разделах этих поисковых систем.
Спутник также ориентирован на русскоязычных пользователей и здесь вы вряд ли найдете много информации на иностранных языках. Скорее всего, в результатах будет что-то похожее на разыскиваемую информацию, но на русском языке.
Майл и Рамблер похожи по результатам выдачи на Яндекс, но найти здесь то, чего нет в главном поисковике Рунета, получится в очень редких случаях. В то же время Майл можно использовать для поиска в сервисе «Ответы», где зачастую находится нужная информация.
Апорт – специфический поисковик и предназначен для поиска товаров. Поэтому если вы намерены заняться шоппингом и ищете выгодные предложения, данный сервис вам обязательно поможет. Сравнивая цены в популярных интернет-магазинах, можно найти самые оптимальные варианты.
А каким поисковиком пользуетесь вы?
А знаете , и когда был запущен первый сайт? Угадаете?. Всем пока.
Уже давно стали неотъемлемой частью российского Интернета. Поисковые системы сейчас – это огромные и сложные механизмы, представляющие собой не только инструмент поиска информации, но и заманчивые сферы для бизнеса.
Большинство пользователей поисковых систем никогда не задумывались (либо задумывались, но не нашли ответа) о принципе работы поисковых систем, о схеме обрабатки запросов пользователей, о том, из чего эти системы состоят и как функционируют…
Данный мастер-класс призван дать ответ на вопрос о том, как работают поисковые системы. Однако, Вы не найдете здесь факторов, влияющих на ранжирование документов. И тем более не стоит рассчитывать на подробное объяснение алгоритма работы Яндекса. Его, по словам Ильи Сегаловича, - директора по технологиям и разработке поисковой машины «Яндекс», можно узнать, лишь «под пыткой» самого Ильи Сегаловича…
2. Понятие и функции поисковой системы
Поисковая система - это программно-аппаратный комплекс, предназначенный для осуществления поиска в сети Интернет и реагирующий на запрос пользователя, задаваемый в виде текстовой фразы (поискового запроса), выдачей списка ссылок на источники информации, в порядке релевантности (в соответствии запросу). Наиболее крупные международные поисковые системы: «Google» , «Yahoo» , «MSN» . В русском Интернете это – «Яндекс» , «Рамблер» , «Апорт» .
Рассмотрим подробнее понятие поискового запроса на примере поисковой системы «Яндекс». Поисковый запрос должен быть сформулирован пользователем в соответствии с тем, что он хочет найти, максимально кратко и просто. Допустим, мы хотим найти информацию в «Яндексе» о том, как выбрать автомобиль. Для этого, открываем главную страницу «Яндекса», и вводим текст поискового запроса «как выбрать автомобиль». Далее, наша задача сводится к тому, чтобы открыть предоставленные по нашему запросу ссылки на источники информации в Интернет. Однако, вполне можно и не найти нужную нам информацию. Если таковое произошло, то либо нужно перефразировать свой запрос, либо в базе поисковой системе действительно нет никакой актуальной информации по нашему запросу (такое может быть при задании очень «узких» запросов, как, например «как выбрать автомобиль в Архангельске»)
Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут. А научить пользователей делать «правильные» запросы к системе, т.е. запросы, соответствующие принципам работы поисковых систем, невозможно. Поэтому разработчики создают такие алгоритмы и принципы работы поисковых систем, которые бы позволяли находить пользователям искомую ими информацию.
Это означает, поисковая система должна «думать» так же, как думает пользователь при поиске информации. Когда пользователь обращается с запросом к поисковой машине, он хочет найти то, что ему нужно, максимально быстро и просто. Получая результат, он оценивает работу системы, руководствуясь несколькими основными параметрами. Нашел ли он то, что искал? Если не нашел, то сколько раз ему пришлось перефразировать запрос, чтобы найти искомое? Насколько актуальную информацию он смог найти? Насколько быстро обрабатывала запрос поисковая машина? Насколько удобно были представлены результаты поиска? Был ли искомый результат первым или же сотым? Как много ненужного мусора было найдено наравне с полезной информацией? Найдется ли нужная информация, при обращении к поисковой системе, скажем, через неделю, или через месяц?
Для того, чтобы удовлетворить ответами все эти вопросы, разработчики поисковых машин постоянно совершенствуют алгоритмы и принципы поиска, добавляют новые функции и возможности, всячески пытаются ускорить работу системы.
3. Основные характеристики поисковой системы
Опишем основные характеристики поисковых систем:
- Полнота
Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.
- Точность
Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.
- Актуальность
Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.
- Скорость поиска
Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.
- Наглядность
4. Краткая история развития поисковых систем
В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.
Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.
Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.
В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.
В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!
В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.
В настоящее время существуют три основные поисковые системы (международные) – Google, Yahoo и , имеющие собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.
5. Состав и принципы работы поисковой системы
В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».
Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.
Модуль индексирования
Модуль индексирования состоит из трех вспомогательных программ (роботов):
Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.
- URL страницы
- дата, когда страница была скачана
- http-заголовок ответа сервера
- тело страницы (html-код)
Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.
Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.
Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.
База данных
База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.
Поисковый сервер
Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.
Поисковый сервер работает следующим образом:
- Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде , то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).
- Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.
- В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).
- Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.
- Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.
Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.
6. Заключение
Теперь подытожим все вышесказанное.
- Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут.
- Основные характеристики поисковых систем:
- Полнота
- Точность
- Актуальность
- Скорость поиска
- Наглядность
- Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.
- В состав поисковой системы входят компоненты:
- Модуль индексирования
- База данных
- Поисковый сервер
Надеемся, наш мастер-класс позволит Вам поближе ознакомиться с понятием ПС, лучше узнать основные функции, характеристики и принцип работы поисковых систем.
Говорить о том, что в наше время информационных технологий и бесконечного роста объема данных, доступных как отдельно взятому человеку, так и обществу, существует много проблем с обработкой информации и ее поиском - это уже кощунство. Кто только эту тему не поднимает. И дабы не загружать вас субъективными и, частью, объективными суждениями, почерпнутыми из различных информационных источников касательно проблемы, я перейду непосредственно к ее решению. Сегодня поговорим о поиске. То есть о программах и серьезных информационных системах, осуществляющих поиск нужных нам документов и данных.
Апгрейд «прямого поиска»
Не так давно, когда деревья были большими, и информации даже в локальной сети предприятия было не так много, любой поиск осуществлялся банальным перебором горстки доступных файлов и последовательной проверкой их названий и содержимого. Такой поиск называется прямым, и программы (утилиты), использующие технологию прямого поиска, традиционно присутствуют во всех операционных системах и инструментальных пакетах. Но, даже мощности современных компьютеров не хватит для быстрого и адекватного поиска в гигантских объемах данных при прямом поиске. Перебор пары сотен документов на диске и поиск в громадной библиотеке и нескольких десятках почтовых ящиков - разные вещи. Поэтому, программы прямого поиска сегодня явно уходят на второй план - если речь идет об универсальных средствах.
Конечно, в корпоративном секторе такой вид поиска уже давно не востребован. Объемы не те. И, поэтому, уже который год, а в последнее время однозначно, технологии, способные осуществлять быстрый и точный поиск документов различных форматов и из различных источников, более чем актуальны. Не так давно "папа" Microsoft Билл Гейтс, позавидовав, судя по всему, феноменальному успеху Интернет-поисковика Google, на одной из пресс-конференций обнародовал желание софтверного (уже и не только) всячески способствовать, развивать и углублять создание поисковых систем и технологий. Но до создания какой-либо феноменально работающей программы от Microsoft или конкурентоспособного сервера в Интернет пока рано (MSN все равно до Google не дотягивает). Поэтому обратимся к уже существующим разработкам. Индекс, запрос, релевантность
В основе современных технологий лежат два основополагающих процесса. Во-первых, это индексация доступной информации и обработка запроса с последующим выводом результатов. Что касается первого, то любая программа (будь то настольный поисковик, корпоративная информационная система или Интернет поисковый движок) создает свою область поиска. То есть обрабатывает документы и формирует индекс этих документов (организованная структура, в которой содержится информация об обработанных данных). В дальнейшем именно созданный индекс используется для работы - быстрого получения списка нужных документов согласно запросу. Дальнейшее хоть и отнюдь не просто в плане технологии, но зато вполне понятно обычному пользователю. Программа обрабатывает запрос (по ключевому слову-фразе) и выводит список документов, в которых эта ключевая фраза содержится. Так как информация содержится в структурированном индексе, то обработка запроса проходит значительно (в десятки и сотни раз!) быстрее, чем в случае с прямым поиском (выборка документов осуществляется не перебором файлов, а анализом текстовой информации в индексе).
Найденные документы программа выводит в результирующем списке согласно релевантности - соответствия документа тексту запроса. В различных технологиях, конечно, присутствуют различные методы поиска и определения релевантности документа (количество "вхождений" слова и его частота упоминания в документе, соотношение этих параметров к общему количеству слов в документе, расстояние между словами фразы запроса в искомых файлах и так далее). На основе этих параметров определяется "вес" документа и, в зависимости от него тот или иной файл оказывается в списке результатов на определенной позиции. В случае с Интернет-поиском дело обстоит еще сложнее. Ведь в данном случае надо учитывать и множество иных факторов (Page Rank Google тому пример). Но это тема для отдельной статьи, поэтому Интернет трогать не будем.Обзор поисковиков
В данном материале рассмотрены возможности нескольких популярных программ поиска, которые могут похвастаться как приличными скоростями, так и неплохим функционалом. Но хвастаться в рекламных проспектах - это одно, а вот выдержать пристальный взгляд эксперта - совсем другое. А экспертов нашлось ни много, ни мало полный офис любителей поковырять софт на предмет его юзабилити. На подопытный компьютер (Athlon 2,2 MHz, с объемом оперативной памяти 1 Гб, 160 гигабайтным IDE жестким диском Seagate на 7200 оборотов в минуту и системой Windows XP) был установлен набор программ: dtSearch Desktop, Ищейка Проф Deluxe, Google Desktop Search, SearchInform, Copernic Desktop Search, ISYS Desktop. Для тестов была скомпонована текстовая база документов в форматах doc, txt и html общим размером ни много, ни мало, а 20 гигабайт. Группа товарищей под руководством вашего покорного слуги тестировала, сравнивала и делилась своими субъективными впечатлениями по каждой софтине. Сводное изложение полученных данных читайте ниже. dtSearch Desktop
Программа, претендующая, по заявлению разработчиков, на самую быструю, удобную и лучшую поисковую систему. Как, в общем, и все остальные из данного обзора. Интерфейс dtSearch довольно прост, но некоторые окна или вкладки несколько перегружены элементами, из-за чего создается впечатления сложности использования. Но на самом деле особых трудностей не возникает. Единственным действительно неприятным моментом является отсутствие поддержки софтиной русского языка (не смотря на то, что искать документы программа может на нескольких языках, интерфейс ее исключительно английский).
Зато dtSearch одна из немногих программ, которая может индексировать веб-страницы на заданную пользователем "глубину" (правда, с учетом "дозакупки" в комплект адд-она dtSearch Spider). Это кроме поддержки файлов на диске различных текстовых форматов и электронных писем из почтового ящика Outlook. В то же время, программа не умеет работать с базами данных, которые являются таким лакомым кусочком для поисковиков из-за больших объемов информации, находящихся в них, и широкого распространения в компаниях, а значит и в корпоративных сетях. Скорость индексирования документов dtSearch оказалась на должном уровне. Забегая вперед, скажу, что эта программа справилась с индексацией заданного объема информации на уровне с другим конкурсантом - iSYS - и поделила с ним второе место в списке самых быстрых систем. Тестовые 20 гигабайт информации dtSearch проиндексировала за 6 часов 13 минут, создав для нужд последующего поиска индекс размером 7.9 Гб.
Что касается возможностей поиска, то здесь они на должном уровне. Во-первых, в dtSearch присутствует морфологический поиск (поиск слова во всех его морфологических формах). Используя данную возможность, вы освобождаете себя от, скажем, таких раздумий, как "в каком же падеже было употреблено некоторое слово в необходимом мне документе?". Использование морфологического поиска почти всегда оправдано, поэтому должно присутствовать в любом профессиональном поисковике.
Поиск по звучанию является нестандартной возможностью даже для профессиональных поисковиков. Суть его заключается в том, что программа будет искать слова, которые звучат так же, как введенное вами слово. И что самое приятное, эта функция работает и для русского языка! Например, набирая слово "ухо" в поисковом запросе, вы увидите в результате не только слова "ухо", но и "уха".
Поиск с коррекцией ошибок - очень важная функция. Применяется для поиска слов, содержащих синтаксические ошибки - это могут быть как опечатки, так ошибки в документах, полученных при помощи систем распознавания символов, например. Простой пример - вы ищете слово клавиатура. В некотором документе содержится слово "клавиатупа", очевидно, что на самом деле это слово "клавиатура", просто человек при наборе текста опечатался. Так вот, поиск с коррекцией ошибок, это обнаружит и включит документ со словом "клавиатупа" в результат. Также в dtSearch есть настройка, позволяющая определять степень возможных ошибочных символов.
Поиск с использованием синонимов. Эта возможность использует список синонимов для различных слов. Так, например, введя слово "быстрый", программа также найдет слова "скоростной" и другие, являющиеся синонимами для слова "быстрый", если таковые, конечно, присутствуют в списке синонимов. Готового списка синонимов вместе с программой dtSearch не поставляется, однако есть возможность воспользоваться списками в Интернет (соответственно, требуется подключение, что не всегда удобно), либо можно составить свой список синонимов.
Кроме перечисленных возможностей, dtSearch может производить поиск с использованием фраз, состоящих из слов, соединенных логическими операциями. Каждому слову в запросе можно устанавливать свой "вес", то есть значимость. Полезная опция - использование словаря, состоящего из не значимых слов для того, чтобы не учитывать их при поиске, однако этот словарь также пуст и его придется заполнять самостоятельно.
Далее рассмотрим возможности программы при работе в сети. По сути, никаких специфических возможностей для работы с сетью dtSearch не предлагает. Тем не менее, использовать его в сети вполне возможно. Как вариант, можно создать некоторый индекс и положить его в общедоступную (расшаренную) папку. Саму же программу можно установить каждому пользователю на компьютер, либо выложить ее также на папку, открытую для общего доступа, и создать специальным образом ярлыки для каждого пользователя отдельно, используя параметры командной строки, предназначение которых описано в файле помощи, поставляемым с программой. Также, есть возможность автоматической установки программы в сеть при помощи MSI файла. При этом будут учтены настройки для каждого подключаемого пользователя.
В общем и целом - неплохая программа из разряда профессиональных поисковиков. Может претендовать на хорошую оценку, однако завоевание доверия и уважения со стороны пользователей может оказаться непростым для dtSearch в силу некоторых факторов (не все гладко с интерфейсом, русские пользователи обделены, нет ярких особенностей для работы с сетью). Что касается непосредственно поиска документов, то накладок с русским текстом у программы не было. Как не было их ни с заявленной морфологией, ни с нечетким поиском. Система вполне адекватно находила нужные документы и по простому запросу в одно слово и по использовании в качестве ключевой фразы пары абзацев, какого-либо документа.
Официальный сайт:
Размер дистрибутива: 23 MbИщейка Проф Deluxe
Исходя из названия, можно догадаться, что поддержка русского языка в этой программе есть. Это уже приятно. Что касается интерфейса, в общем-то, он несколько необычен, но с виду весьма привлекателен. Другое дело - удобство. Весьма спорный критерий, но все же, наверно, многооконное решение - не самый удачный вариант (запрос вводится в одном окне, результат отображается в другом и тому подобное).
Ищейка использует все те же индексы для осуществления быстрого поиска, однако индексирование проходит значительно медленнее, нежели у других программ. Это весьма странно, особенно учитывая то, что возможности по обработке поисковых запросов у нее весьма слабые, а значит и структура индекса не сложная. Скорее всего, дело тут в неоптимизированных алгоритмах. Эта программа оказалась явным аутсайдером скоростей индексации и поиска: время, затраченное на создание индекса, в шесть раз больше, чем у тех же dtSearch и iSYS. Индексация 20 гигабайт текстов для ищейки вылилась в 38 часов 46 минут работы. А созданная "область поиска" заняла на жестком диске тот же размер, что и исходные данные за небольшим минусом - 19 гигабайт.
Ищейка может быть представлена как альтернатива стандартному поиску в Windows, на большее она вряд ли способна. О том, что первоочередная задача Ищейки - простейший поиск файлов указывает не только малое количество функций для анализа текста поисковых запросов и расширенный поиск по атрибутам файлов, но даже окно результатов, выдающее прямые ссылки на найденные файлы, а также на папки, содержащие эти файлы. Окно результатов не слишком информативно в том плане, что прочитать весь найденный файл можно, только запустив его, то есть, встроенного просмотрщика файлов у него нет. Зато выдается выдержка из файла, где встретилось искомое слово, в общем, такая схема отображения очень напоминает Интернет поисковики.
Говоря о конкретных возможностях по обработке поисковых запросов, стоит отметить, что здесь нет такого понятия как "искать текст", максимум, что можно искать - это фраза, хотя бы потому, что здесь нет многострочного поля ввода текста. Тем не менее, анализировать можно и введенную фразу и Ищейка предлагает нам здесь стандартный поисковый набор: логические операции, поиск по маске и цитатный поиск... не густо. В программе присутствуют некоторые зачатки морфологического поиска, но, наверно, настолько сырого, что он, скорее, мешает корректной работе (во время тестов было замечено множество накладок с неправильным использованием морфологии).
Зато программа позволяет указывать при поиске атрибуты файлов (дата документа, имя файла, имя папки), причем в этих запросах также можно использовать тот же поисковый набор. Также, можно осуществлять поиск писем, указывая параметры (От, Тема.... и т.п.).
Итак, с самим поиском разобрались, чем же еще интересным обладает программа, за что она получила столь многочисленные награды, по информации с официального сайта? Трудно сказать, что в ней такого особенного, скорее всего, интерфейс Ищейки располагает к себе (именно внешне, не говоря о юзабилити).
Операции с индексами весьма стандартны, приятным моментом является возможность обновления индексов по расписанию. Кроме того, индексы также могут использоваться в сети. С этого момента надо поподробнее.
Несмотря на примитивность поисковых запросов, программу можно использовать для поиска файлов, поэтому ее применение может быть оправдано в сетях. Хоть и с большой натяжкой, так как в большой сети приоритетной задачей является быстрый поиск данных с использованием сложных поисковых запросов из-за огромного количества информации - а со скоростью поиска и программы явно проблемы. Надо сказать, что работа с сетью у Ищейки продумана, как следует. Специально для этого предназначено отдельное приложение - Ищейка Сервер. Оно работает так же, как и просто Ищейка (поисковой движок у них один), только для документов, размещенных на центральном сервере или на общих ресурсах в корпоративной сети. Ищейка Сервер создает новые индексы на общих ресурсах, либо использует ранее созданные. Любой пользователь корпоративной сети может подключиться к Ищейке Сервер и использовать ее для доступа к любому документу (находящемуся в текущем индексе) используя Интернет браузер. Согласитесь, такая схема является крайне удобной: получается, что файлы в собственной сети можно искать таким же образом, как информацию в Интернете через, например, Google.
Оценивая все преимущества и недостатки этой программы, сам собой напрашивается вывод, что для корпоративных сетей ее возможностей, скорее всего, не хватит (несмотря доже на неплохую организацию работы с сетью), а вот для домашнего компьютера или даже для домашней сети она, в принципе, может и подойти. Хотя ни скорость работы, ни возможности по поиску не внушают оптимизма...
Официальный сайт на русском языке:
Размер дистрибутива: 6 MbGoogle Desktop Search + GDS Enterprise
Конечно, мы не могли обойти стороной такого именитого разработчика. Имя Google уже говорит о многом. Народ, годами пользовавшийся мощнейшим Интернет поисковиком, наверняка без единого сомнения решит установить на компьютере именно этот поисковик. Это же подумать: Google на домашнем компьютере! Однако, не поддаваясь на провокации с широко раскрученным брэндом, попробуем трезво, а главное объективно, рассмотреть возможности "настольного" поисковика от Google.
Первое, что бросается в глаза - отсутствие собственной оболочки для программы. Google Desktop Search по-прежнему находится в окне браузера, соответственно, весь интерфейс настольной версии достался софтине от старшего Интернет-брата. Хорошо это или плохо - спорный вопрос: кому-то по душе минимализм в дизайне этого поисковика, а кому-то хочется видеть полноценное приложение, наполненное всякого рода кнопочками и так далее.
Что бросается в глаза сразу после дизайна? А то, что этот самый Google Desktop Search начинает индексировать на компьютере все подряд, без всякого на то спроса! И что самое интересное, выбрать пути индексации при помощи Google Desktop Search невозможно. Придется скачать отдельную программку (TweakGDS), которая позволит несколько расширить настройки Google Desktop, в том числе и указать необходимые для индексации места. Хотя, пока со всем этим разберешься, стандартный винчестер он уже проиндексирует, так что такая настройка нужна скорее при работе с большими массивами данных, что очень актуально при использовании в корпоративных сетях (версии Enterprise). Однако не факт, что после скачивания TweakGDS, ваши проблемы решатся. Ведь для работы ей необходимы Microsoft .NET Framework и Microsoft Scripting Runtime. Да уж... установку, как и доступ к настройкам, можно было сделать и проще, хотя, наверно разработчиков можно понять: зачем писать что-то новое, когда есть уже готовый поисковик, портировал его на локальный компьютер и пускай пользователь "наслаждается", а известное имя сделает из "этого" очередной шедевр. Да ладно, закончим на этом лирическое отступление и перейдем к поиску.
Что касается анализа поисковых запросов и выдачи результатов, то здесь все абсолютно идентично Google в Интернет: такая же система отображения результатов, тот же стандартный набор логических операций для поисковых запросов. В общем Google Desktop Search, как и предыдущая программа, предназначен исключительно для поиска файлов - внутреннего просмотрщика этих файлов в нем, разумеется, нет. Количества форматов файлов, поддерживаемых Google Desktop Search, вполне достаточно, а также приятно, что он осуществляет поиск по посещенным Интернет страницам, беря данные из кэша. Скорости поиска и индексирования вполне приемлемые. Правда, для домашнего использования. С внушительными 20 гигабайтами текстов Google Desktop Search справилась за 8 часов 17 минут. Потратить несколько дней на обработку информации из корпоративной сети крупного предприятия не улыбается ни одному сисадмину. Из плюсов: размер создаваемого индекса оказался на уровне (4,5 Гб) с другим поисковиком, протестированном в этом обзоре - SearchInform.
Большое преимущество (или упущение - решать вам) Google Desktop Search заключается в том, что он поддерживает плагины, которые способны многое переменить к лучшему. Другое дело, что подключение плагинов и их настройка настолько усложняет задачу установки поисковика, что начинаешь задумываться - а надо ли все это, когда можно установить нормальную, полноценную программу, в которой уже будет все присутствовать. Ведь для задействования каждой возможности придется устанавливать новый плагин. Даже для того, чтобы программа могла полноценно работать с архивами, нужна отдельная примочка. Завораживает и прельщает бесплатность всех этих дополнительных модулей. Однако если не брать в расчет десктоповую версию поисковика, то грамотная настройка GDS Enterprise может оказаться вам не под силу - ведь не зря специалисты из Google предлагают свои услуги по настройке их же программного обеспечения для вашей сети всего лишь за 10000$.
Если же вы все-таки осилите процедуру настройки и установки (или заплатите 10000$ бригаде быстрого реагирования из конторы Google), то поймете, что сложность установки с лихвой компенсируется очень гибкими настройками при использовании в корпоративных сетях. Немаловажным моментом работы Google Desktop в корпоративной сети является использование групповых политик, что дает возможность установить настройки для каждого пользователя.
Подводя итог, следует сказать, что самое разумное применение для этой программы - домашний или рабочий компьютер. Ведь для обычного компьютера достаточно просто установить программу - остальное она сделает сама (вас даже ни о чем не спросит).
Тем не менее, Google Desktop Search Enterprise будет приемлема в случаях острой необходимости гибкой настройки сетевой политики для использования поисковика, при этом возможности обработки поисковых запросов будут на втором месте по значимости, а время (или деньги), затраченное на настройку программы, - на первом месте.
Официальный сайт:
Размер дистрибутива вместе с TweakGDS: 1,2 MbCopernic Desktop Search
Щелкните по картинке, чтобы увеличить
Интерфейс программы вызывает исключительно положительные эмоции - все сделано в соответствии с общепринятыми стандартами, ничего лишнего, одним словом приятный дизайн. Новичку разобраться в интерфейсе Copernic Desktop Search будет очень просто. Хотя, несколько смущает то, что дизайнеры явно создавали интерфейс программы с учетом того, что программа будет работать в стандартной теме оформления Windows XP. При использовании же классической темы, программа смотрится уже не настолько симпатичной. Но это уже скорее дело вкуса.
При первом же запуске, программа предлагает создать индексы для поиска. Несколько необычным показалось то, что после выбора папок для индексирования, программа не предлагает нажать какую-нибудь кнопку, вроде "Начать индексацию", при этом индексация не начинается автоматически, только потом было замечено, что Copernic пытается начать индексацию во время простоя компьютера. Придется несколько покопаться в опциях программы, чтобы настроить все должным образом. Следует отметить, что здесь представлены довольно широкие возможности по настройке автоматического создания индекса: встроенный планировщик, возможность индексации во время простоя компьютера, в фоновом режиме, с низким приоритетом. Индексация проходила не слишком быстро - 10 часов 51 минута - это медленнее, чем в других поисковиках (кроме Ищейки, все же Copernic быстрее разработки iSleuthHound Technologies на порядок.
Теперь о структуре индекса. В общем, ничего особенного в ней нет. Есть возможность выбора типов файлов, причем, как в обобщенном виде, так и в подробном. То есть изначально вы можете выбрать, что требуется индексировать - Документы, Изображения, Видео, Музыку. На другой же вкладке окна опций будет возможность выбрать конкретно типы файлов по расширению. Дополнительно можно настроить индекс таким образом, чтобы, например, не индексировались картинки, размером менее 16х16 или не индексировались звуковые файлы длиной менее 10 секунд. Помимо индексации файлов из папок, Copernic умеет работать с электронными письмами и контактами из адресной книги Microsoft Outlook и Microsoft Outlook Express, возможна индексация Избранного и Истории из Internet Explorer.
Что касается возможностей поиска, то здесь они весьма слабы. Во время тестов даже было выявлено, что программа не ищет документы форматов txt и html на русском языке, позволяя найти их только по заголовкам, а отнюдь не по содержанию. Единственное, что программа предоставляет для повышения эффективности поиска - это использование стандартного набора логических операций, да и то, эта возможность была обнаружена экспериментальным путем, так как документирована она не была. Кстати, со справкой у программы также не все в порядке - она доступна только через Интернет, что, согласитесь, весьма неудобно, да и в сети справочной информации не слишком много. Видимо, разработчики решили, что простой интерфейс программы не предполагает наличия нормальной справки. Продолжая разговор о возможностях поиска, следует отметить, что, несмотря на слабый анализ запросов, программа предоставляет интересную систему поиска - пользователь может выбрать тип файлов (изображения, видео, музыка и т.п.), ввести поисковый запрос и выбрать атрибуты, присущие именно выбранному типу файлов. Например, для звуковых файлов, это могут быть значения из mp3 тегов (артист, альбом, дата и т.п.), для изображений, например, можно выбирать их размер (по разрешению), в общем, каждому типу - свои настройки. После осуществления поиска по определенному типу файлов, программа выдаст весьма информативный список в окне результатов, причем, если под ваш запрос попали файлы других типов, то вы сможете открыть и их, нажав на определенную ссылку.
Отдельно стоит упомянуть про окно отображения результатов. Под списком найденных файлов отображается содержимое этих файлов (аналогичная схема часто используется в почтовых клиентах). Правда, просмотр текста можно осуществлять лишь в родном формате, а режима отображения plain текста нет, что не всегда удобно, так как открытие документа в этом случае занимает больше времени. Зато, учитывая, что Copernic умеет искать изображения и музыку, здесь есть возможность просмотра и этих мультимедийных файлов.
Основные принципы работы этой программы описаны, теперь посмотрим, что Copernic Desktop Search может нам предложить для работы с сетью... В принципе смотреть можно очень долго, но увидеть что-либо вряд ли удастся. Другими словами, эта программа и не задумывалась как сетевая. Copernic Desktop Search - исключительно домашний поисковик.
Очевидно, что единственное (самое логичное) применение этой программы - домашний компьютер. Здесь она вполне справится со всеми незамысловатыми поисковыми запросами пользователей, состоящими из одного двух слов, найдет нужную информацию, а разделение поиска по типам файлов и поддержка мультимедийных файлов вместе с фоновой индексацией в режиме низкого приоритета вкупе с приятным интерфейсом только придают программе сил для завоевания доверия среди неискушенных пользователей.
Официальный сайт
Размер дистрибутива: 2,6 MbISYS Desktop
Щелкните по картинке, чтобы увеличить
Очень мощная программа. По уровню оснащенности всевозможными функциями она находится где-то рядом со следующей в списке системой поиска SearchInform. При этом размер установочного файла более 40Mb! Сложно сказать, что можно было засунуть в такие размеры, ведь тот же SearchInform, с похожей функциональностью занимает 15Mb.
Процесс установки здесь также не слишком приятен, точнее даже не процесс установки. Еще до скачивания программы вас попросят зарегистрироваться, а иначе - никак. Далее, интерфейс. Сделан он весьма симпатично, ничего лишнего в глаза не бросается, однако - это впечатления человека, уже несколько привыкшего к нему. Разобраться, где и что находится, куда нажимать и где осуществить наконец-то поиск новичку будет непросто. Очень рекомендуется прочитать справку перед началом работы - сэкономите много нервов и времени. Ко всему прочему добавляется также полное отсутствие поддержки русского языка в программе. Нехорошо. Вдобавок, окна здесь не перегружены элементами управления, однако расплатиться за это пришлось многомодульностью и использованием дополнительных окон. Например, запросы для поиска вводятся при помощи запуска одной программы, а управление индексами производится при помощи уже другой программки. Поисковые запросы вводятся здесь также в отдельных, появляющихся окошках. Что лучше - перегруженность интерфейса или повсеместная многооконность - сказать трудно, скорее, это дело вкуса.
Что касается создания индексов, то программа предоставляет возможности по упрощению процесса установки опций для нового индекса. Эти возможности включают в себя несколько готовых шаблонов для создания индексов по папке "Мои документы", "Почта", "Почта и документы", "Определенная папка", "Папка с выбором типов файлов" и др. Такие шаблоны упрощают создание индексов на первом этапе. Утилита для работы с индексами обладает не слишком удачным интерфейсом, отпугивающим некоторой сложностью (это весьма субъективная оценка, по правде говоря), однако, если разобраться, он предоставляет множество полезных опций и в целом его использование особого труда не вызывает. ISYS Desktop умеет индексировать данные из различных источников данных, а также предоставляет множество гибких настроек для такой индексации. Среди дополнительных возможностей по индексированию: поддержка SQL, FTP, TRIM Context, WORLDOX 2002, скрипты. При создании индекса, если вы выбирали пункт "Папка с выбором типов файлов", у вас есть возможность выбрать типы файлов для индексации вручную (по расширению). Надо сказать, что поддерживаемых типов файлов просто огромное количество, однако свой тип (расширение) добавить в существующий список не удастся. Можно также отметить наличие планировщика индексации. Созданием индекса и обработкой 20 гигабайт информации ISYS Desktop занималась 6 часов 13 минут, в конечном итоге показав неплохое время и размер созданного файла - 7.9 Гб.
Возможности поиска у этой программы неплохи. То, что используется в ISYS, значительно мощнее обычной поддержки логических операций. Из продвинутых возможностей по поиску программа предлагает использование синонимов, фильтра сортировки (по пути, имени и дате создания файла). Набор логических операторов несколько шире стандартного набора. Помимо логических операций, программа позволяет работать со многими другими операторами, которые в принципе способны заменить некоторые виды поиска, например, поиск с синтаксическим разбором вполне можно заменить использованием специальных операторов. Очень удивило то, что в программе отсутствует поиск с использованием морфологии. Это серьезное упущение, так как эффективность поиска сильно повышается при использовании морфологического анализа. Кроме того, нет списка значимых слов, зато присутствует обширный список незначимых слов. Также заявлены такие функции при поиске как "приблизительный поиск" и "эвристический анализ".
ISYS предоставляет на выбор несколько видов поисковых запросов, именно, видов - визуальных. Это осуществлено при помощи разных видов окон для ввода поисковых запросов, однако, фактически, ни одно окно не позволяет использовать технологии, отличные от перечисленных выше.
Результаты поиска весьма информативны, отображаются в виде списка документов, отсортированных по релевантности. Ниже отображается предпросмотр выбранного документа. В отличие от Copernic Desktop Search, предпросмотр здесь доступен лишь в виде plain текста, добиться отображения документов в родном формате, будь то Word, Html или PDF так и не удалось, хотя это в принципе и не слишком критично. Программа позволяет разбивать найденные документы на группы по определенным признакам (по умолчанию они разделены по релевантности). Можно также просматривать уже найденные документы, выбирая отдельные папки (это удобно, когда результат выдает очень большое количество документов).
Использование программы в корпоративной сети также весьма оправдано, так как она предоставляет неплохие возможности по организации сетевого поиска. Система поиска основана на создании общедоступного индекса, который содержит проиндексированные данные с общедоступных сетевых ресурсов.
По сути, программа от ISYS достойна внимания, хотя бы ознакомления с ней. Эта программа - зрелый проект, обладающий огромным количеством функций (не всегда и не всем, конечно, они бывают нужны, но все же). Шансы на то, что в программе появятся некоторые улучшения со стороны обработки поисковых запросов, не известны, но и на данный момент ее можно рекомендовать практически для повсеместного использования. А учитывая, что для домашних систем она все же слишком грузная, то основные места ее инсталляции - корпоративные сети.
Официальный сайт:
Размер дистрибутива: 40 MbSearchInform
Щелкните по картинке, чтобы увеличить
Сразу начинать с описания интерфейса SearchInform, наверно, не стоит. Следует для начала описать процесс установки, а точнее одну его деталь: вы не сможете установить программу без подключения к Интернет. Дело в том, что перед первым запуском программа требует регистрации пользователя (бесплатной) и отправляет все введенные данные на сервер. Видимо, разработчикам пришлось принять такие меры в борьбе с пиратством, однако на удобстве установки это положительным образом не отразилось.
Интерфейс программы выполнен с соблюдением всех общепринятых правил, однако, на первый взгляд, несколько громоздок. Используя программу в первый раз, кажется, что он чересчур сложный, иногда бывает не просто вспомнить в каком меню или на какой вкладке находится нужная опция, однако, при более длительном использовании, интерфейс уже не кажется таким ужасающе сложным. Главное, предварительно почитать справку.
Немного разобравшись с интерфейсом, можно приступить к созданию индекса. Сам процесс весьма прост и скорость индексации даже на глаз значительно выше всех других поисковиков из обзора. Четкие цифры тестов показывают, SearchInform в два раза обогнала dtSearch и iSYS по скорости индексации! Программа проиндексировала предоставленные данные в размере 20 гигабайт за рекордное время - 3 часа 17 минут. Да и размер созданного индекса оказался самым небольшим 4.4 Гб - на 100 мегабайт меньше, чем у Google Desktop Search.
Программа поддерживает, помимо обычных файлов и папок, также индексацию электронных писем, подключение и индексацию баз данных (!) и других внешних источников (DMS, CRM), сразу же при индексации можно указать словарь для проведения морфологического поиска, а также индексироваться могут все атрибуты файлов. После создания индекса, при попытке провести первый пробный поиск документов, можно прийти в некоторое замешательство: "здесь присутствует два вида поиска, а какой же из них нужен мне?". Как уже говорилось ранее - главное прочитать справку, тогда все станет понятно. Программа действительно умеет осуществлять два вида поиска - это фразовый поиск и поиск документов, похожих по содержанию на текст запроса.
Описание всех основных функций для анализа поискового запроса было приведено выше, поэтому сейчас лишь перечислим возможности поиска, предоставляемые этой программой. Начнем с фразового поиска: конечно, морфологический поиск, цитатный поиск, логические операции, поиск с синтаксическим разбором слова (поиск по началу слова, по окончанию, по средней части, либо полное совпадение), смешанный цитатный поиск (когда все слова из запроса должны присутствовать в документе, но необязательно во введенном порядке), поиск с коррекцией ошибок, использование синонимов, "почти цитатный поиск" (поиск введенной фразы как цитаты, но между введенными словами могут присутствовать другие слова) и т.п. Некоторые из перечисленных опций имеют свои специфические настройки. Кроме того, есть возможность использования словаря незначимых слов, причем в программе уже есть готовый список этих слов, также для поиска можно использовать словарь приоритетных слов (его, разумеется, придется заполнять самостоятельно).
Вот, в принципе, вкратце пробежали все основные возможности фразового поиска.
Перейдем к рассмотрению особенности данной программы - поиска похожих документов. Разработчики утверждают, что это отнюдь не простой поиск текста, это именно "поиск похожих" - именно так он описан у них везде, да ладно, называть это можно как угодно - главное суть. Недолгие поиски в Интернете могут быстро дать информацию о том, что так называемый "поиск похожих" - новая разработка в области анализа текста. Эта система позволяет находить тексты, похожие именно по смысловому содержанию. Самым приятным оказалось то, что после проведения тестовых поисковых запросов, оказалось, что теория вполне совпадает с практикой! Программа действительно ищет похожие по содержанию документы и отображает их в списке, упорядочивая по проценту похожести.
Далее рассмотрим, что предлагает SearchInform (в частности, ее корпоративная версия SearchInform Corporate) для работы в корпоративной сети. Существуют два вида приложений: серверная часть и пользовательская. Серверная часть самостоятельно обрабатывает указанные индексы, а пользователи могут использовать их для поиска, в зависимости от назначенных им прав доступа. Пользователи могут быть настроены автоматически, используя учетные записи Windows (говоря профессиональным языком, SearchInform использует NTFS аутентификацию Windows), так и вручную (пользователей придется добавлять по отдельности). Каждому пользователю можно разрешить или запретить доступ к определенным индексам, можно также объединять пользователей в группы. В общем, настройки для работы в сети у SearchInform опережают по гибкости Google, а по удобству и простоте Ищейку Сервер.
Официальный сайт:
Размер дистрибутива: 14,7 MbСравнение скоростей индексирования
| Система поиска | Время индексации | Размер индекса |
| Ищейка Проф Deluxe 4.5 | 38 часов 46 минут | 19 Гб |
| Isys Desktop 7.0 | 6 часов 13 минут | 7.9 Гб |
| DtSearch 7.0 | 6 часов 3 минуты | 8.6 Гб |
| Google Desktop Search Enterprise | 8 часов 17 минут | 4,5 Гб |
| Copernic Desktop Search * | 10 часов 51 минута | 7 Гб |
| SearchInform 1.5.02 | 3 часа 17 минут | 4.4 Гб |
* Большинство документов.html и.txt, содержащих русский текст, хоть и были проиндексированы, но кроме как по названиям, найти их было невозможно.Резюме
Все программы достойны внимания.
На основе тестов и внимательного осмотра каждой программы, представленной в обзоре, можно сделать определенные выводы. Итак, Google Desktop Search Copernic Desktop Search вполне подойдут неискушенному пользователю как домашние системы поиска информации. Они неплохо справляются с простыми запросами, не сильно загрузят пользователя настройками и, притом, совершенно бесплатны. Попытка Google выйти на рынок корпоративных поисковиков, пока не сильно оправдана: для полноценной работы программу нужно обвешивать дополнительными модулями, да и в настройке она далеко не проста. Поэтому, говорящие названия Desktop Search, что Copernic, что Google отставляю за ними нишу "настольных" поисковиков.
Правда, более мощные решения - dtSearch, iSYS и SearchInform тоже не лыком шиты и предлагают пользователям свои "настольные" версии. Но по сходной цене, в отличие от бесплатных софтин от Google и Copernic. Конечно, за мощность, скорость и функционал приходится платить. Но главный прицел разработчики dtSearch, iSYS и SearchInform делают, конечно, на корпоративный сектор. Работа с сетью, функциональность, скорость индексации и поиска – вот, что отличает эти продукты от своих "конкурентов". По результатам теста был определён фаворит - SearchInform. Программа предоставляет возможность искать похожие документы, обладает наибольшей скоростью индексирования и поиска, имеет хороший набор функций.
Для профессионального поиска в Интернете необходимы специализированный софт, а также специализированные поисковики и поисковые сервисы.
ПРОГРАММЫ
http://dr-watson.wix.com/home – программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Результат работы – отчет об исследуемом объекте.
http://www.fmsasg.com/ - одна из лучших в мире программ по визуализации связей и отношений Sentinel Vizualizer . Компания полностью русифицировала свои продукты и подключил горячую линию на русском.
http://www.newprosoft.com/ – “Web Content Extractor” является наиболее мощным, простым в использовании ПО извлечения данных из web сайтов. Имеет также эффективный Visual Web паук.
SiteSputnik – не имеющий в мире аналогов программный комплекс, позволяющий вести поиск и обработку его результатов в Видимом и Невидимом Интернете, используя все необходимые пользователю поисковики.
WebSite-Watcher – позволяет проводить мониторинг веб-страниц, включая защищенные паролем, мониторинг форумов, RSS каналов, групп новостей, локальных файлов. Обладает мощной системой фильтров. Мониторинг ведется автоматически и поставляется в удобном для пользователя виде. Программа с расширенными функциями стоит 50 евро. Постоянно обновляется.
http://www.scribd.com/ – наиболее популярная в мире и все более широко применяемая в России платформа размещения различного рода документов, книг и т.п. для свободного доступа с очень удобным поисковиком по названиям, темам и т.п.
http://www.atlasti.com/ – представляет собой самый мощный и эффективный из доступных для индивидуальных пользователей, небольшого и даже среднего бизнеса инструмент качественного анализа информации. Программа многофункциональная и потому полезная. Совмещает в себе возможности создания единой информационной среды для работы с различными текстовыми, табличными, аудио и видеофайлами, как единым целым, а также инструменты качественного анализа и визуализации.
Ashampoo ClipFinder HD – все возрастающая доля информационного потока приходится на видео. Соответственно, конкурентным разведчикам нужны инструменты, позволяющие работать с этим форматом. Одним из таких продуктов является представляемая бесплатная утилита. Она позволяет осуществлять поиск роликов по заданным критериям на видеофайловых хранилищах типа YouTube. Программа проста в использовании, выводит на одну страницу все результаты поиска с подробными сведениями, названиями, длительностью, временем, когда видео было загружено в хранилище и т.п. Имеется русский интерфейс.
http://www.advego.ru/plagiatus/ – программа сделана seo оптимизаторами, но вполне подходит как инструмент интернет-разведки. Плагиатус показывает степень уникальности текста, источники текста, процент совпадения текста. Также программа проверяет уникальность указанного URL. Программа бесплатная.
http://neiron.ru/toolbar/ – включает надстройку для объединения поиска Google и Yandex, а также позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы. Реализован как плагин для FF и GC.
http://web-data-extractor.net/ – универсальное решение для получения любых данных, доступных в интернете. Настройка вырезания данных с любой страницы производится в несколько кликов мыши. Вам нужно просто выбрать область данных, которую вы хотите сохранять и Datacol сам подберет формулу для вырезания этого блока.
CaptureSaver – профессиональный инструмент исследования интернета. Просто незаменимая рабочая программа, позволяющая захватывать, хранить и экспортировать любую интернет информацию, включая не только web страницы, блоги, но и RSS новости, электронную почту, изображения и многое другое. Обладает широчайшим функционалом, интуитивно понятным интерфейсом и смешной ценой.
http://www.orbiscope.net/en/software.html – система веб мониторинга по более чем доступным ценам.
http://www.kbcrawl.co.uk/ – программное обеспечение для работы, в том числе в «Невидимом интернете».
http://www.copernic.com/en/products/agent/index.html – программа позволяет вести поиск, используя более 90 поисковых систем, более чем по 10 параметрам. Позволяет объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты. Поставляется в бесплатной, личной и профессиональной версиях. Используется больше чем 20 млн.пользователей.
Maltego – принципиально новое программное обеспечение, позволяющее устанавливать взаимосвязь субъектов, событий и объектов в реале и в интернете.
СЕРВИСЫ
new https://hunter.io/ – эффективный сервис для обнаружения и проверки email.
https://www.whatruns.com/ – простой в использовании, но эффективный сканер, позволяющий обнаружить, что работает и не работает на веб-сайте и каковы дыры в безопасности. Реализован также как плагин к Chrom.
https://www.crayon.co/ – американская бюджетная платформа рыночной и конкурентной разведки в интернете.
http://www.cs.cornell.edu/~bwong/octant/ – определитель хостов.
https://iplogger.ru/ – простой и удобный сервис для определения чужого IP .
http://linkurio.us/ – новый мощный продукт для работников экономической безопасности и расследователей коррупции. Обрабатывает и визуализирует огромные массивы неструктурированной информации из финансовых источников.
http://www.intelsuite.com/en – англоязычная онлайн платформа для конкурентной разведки и мониторинга.
http://yewno.com/about/ – первая действующая система перевода информации в знания и визуализации неструктурированной информации. В настоящее время поддерживает английский, французский, немецкий, испанский и португальский языки.
https://start.avalancheonline.ru/landing/?next=%2F – прогнозно-аналитические сервисы Андрея Масаловича.
https://www.outwit.com/products/hub/ – полный набор автономных программ для профессиональной работы в web 1.
https://github.com/search?q=user%3Acmlh+maltego – расширения для Maltego.
http://www.whoishostingthis.com/ – поисковик по хостингу, IP адресам и т.п.
http ://appfollow .ru / – анализ приложений на основе отзывов, ASO оптимизации, позиций в топах и поисковых выдачах для App Store , Google Play и Windows Phone Store .
http://spiraldb.com/ – сервис, реализованный как плагин к Chrom , позволяющий получить множество ценной информации о любом электронном ресурсе.
https://millie.northernlight.com/dashboard.php?id=93 - бесплатный сервис, собирающий и структурирующий ключевую информацию по отраслям и компаниям. Есть возможность использования информационных панелей основанных на текстовом анализе.
http://byratino.info/ – сбор фактографических данных из общедоступных источников в сети Интернет.
http://www.datafox.co/ – CI платформа собирающая и анализирующая информацию по интересующим клиентов компаниям. Есть демо.
https://unwiredlabs.com/home - специализированное приложение с API для поиска по геолокации любого устройства, подключенного к интернету.
http://visualping.io/ – сервис мониторинга сайтов и в первую очередь имеющихся на них фотографий и изображений. Даже если фотография появилась на секунду, она будет в электронной почте подписчика. Имеет плагин для G oogleC hrome.
http://spyonweb.com/ – исследовательский инструмент, позволяющий осуществить глубокий анализ любого интернет-ресурса.
http://bigvisor.ru/ – сервис позволяет отслеживать рекламные компании по определенным сегментам товаров и услуг, либо конкретным организациям.
http://www.itsec.pro/2013/09/microsoft-word.html – инструкция Артема Агеева по использованию программ Windows для нужд конкурентной разведки.
http://granoproject.org/ – инструмент с открытым исходным кодом для исследователей, которые отслеживают сети связей между персонами и организациями в политике, экономике, криминале и т.п. Позволяет соединять, анализировать и визуализировать сведения, полученные из различных источников, а также показывать существенные связи.
http://imgops.com/ – сервис извлечения метаданных из графических файлов и работы с ними.
http://sergeybelove.ru/tools/one-button-scan/ – маленький он-лайн сканер для проверки дыр безопасности сайтов и других ресурсов.
http://isce-library.net/epi.aspx – сервис поиска первоисточников по фрагменту текста на английском языке
https://www.rivaliq.com/ – эффективный инструмент для ведения конкурентной разведки на западных, в первую очередь, европейских и американских рынках товаров и услуг.
http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.
http://falcon.io/ – своего рода Rapportive для Web. Он не является заменой Rapportive, а дает дополнительные инструменты. В отличие от Rapportive дает общий профиль человека, как бы склеенный из данных из социальных сетей и упоминаний в web.http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.
https://addons.mozilla.org/ru/firefox/addon/update-scanner/ – дополнение для Firefox. Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).
http://agregator.pro/ – агрегатор новостных и медийных порталов. Используется маркетологами, аналитиками и т.п. для анализа новостных потоков по тем или иным темам.
http://price.apishops.com/ – автоматизированный веб-сервис мониторинга цен по выбранным товарным группам, конкретным интернет-магазинам и другим параметрам.
http://www.la0.ru/ – удобный и релевантный сервис анализа ссылок и бэклинков на интернет-ресурс.
www.recordedfuture.com – мощный инструмент анализа данных и их визуализации, реализованный как он-лайн сервис, построенный на «облачных» вычислениях.
http://advse.ru/ – сервис под слоганом «Узнай все про своих конкурентов». Позволяет в соответствии с поисковыми запросами получить сайты конкурентов, анализировать рекламные компании конкурентов в Google и Yandex.
http://spyonweb.com/ – сервис позволяет определить сайты с одинаковыми характеристиками, в том числе, использующими одинаковые идентификаторы сервиса статистики Google Analytics, IP адреса и т.п.
http://www.connotate.com/solutions – линейка продуктов для конкурентной разведки, управления информационными потоками и преобразования сведений в информационные активы. Включает как сложные платформы, так и простые дешевые сервисы, позволяющие эффективно вести мониторинг вместе с компрессией информации и получением только нужных результатов.
http://www.clearci.com/ – платформа конкурентной разведки для бизнеса различных размеров от стартапов и маленьких компаний до компаний из списка Fortune 500. Решена как saas.
http://startingpage.com/ – надстройка на Google, позволяющая вести поиск в Google без фиксации вашего IP адреса. Полностью поддерживает все поисковые возможности Google, в том числе и а русском языке.
http://newspapermap.com/ – уникальный сервис, очень полезный для конкурентного разведчика. Соединяет геолокацию с поисковиком он-лайн медиа. Т.е. вы выбираете интересующий вас регион или даже город, или язык, на карте видите место и список он-лайн версий газет и журналов, нажимаете на соответствующую кнопку и читаете. Поддерживает русский язык, очень удобный интерфейс.
http://infostream.com.ua/ – очень удобная отличающаяся первоклассной выборкой, вполне доступная для любого кошелька система мониторинга новостей «Инфострим» от одного из классиков интернет-поиска Д.В.Ландэ.
http://www.instapaper.com/ – очень простой и эффективный инструмент для сохранения необходимых веб-страниц. Может использоваться на компьютерах, айфонах, айпадах и др.
http://screen-scraper.com/ – позволяет автоматически извлекать всю информацию с веб-страниц, скачивать подавляющее большинство форматов файлов, автоматически вводить данные в различные формы. Скачанные файлы и страницы сохраняет в базах данных, выполняет множество других чрезвычайно полезных функций. Работает под всеми основными платформами, имеет полнофункциональную бесплатную и очень мощные профессиональные версии.
http://www.mozenda.com/- имеющий несколько тарифных планов и доступный даже для малого бизнеса веб сервис многофункционального веб мониторинга и доставки с избранных сайтов необходимой пользователю информации.
http://www.recipdonor.com/ - сервис позволяет осуществлять автоматический мониторинг всего происходящего на сайтах конкурентов.
http://www.spyfu.com/ – а это, если у вас конкуренты иностранные.
www.webground.su – созданный профессионалами Интернет-поиска сервис для мониторинга Рунета, включающий всех основных поставщиков информации, новостей и т.п., способен к индивидуальным настройкам мониторинга под нужды пользователя.
ПОИСКОВИКИ
https ://www .idmarch .org / – лучший по качеству выдачи поисковик мирового архива pdf документов. В настоящее время проиндексировано более 18 млн. pdf документов, начиная от книг, заканчивая секретными отчетами.
http://www.marketvisual.com/ – уникальный поисковик, позволяющий вести поиск собственников и топ-менеджмента по ФИО, наименованию компании, занимаемой позиции или их комбинации. В поисковой выдаче содержатся не только искомые объекты, но и их связи. Рассчитана прежде всего на англоязычные страны.
http://worldc.am/ – поисковик по фотографиям в свободном доступе с привязкой к геолокации.
https://app.echosec.net/ – общедоступный поисковик, который характеризует себя как самый продвинутый аналитический инструмент для правоохранительных органов и профессионалов безопасности и разведки. Позволяет вести поиск фотографий, размещенных на различных сайтах, социальных платформах и в социальных сетях в привязке к конкретным геолокационным координатам. В настоящее время подключено семь источников данных. До конца года их число составит более 450. За наводку спасибо Дементию.
http://www.quandl.com/ – поисковик по семи миллионам финансовых, экономических и социальных баз данных.
http://bitzakaz.ru/ – поисковик по тендерам и госзаказам с дополнительными платными функциями
Website-Finder – дает возможность найти сайты, которые плохо индексирует Google. Единственным ограничением является то, что для каждого ключевого слова он ищет только 30 веб-сайтов. Программа проста в использовании.
http://www.dtsearch.com/ – мощнейший поисковик, позволяющий обрабатывать терабайты текста. Работает на рабочем столе, в интернете и в интранете. Поддерживает как статические, так и динамические данные. Позволяет искать во всех программах MS Office. Поиск ведется по фразам, словам, тегам, индексам и многому другому. Единственная доступная система федеративного поиска. Имеет как платную, так и бесплатную версии.
http://www.strategator.com/ – осуществляет поиск, фильтрацию и агрегацию информации о компании из десятка тысяч веб-источников. Ищет по США, Великобритании, основным странам ЕЭС. Отличается высокой релевантностью, удобностью для пользователя, имеет бесплатные и платный вариант (14$ в месяц).
http://www.shodanhq.com/ – необычный поисковик. Сразу после появления получил кличку «Гугл для хакеров». Ищет не страницы, а определяет IP адреса, типы роутеров, компьютеров, серверов и рабочих станций, размещенных по тому или иному адресу, прослеживает цепочки DNS серверов и позволяет реализовать много других интересных функций для конкурентной разведки.
http://search.usa.gov/ – поисковик по сайтам и открытым базам всех государственных учреждений США. В базах находится много практической полезной информации, в том числе и для использования в нашей стране.
http://visual.ly/ – сегодня все шире для представления данных используется визуализация. Это первый поисковик инфографики в Вебе. Одновременно с поисковиком на портале есть мощные инструменты визуализации данных, не требующие навыков программирования.
http://go.mail.ru/realtime –поиск по обсуждениям тем, событий, объектов, субъектов в режиме реального, либо настраиваемого времени. Ранее крайне критикуемый поиск в Mail.ru работает очень эффективно и дает интересную релевантную выдачу.
Zanran – только что стартовавший, но уже отлично работающий первый и единственный поисковик для данных, извлекающий их из файлов PDF, таблиц EXCEL, данных на страницах HTML.
http://www.ciradar.com/Competitive-Analysis.aspx – одна из лучших в мире систем поиска информации для конкурентной разведки в «глубоком вебе». Извлекает практически все виды файлов во всех форматах по интересующей теме. Реализована как веб-сервис. Цены более чем приемлемые.
http://public.ru/ – Эффективный поиск и профессиональный анализ информации, архив СМИ с 1990 года. Интернет-библиотека СМИ предлагает широкий спектр информационных услуг: от доступа к электронным архивам публикаций русскоязычных СМИ и готовых тематических обзоров прессы до индивидуального мониторинга и эксклюзивных аналитических исследований, выполненных по материалам печати.
Cluuz – молодой поисковик с широкими возможностями для конкурентной разведки, особенно, в англоязычном интернете. Позволяет не только находить, но и визуализировать, устанавливать связи между людьми, компаниями, доменами, e-mail, адресами и т.п.
www.wolframalpha.com – поисковик завтрашнего дня. На поисковый запрос выдает имеющуюся по объекту запроса статистическую и фактологическую информацию, в том числе, визуализированную.
www.ist-budget.ru – универсальный поиск по базам данных госзакупок, торгов, аукционов и т.п.
Поисковая система — это база данных по определенной информации в интернете. Многие пользователи считают, что как только они вводят запрос в поисковую систему, тут же начинается сканирование всего интернета, но это совсем не так. Сканирование интернета происходит постоянно, многими программами, данные о сайтах заносятся в базу данных, где по определенным критериям все сайты и все их страницы распределяются в различного рода списки и базы данных. То есть это своего рода картотека данных, и поиск происходит не по интернету, а по этой картотеке.
Google — самая популярная поисковая система в мире.
Кроме поисковой системы, компания Google предлагает множество дополнительных сервисов, программ и аппаратного обеспечения, среди которых почтовый сервис , браузер Google Chrome , крупнейшая видеотека youtube и многие другие проекты. Компания Google уверено скупает многие проекты приносящие крупную прибыль. Большинство сервисов направлены не на прямого пользователя, а на заработок в интернете и интегрирована с уклоном на интересы европейских и американских пользователей.
Mail — поисковая система, популярная в основном из-за почтового сервиса.
Имеется множество дополнительных сервисов, ключевым из которых является почта Mail , на данный момент компании Mail принадлежит социальная сеть Одноклассники , собственная сеть «Мой мир», сервис Деньги-mail, множество онлайн игр, три практически одинаковых браузера с различными названиями. Во всех приложениях и сервисах очень много рекламного наполнения. Социальная сеть «ВКонаткте» блокирует прямые переходы в сервисы Mail, агрументируя большим количеством вирусов.
Википедия.
Википедия — поисковая справочная система.
Некоммерческая поисковая система, существующая на частные пожертвования, поэтому не наполняет страницы рекламой. Многоязычный проект, целью которого является создание полной справочной энциклопедии на всех языках мира. У нее нет определенных авторов, заполняется и управляется добровольцами со всех стран мира. Каждый пользователь может как написать, так и отредактировать статью.
Официальная страница — www.wikipedia.org.
Youtube — крупнейшая библиотека видеофайлов.
Видеохостинг с элементами социальной сети, где каждый пользователь может добавить видео. С момента приобретения их компанией Google Ink, отдельная регистрация для ютуба не требуется, достаточно зарегистрироваться в почтовом сервисе Google .
Официальная страница — youtube.com.
Yahoo! — вторая по значимости поисковая система в мире.
Имеются дополнительные сервисы, самым известным из которых является почта Yahoo. В рамках улучшения качества поисковой системы, Yahoo передает данные о пользователях и их запросах в компанию Microsoft. От этих данных формируется представление об интересах пользователей, а так же формируется рынок рекламного наполнения. Поисковая система Yahoo, так же как и , занимается поглощением других компаний, например, Yahoo принадлежат поисковой сервис Altavista и сайт электронной коммерции Alibaba.
Официальная страница — www.yahoo.com.
WDL — цифровая библиотека.
В библиотеке собираются книги предоставляющие культурную ценность в цифровом виде. Основная цель — повышение уровня культурного содержания интернета. Доступ к библиотеке осуществляется бесплатно.
Официальная страница — www.wdl.org/ru/.
Bing — поисковая система от компании Microsoft.
Официальная страница — www.baidu.com.
Поисковые системы России
Рамблер — «проамериканская» поисковая система.
Изначально создавался как медийный интернет-портал. Как и другие многие поисковые системы, имеет сервисы поиска по картинкам, видеофайлы, карты, прогноз погоды, новостной раздел и многое другое. Так же издатели предлагают бесплатный браузер Рамблер-Нихром .
Официальная страница — www.rambler.ru.
Nigma — интеллектуальная поисковая система.
Более удобная поисковая система из-за наличия множества фильтров и настроек. Интерфейс позволяет включать, либо исключать предлагаемые подобные значения в поиске для получения более качественных результатов. Так же, при получении результата поиска позволяет использовать информацию других крупных поисковиков.
Официальная страница — www.nigma.ru.
Aport — каталог товаров онлайн.
В прошлом поисковая система, но впоследсвии того, что разработки и нововведения были прекращены, быстро сдала позиции и . В настоящий момент Апорт является торговой площадкой, на которой представляются товары более 1500 фирм.
Официальная страница — www.aport.ru.
Спутник — национальная поисковая система и интернет-портал.
Создана компанией «Ростелеком». В настоящее время находится в стадии тестирования.
Официальная страница — www.sputnik.ru.
Metabot — развивающаяся поисковая система.
В задачах Metabot стоит создание поисковой системы по всем другим поисковым системам, создавая позиции выдачи результатов с учетом данных всего списка поисковых систем. То есть это поисковая система по поисковым системам.
Официальная страница — www.metabot.ru.
Работа поисковой системы приостановлена.
Официальная страница — www.turtle.ru.
KM — мультипортал.
Изначально сайт являлся мультипорталом с последующим внедрением поисковой системы. Поиск может проводиться как внутри сайта, так и по всем отслеженным сайтам рунета .
Официальная страница — www.km.ru.
Gogo — не работает, перенаправляет на поисковик .
Официальная страница — www.gogo.ru.
Российский мультипортал, не очень популярный, требует доработки. В поисковик включены новости, телевидение, игры, карта.
Официальная страница — www.zoneru.org.
Поисковая система не работает, разработчики предлагают воспользоваться поисковиком .
