Wiby

Wiby — поисковая система для старых сайтов, на которых не применяются системы динамического контента. Также представляет собой свободное ПО, позволяющее создать собственную поисковую систему на своих серверах, с упором на создание своеобразных каталогов интересующих сайтов.

Дизайн главной страницы

Описание

Эта поисковая система принципиально отличается от стандартных поисковиков типа Google и Yandex тем, что не пытается проиндексировать все существующие интернет-сайты. Наполнением индекса занимаются стражи (guardian), то есть администраторы, а также случайные пользователи Интернета, которые могут предлагать страницы для индексирования.

Каждый добавленный сайт проходит модерацию, где оценивается контент сайта (на предмет наличия 18+ материалов), можно отправить сайт в архив (если он перестал работать, но может быть восстановлен), удалить страницу из индекса целиком. Также задаётся глубина поиска по ссылкам (бот переходит по всем ссылкам и их также добавляет в индекс).

Также есть опция запретить индексирование страниц с более чем двумя JS-скриптами или CSS-файлами, так как направленность системы — простые текстовые сайты (робот не в состоянии нормально обрабатывать страницы с JS, и видимо гораздо проще их просто полностью исключить из индекса, так как без скриптов они могут не содержать никакой полезной информации).

Обычно робот повторно обходит страницы в индексе каждую неделю.

В поисковых запросах есть простые правила, например можно задать полное совпадение фразы, наличие или отсутствие определённого слова, поиск в определённом промежутке времени (от одного дня до одного года), поиск только в рамках определённого доменного имени. Есть опция фильтрации HTTPS-трафика «для старых браузеров».

Имеется возможность перейти на рандомный сайт из индекса с заглавной страницы, но нет возможности перейти по случайной странице из результатов определённого поискового запроса (выбирается всегда информация из полного списка URL).

Система предназначена для интересующихся простыми текстовыми сайтами в археологических целях, чем с целью реально найти информацию (так как актуальной информации на сайтах Веб 2.0 на порядки больше).

Интересные факты

• На официальном сайте можно найти подробную инструкцию о том, как развернуть поисковую систему Wiby на собственном сервере, что является очень большой редкостью — обычно информация о работе поисковых систем является засекреченной и публично не сообщается, известны лишь некоторые детали поисковых алгоритмов. Исходный код поисковика распространяется под лицензией GPLv2 и публично доступен на GitHub. Предполагается, что с помощью этого проекта каждый может создать собственный поисковик по тематике, которая им интересна (а точнее, скорее каталог сайтов и их страниц).

Ссылки

• wiby.org/about/guide.html — гайд по созданию собственной поисковой системы