Wiby

Материал из Неолурк
Перейти к навигации Перейти к поиску

Wiby — поисковая система для старых сайтов, на которых не применяются системы динамического контента. Также представляет собой свободное ПО, позволяющее создать собственную поисковую систему на своих серверах, с упором на создание своеобразных каталогов интересующих сайтов.

Дизайн главной страницы

Описание[править]

Эта поисковая система принципиально отличается от стандартных поисковиков типа Google и Yandex тем, что не пытается проиндексировать все существующие интернет-сайты. Наполнением индекса занимаются стражи (guardian), то есть администраторы, а также случайные пользователи Интернета, которые могут предлагать страницы для индексирования.

Каждый добавленный сайт проходит модерацию, где оценивается контент сайта (на предмет наличия 18+ материалов), можно отправить сайт в архив (если он перестал работать, но может быть восстановлен), удалить страницу из индекса целиком. Также задаётся глубина поиска по ссылкам (бот переходит по всем ссылкам и их также добавляет в индекс).

Также есть опция запретить индексирование страниц с более чем двумя JS-скриптами или CSS-файлами, так как направленность системы — простые текстовые сайты (робот не в состоянии нормально обрабатывать страницы с JS, и видимо гораздо проще их просто полностью исключить из индекса, так как без скриптов они могут не содержать никакой полезной информации).

Обычно робот повторно обходит страницы в индексе каждую неделю.

В поисковых запросах есть простые правила, например можно задать полное совпадение фразы, наличие или отсутствие определённого слова, поиск в определённом промежутке времени (от одного дня до одного года), поиск только в рамках определённого доменного имени. Есть опция фильтрации HTTPS-трафика «для старых браузеров».

Имеется возможность перейти на рандомный сайт из индекса с заглавной страницы, но нет возможности перейти по случайной странице из результатов определённого поискового запроса (выбирается всегда информация из полного списка URL).

Система предназначена для интересующихся простыми текстовыми сайтами в археологических целях, чем с целью реально найти информацию (так как актуальной информации на сайтах Веб 2.0 на порядки больше).

Интересные факты[править]

  • На официальном сайте можно найти подробную инструкцию о том, как развернуть поисковую систему Wiby на собственном сервере, что является очень большой редкостью — обычно информация о работе поисковых систем является засекреченной и публично не сообщается, известны лишь некоторые детали поисковых алгоритмов. Исходный код поисковика распространяется под лицензией GPLv2 и публично доступен на GitHub. Предполагается, что с помощью этого проекта каждый может создать собственный поисковик по тематике, которая им интересна (а точнее, скорее каталог сайтов и их страниц).

Ссылки[править]

  • wiby.org/about/guide.html — гайд по созданию собственной поисковой системы


Internet2.png Великая сеть, которая переменила течения мира
Это интернет, деткаУведомления в браузереВеб-скрейпингWWWПросмотр стрима в фонеWeb ArchiveИнфоповодОткрытый проксиСайтБраузеркаБугагашечкиДейтингЗаработокИдентификация пользователейИмиджбордаИмиджхостингИнтернет-магазинИнтернет-сервисыПокровитель интернетовВидеохостингTiltGoogle дуракИнфобизнесменStalinism.ruРеестр запрещённых сайтовФайлообменникФотобанкХакеры, крекеры, спамы, куки
ОбщениеBadComedianГерман Клименко3,5 анонимусаБокс по перепискеПоисковая оптимизацияВирусное видеоАнальная модерацияAnonymousWebMoneyButthurtIRC (/me/quit#[email protected]) • Интернет-пейджинг (MirandaQIPSkypeАськаЖаббер) • ГостевухаЦитатникЧат (Вап-чат)
БлоггингЕвгений АнтиповXatabФильтр нецензурных выраженийБейтЦвет Чака НоррисаTelegram PremiumСкачивание видео с YouTubeЗапрет мата в социальных сетяхОбъединённая Армия БуллингаИнкубаторБлогосфераБлог (МикроблогПодкаст)
ГлобализацияВычислю по IPИнтернет-дебилыРаздельный интернетСинонимайзерCackleКоммунизм в интернетеBB-кодыВлоггерЗапрет анонимных сим в РоссииWAPWiki-проектыВеб 1.0Веб 2.0Мобильный интернетРунетСоциальная сетьСкайнетПиндонетЗаповеди интернетаПравила интернетовОтветыФлешмоб (самые известные)
ТипажиАдминАнонимусБелый рыцарьМодераторОптимизаторПредыдущий ораторСетевые онанистыТролльХакер
ТерминыПрокси-серверУправление репутацией404ADSLBitcoinDDoSFAQGPONI2PIPv6localhostMediaGetNO CARRIERSEOTorTOSViaWi-FiАккаунтБанБотБотнетВиртуалВордфильтрГолосование ногамиДиалапДомашняя страницаДорвейИнвайтКликбейтКомментКомьюнитиКикКириллические доменыЛесенкаЛинкЛогЛокалкаМемНикОфлайнОффтопикПисьма счастьяПоисковая бомбаПост (Некропост) • ПремодерацияПруфлинкРерайтингСабжСимпафкаСиндром вахтёраСкриншотСмайлСпамСпойлерТрафикТредТроянФлудФорумХотлинкингЭто вашеЮзерпик
ПоставщикиЦепочка проксиProxifierПоисковые запросыСоветский интернетВеб-мастерИнтернет шоу-бизнесЛокальная сеть в масштабах страныВизуальный троллингАкадоВолгаТелекомДом.руИскраМакхостСитилайнСтримЮТК
МемыТроллинг тупостьюSpecial OlympicsВ Интернете кто-то неправЮзерCMS.tkЛахтаЧел из инета.onionSkotobaza.orgВселенная СамосбораТоррент-трекерТупичок ГоблинаАська-однодневкаМясо, матюки, убийства и голые сиськиГенерация интернет-контента
Yandex.svg Сайтов довольно много, возможно даже несколько тысяч
ПоисковикиСпутникЯндексГугл
Социальные сетиBlogspot.comDiary.ruDybr.ruJournals.ruInstagramJuickLivejournal.comLiveinternet.ruMySpaceFacebookБеонВКонтактеГород СновМой мирОдноклассники.руТвиди.руТифаретникЯрушечка
ОтветыОтветы@mail.ruВопросы и ОтветыЯндекс.ОтветыРуТвит
Поп-сайтыАлиэкспрессАвитоAnekdot.ruBash.imChampionat.comChatRoulette.comDemotivation.meGuns.ruGoHa.RuHalf-life.ruMail.ruNarod.ruPlayground.ruProdota.ruStopGame.ruTwitch.tvUcozUdaff.comYTMNDZadolba.liАг.руАри.руНяшПикабуСайты знакомствСвалкоСделано у насСексНародЛепрозорий.руДраматикаСтульчик.нет
ПропиратскиеClubhouseАрхивы реддитаStalinism.ruElementy.ruЗвуки.руRap ruRuTubeInfostoreNoNaMeRapidshareRGHostRutracker.orgThe Pirate BayTokyo ToshokanЗайцев.нетЛибрусекНойзбункер
Анально огороженныеДети-404Sonic CISEnsiklopedia.ruRu-CenterФрилансимSkotobaza.orgPobedish.ruGithubAudiopoisk.comPaleoNewsTrust & SafetyЛепрозорийМиротворец (сайт)УпячкаХабра
КреатиффныеЦитатник РунетаJoyreactorHabrahabrTV TropesAuthor.todayAeterna.ruНигмаDirty.ruFuck.ruGameDev.ruLitprom.ruRocketboomSmotri.comSomething AwfulTikTokYouTubeДТФКавказ-ЦентрКино-Говно.комКинопоискChess-samara.ruЛавхейтЛОР
Оффициальные™Truth SocialRap.ruТупичок ГоблинаЧухачЯRUSMetacriticАрмянская энциклопедия фонда «Хайазг»TegosСимпосийTenChatLinkedInOper.ruCosmopolitanSquirrel instituteКорреспондентКсакепИноСМИХаббо
УникальныеAkinatorAuto.ruCheck youInfojd.ruIT happensLast.fmLockerz.comMyanimelist.netNetlore.ruNight-spirit.nm.ruPdrs.ruRadarix.comRotten.comRsdn.ruScorcher.ruSql.ruStoplinux.org.ruThe Daily WTFUrban DictionaryYurclub.ruZarubezhom.comz0r.deАлина 666ВИФ2NEДизентерияКащенко.руКлуб «Анонімъ»ЛитресОтель «Оригами»Rыбkа DeбиlariusСатанизм.руСкотобазаЦитадель ОлмераШок-сайты (Goatse.cxHAI2UМитспинLemonpartyTubgirl) • Эксплодер
Люди и явленияСергей Логачёв (Болашенко)Георгий КрасниковНина ДонинаАндрей СелезовВеб-мастерДенис РазинМаксим ЛастовкаИлья БуяновскийКибератака на RuTubeАнатасИмпортозамещение сайтовСкачивание видео с YouTube