Wiby

Материал из Неолурк, народный Lurkmore
Перейти к навигации Перейти к поиску

Wiby — поисковая система для старых сайтов, на которых не применяются системы динамического контента. Также представляет собой свободное ПО, позволяющее создать собственную поисковую систему на своих серверах, с упором на создание своеобразных каталогов интересующих сайтов.

Дизайн главной страницы

Описание[править]

Эта поисковая система принципиально отличается от стандартных поисковиков типа Google и Yandex тем, что не пытается проиндексировать все существующие интернет-сайты. Наполнением индекса занимаются стражи (guardian), то есть администраторы, а также случайные пользователи Интернета, которые могут предлагать страницы для индексирования.

Каждый добавленный сайт проходит модерацию, где оценивается контент сайта (на предмет наличия 18+ материалов), можно отправить сайт в архив (если он перестал работать, но может быть восстановлен), удалить страницу из индекса целиком. Также задаётся глубина поиска по ссылкам (бот переходит по всем ссылкам и их также добавляет в индекс).

Также есть опция запретить индексирование страниц с более чем двумя JS-скриптами или CSS-файлами, так как направленность системы — простые текстовые сайты (робот не в состоянии нормально обрабатывать страницы с JS, и видимо гораздо проще их просто полностью исключить из индекса, так как без скриптов они могут не содержать никакой полезной информации).

Обычно робот повторно обходит страницы в индексе каждую неделю.

В поисковых запросах есть простые правила, например можно задать полное совпадение фразы, наличие или отсутствие определённого слова, поиск в определённом промежутке времени (от одного дня до одного года), поиск только в рамках определённого доменного имени. Есть опция фильтрации HTTPS-трафика «для старых браузеров».

Имеется возможность перейти на рандомный сайт из индекса с заглавной страницы, но нет возможности перейти по случайной странице из результатов определённого поискового запроса (выбирается всегда информация из полного списка URL).

Система предназначена для интересующихся простыми текстовыми сайтами в археологических целях, чем с целью реально найти информацию (так как актуальной информации на сайтах Веб 2.0 на порядки больше).

Интересные факты[править]

  • На официальном сайте можно найти подробную инструкцию о том, как развернуть поисковую систему Wiby на собственном сервере, что является очень большой редкостью — обычно информация о работе поисковых систем является засекреченной и публично не сообщается, известны лишь некоторые детали поисковых алгоритмов. Исходный код поисковика распространяется под лицензией GPLv2 и публично доступен на GitHub. Предполагается, что с помощью этого проекта каждый может создать собственный поисковик по тематике, которая им интересна (а точнее, скорее каталог сайтов и их страниц).

Ссылки[править]

  • wiby.org/about/guide.html — гайд по созданию собственной поисковой системы
Internet2.png Великая сеть, которая переменила течения мира
Это интернет, деткаДаркнетУведомления в браузереВеб-скрейпингWWWПросмотр стрима в фонеWeb ArchiveИнфоповодОткрытый проксиСайтБраузеркаБугагашечкиДейтингЗаработокИдентификация пользователейИмиджбордаИмиджхостингИнтернет-магазинИнтернет-сервисыПокровитель интернетовКаталог сайтовАссоциация блогеров и агентствОлдфагЧебурнетХейтАнкетаАватарИзоляция российских сайтовВидеохостингТильтGoogle дуракИнфобизнесменStalinism.ruРеестр запрещённых сайтовФайлообменникФотобанкХакеры, крекеры, спамы, кукиЗакат эпохи анонимусаТроллингВеб 3.0Интернет-энциклопедияСтриминговый сервисБлокировщики рекламыВеб-камераИнтернет-знаменитостьGoogle ChromeOperaMozilla FirefoxSafariFirefoxHttpHTTPSКритерий ХомакаПеревод в онлайнОблачное хранилище404 ошибкаДвухфакторная авторизацияВикипедияЭлектронная почтаРунетТвиттерHTML5Moswar.ruRu-CenterCerberx
ОбщениеBadComedianГерман Клименко3,5 анонимусаБокс по перепискеПоисковая оптимизацияВирусное видеоАнальная модерацияAnonymousWebMoneyButthurtIRC (/me/quit#[email protected]) • Интернет-пейджинг (MirandaQIPСкайпICQЖаббер) • ГостевухаЦитатникЧат (Вап-чат) • ВотсапПездузаТелеграмПсевдоинтернетКаомодзиАвтоудаление сообщенийIRC-каналЧат-ботКопипастаПлейлистВзлом телеграмаFinal Data (веб-сериал)СтримыСкайлинкHid24.comРелиз-группаОфициалка
БлоггингАлександр ГагинЕвгений АнтиповXatabФильтр нецензурных выраженийБейтЦвет Чака НоррисаTelegram PremiumСкачивание видео с YouTubeЗапрет мата в социальных сетяхОбъединённая Армия БуллингаИнкубаторБлогосфераБлог (МалоблогПодкаст) • Премиум-аккаунтОбмен лайкамиОтзовикТревел блогПодписка
ГлобализацияВычислю по IPИнтернет-дебилыРаздельный интернетСинонимайзерCackleКоммунизм в интернетеBB-кодыВлоггерЗапрет анонимных сим в РоссииWAPWiki-проектыВеб 0.0Веб 1.0Веб 2.0Мобильный интернетРунетСоциальная сетьСкайнетПиндонетЗаповеди интернетаПравила интернетовОтветыФлешмоб (самые известные) • Замедление сайтаReCAPTCHAИнтернет-цензура на Западе
ТипажиЧСВKillnetИнтернет-феминизмРоскомсвободаЭхо-камераРусские хакерыАдминАнонимусБелый рыцарьМодераторОптимизаторПредыдущий ораторСетевые онанистыТролльХакерЛамерКопирайтерЦифровой кочевникИнтернет-антикварИнтернет-ворАлисаМамкин циник-мизантроп
ТерминыVPNПрокси-сервер (SOCKS-прокси) • Управление репутацией404ADSLBitcoinDDoSFAQGPONI2PIPv6localhostMediaGetNO CARRIERSEOTorTOSViaWi-FiАккаунтБанБотБотнетВиртуалВордфильтрГолосование ногамиДиалапДомашняя страницаДорвейИнвайтКликбейтКомментКомьюнитиКикКириллические доменыЛесенкаЛинкЛогЛокалкаМемНикОфлайнОффтопикПисьма счастьяПоисковая бомбаПост (Некропост) • ПремодерацияПруфлинкРерайтингСабжСимпафкаСиндром вахтёраСкриншотСмайлСпамСпойлерТрафикТредТроянФлудФорумХотлинкингЭто вашеЮзерпикАнонимностьШок-сайтыПингИКСUser-AgentБраузерWhoisURLДесинкРазметка реддита🤡Цифровая некромантияЗаднеприводная каптчаЭффект АстольфоКвантовый интернетИнформационный вирусОнлайнЛайкСторисХештегPunycodeЧастный сайтПоддерживатьИнтернет-проектФорк
ПоставщикиБлокировки TOR в РоссииЦепочка проксиУчёт интернет-рекламы в РоссииProxifierПоисковые запросыСоветский интернетВеб-мастерИнтернет шоу-бизнесЛокальная сеть в масштабах страныВизуальный троллингАкадоВолгаТелекомДом.руИскраМакхостСитилайнСтримWibyЮТКЯндексПавел ДуровEMPRESSAlanWakeIP-адрес (Статический IP-адресДинамический IP-адрес) • Обход блокировкиStarlinkРоссийский интернет-форумЛарри ПейджСергей БринJavaScriptPHPOpera VPNHTMLCSSВилле ХакомякиMariaDBИзменение TTL сетевых пакетовТоррент (ΜTorrentMagnet-ссылка) • Archive TeamАрхив АнныАркадий ВоложСпам-листСтримТеле2NamecheapРостелекомБезопасная юрисдикцияСэми КамкарAGPL
МемыНюдсочетвергОтпечаток браузераТроллинг тупостьюSpecial OlympicsВ Интернете кто-то неправЮзерCMS.tkЛахтаЧел из инета.onionSkotobaza.orgВселенная СамосбораТоррент-трекерТупичок ГоблинаАська-однодневкаМясо, матюки, убийства и голые сиськиГенерация интернет-контентаВебкам-студияЦифровой петухВархаммер против пониTilt (Google)Проход в хохлыШитпостингДизлайкНьюфагНоворегЗакрепАноним хуже содомитаВебпанкВейшнорияРина ПаленковаЗакулисьеИнландияБурление говнКапчаOchko123А мы смеемся и просим ещёОнлайн-петицияSCP-166Животные за компьютеромКарма (интернет-сайты)Бомбит пуканБаннерыАнтиспамPrizrak Night-ForestИдиотекаБесконечный эпизод Губки БобаСтикерыМария ИльинаBasedgeТестыСвободолюбие Павла ДуроваКакой-то не такой текстингЕкатерина МизулинаМетаиронияГенератор имёнКопротивлениеСлова-маркеры идиотаКопирование текстов онлайнНовый логотип ТвиттераДжулиан АссанжВсё, что попало в интернет, остаётся там навсегдаЦерковь СамсоноверыThe Internet is for something wrongMulter.ruОтрывокКремниевая пирамидаNostalgy.net.ruИзменение голосаПрогревПереобувкаГалактика знакомствКлоноводствоИнтернет-выборы
Проблемы и злоВозрастное ограничениеЦензура в TelegramПлатный поиск в ИнтернетеТебя в гугле забанилиАвтозамена на проксиБитва за Le Cosy MontparnasseСпамботАлгоритм НемезидаРевью-бомбингТроллинг верификации в ТвиттереРеклама в ТелеграмеИнтернет-луддитыКукловодТуалетный профильБаяновая революцияЗахват сервераСлив файлов Яндекса в январеКопирование и вставка текста на сайтах с запретомЗамена словОтключение интернетаЦензура в социальных сетяхАвторские праваСкрытый банУтечка данныхШокирующее видеоСимпРоскомнадзор (Роскомнадзор-тян) • СрачХайпЦифровизацияЦифровой следИнтернет-цензураИдентификация пользователей Wi-FiЧёрный списокАккаунт угналиФейкЗабастовка на реддите из-за платного APIAutoModeratorОбида на клоунаСтена текстаДисконнектВзлом электронной почтыФактчекИнтернет-ракАттеншен вхореДобровольно-принудительная регистрацияИзгнание ДуроваБлокировка сайтов по беспределуМ125Виртуальные инстаграмщицыПоломка зоны .ru в январе 2024 годаГлобальный сбой интернетаНаказание за скачивание пиратского контентаПротоколированиеBrain rotНарастание интернет-цензуры в РФИнтернет-зависимостьЗакон ГодвинаСетевой сумасшедшийРоскомнадзор обделался против ТвиттераРотшильды не общаются в интернетахMurka SenseiЗависимость 18+Блокировки электронной почты в РФМурка сенсейАтака Роскомнадзора на YouTube в ноябре 2020
Yandex.svg.png Сайтов довольно много, возможно даже несколько тысяч
ОсновыИнтернетИнтернет-проектСпам вне ИнтернетаСтатус DELETED ВКонтактеПоисковикДоменГенератор имёнPrivacy ProtectWi-fiСистемный администраторМашинный переводКомментарийФорумБраузерIPv6SEOРепостРунетИнтернет-магазинСоциальная сетьМессенджерСерверХостингДатацентрРостелекомБекапБлогIRCФидонетНикнеймНетсталкингИнтернет-сайтИнтернет-воиныТелеграм-каналМаркетплейсВикипедияИнтернет-библиотекаУкорачиватель ссылокПерсональная страницаФавиконТреш-сайтТеневая библиотекаПрогноз погодыМодель монетизации сетевого ресурсаЗеркало сайтаВзлом сайтаФорк
ПоисковикиСпутникЯндекс (Яндекс МаркетЯндекс карты) • Гугл (ГуглопочтаГугл транслейтGoogle MapsGoogle+) • DuckDuckGoStackOverflowWolfram AlphaAlternativeToVirusTotalБиблия ОнлайнФоксфордIMDbДом МинжкхNumbeo
Социальные сетиBlogspot.comDiary.ruDybr.ruJournals.ruИнстаграмJuickLivejournal.comLiveinternet.ruMySpaceFacebook (Фейсбук мессенджер) • БеонВконтактеГород СновМой мирОдноклассникиТвиди.руТифаретникЯрушечкаРоссийские аналоги Инстаграма (ГрустнограмNow (социальная сеть)ЧебуграмMusicgramРоссграм) • ПикабуТифаретникХабрахабрRoem.ruТелеграмGETTRTwittyAsk.fmLimbikoТвиттерЯндекс спамLiveInternetСабреддитTumblrЩебестанВомбатPolitubeДневник.руThreadsLOOKYMeta PlatformsParlerPromoDJLiveOnceTvellyBlips
ОтветыОтветы@Mail.ruВопросы и ОтветыЯндекс.ОтветыРуТвитChabad.orgChange.org
Поп-сайтыАлиэкспрессАвитоAnekdot.ruБашоргChampionat.comChatRoulette.comDemotivation.meGuns.ruGoHa.RuHalf-life.ruMail.ruNarod.ruPlayground.ruProdota.ruStopGame.ruTwitch.tvUcozUdaff.comYTMNDZadolba.liАг.руАри.руНяшПикабуСайты знакомствСвалкоСделано у насСекснародЛепрозорий.руДраматикаСтульчик.нетДромKickstarterSapeKufarAirbnbNEWSru.co.ilPQ Hosting
ПропиратскиеClubhouseАрхивы реддитаStalinism.ruElementy.ruЗвуки.руRap.ruRuTubeInfostoreNoNaMeRapidshareRGHostRutracker.orgThe Pirate BayTokyo ToshokanЗайцев.нетЛибрусекНойзбункерDarknet.wtfNNM-Club
Анально огороженныеДети-404РеддитSonic CISEnsiklopedia.ruRu-CenterФрилансимSkotobaza.orgPobedish.ruGitHubAudiopoisk.comPaleoNewsTrust & SafetyЛепрозорийМиротворец (сайт)ГоднотабаУпячкаХабраGlasscannon.ruLessWrongPrintdirect7kingdomsbastardsФорум DF2Chatadelic.net
КреатиффныеFlightradarWibyСимулятор доната Diablo ImmortalРусофоболокаторDurovLohТелеканал ЦарьградAnna NewsReadovkaЦитатник РунетаJoyreactorHabrahabrTV TropesAuthor.todayAeterna.ruНигмаDirty.ruFuck.ruGameDev.ruLitprom.ruRocketboomSmotri.comSomething AwfulTikTokYouTubeДТФКавказ-ЦентрКино-Говно.комКинопоискChess-samara.ruЛавхейтЛОРImgurPosmotreli.suСловарь молодёжного сленгаКиноЦензорTrovoЯндекс ДзенFanserialsKinogoKinoprofiBaskinoLostfilmColdfilmKerobtvКинопоискPixivDeviantArtФикбукFanfics.mePixelPlanetИА ПанорамаФорум ВинскогоRulateBookmatePinterestStremioPastebinKnow Your MemeЖурнал СамиздатMista.ruЯПлакалъСтихи.руГенератор ругательств
Оффициальные™ВКадреFunpayЯндекс.ПроституткиКанобуTruth SocialRap.ruТупичок ГоблинаЧухачЯRUSMetacriticАрмянская энциклопедия фонда «Хайазг»TegosСимпосийTenChatLinkedInOper.ruCosmopolitanSquirrel instituteКорреспондентКсакепИноСМИХаббоEBayGoogle AnalyticsMediaWikiБукинг.комDigitalOceanApple PayGoGetLinksAviasalesЯндекс навигаторПатреонСкайсканерQratorРБКПанорамы улиц от ГуглBoostyAfisha.ruКонсультантПлюсTAdviserOzonThe VergeКодебайNGSДневник.руPuzzle EnglishNiconicoЯндекс.ВидеоBilibiliPeople of Walmart
УникальныеBastyonNitterOnlyFansTelegra.phМемогенераторAkinatorAuto.ruCheck youInfojd.ruIT happensLast.fmLockerz.comMyanimelist.netNetlore.ruNight-spirit.nm.ruPdrs.ruRadarix.comRotten.comRsdn.ruScorcher.ruSql.ruStoplinux.org.ruThe Daily WTFUrban DictionaryYurclub.ruZarubezhom.comz0r.deАлина 666ВИФ2NEДизентерияКащенко.руКлуб «Анонімъ»ЛитресОтель «Оригами»Rыбkа DeбиlariusСатанизм.руСкотобазаЦитадель ОлмераШок-сайты (Goatse.cxHAI2UМитспинLemonpartyTubgirl) • ЭксплодерPolitRussiaКотёлForklogWindy.comGOGИносмиWikimerdaBaibakoПазний ИжThreemaКравчJapanesePod101JLPTЛайк фмПротонмейлКлоудфаерrosreestr.netCEFRАгодаICQHave I Been PwnedCyberYozhСТТСVidLiiBitViewShark-ReferencesNostalgy.net.ruФаритБукфаги
Люди и явленияСергей Логачёв (Болашенко)Георгий КрасниковНина ДонинаАндрей СелезовВеб-мастерДенис РазинМаксим ЛастовкаИлья БуяновскийКибератака на RuTubeАнатасИмпортозамещение сайтовСкачивание видео с YouTubeПерманентный банБлокировка YouTubeБлокировка ВикипедииСерверный вандализмDDoS-атакаПеревод в онлайнСпамФлудПредупреждение о кукиДеанонимизацияАндрей СапуновПресс-служба КонкордаДобровольно-принудительная регистрацияОблачное хранилищеВиктор ОрловВладимир МальцевРеддиторBad browserЕвгений СтерлинРанжирование в ТвиттереЛимиты на чтение в Твиттере404 ошибка