Веб-скрейпинг

Материал из Неолурк, народный Lurkmore
Перейти к навигации Перейти к поиску

Веб-скрейпинг (web scraping) — процесс автоматизированного составления баз данных при помощи анализа общедоступных интернет-сайтов.

Защита[править]

Некоторые сайты стараются защитить информацию от сбора при помощи веб-скрейпинга. Например, в системе Google выдается каптча для тех, кто пытается делать слишком большое число запросов к поиску или чье поведение напоминает бота. В руководстве к системе говорится, что нежелательно в том числе и автоматизированное определение позиции сайта в поиске — чем занимаются многие SEO-сервисы.

В то же время большинство сайтов разрешают автоматическим программам обращаться к страницам, если количество запросов ограничено разумными пределами (не проводится долбления, что может повлечь за собой повреждение сайта). Таким образом огромное количество ботов постоянно курсирует по Интернету и собирает информацию.

Фактически веб-скрейпингом занимаются поисковые системы, когда регулярно обходят сайты для составления поискового индекса. После этого становится возможным поиск информации с использованием ключевых слов; без этой особенности само использование Интернета было бы скорее всего просто невозможным.

Полученная автоматическим образом информация может быть очень ценной при сборе её в одном месте и появлении возможности анализа.

Правовой статус[править]

В апреле 2022 года суд США принял решение по давно идущему процессу об автоматическом сборе данных с сервиса LinkedIn, который был недоволен тем, что данные о работниках собирают конкуренты (в результате чего довольно быстро стала требоваться регистрация на сайте для работы с ним). Было принято решение о том, что сбор публично доступной информации является полностью законным, и за его использование наказания быть не может.[1]

Примечания[править]

Internet2.png Интернеты как они есть
Это интернет, деткаДаркнетУведомления в браузереВеб-скрейпингWWWПросмотр стрима в фонеWeb ArchiveИнфоповодОткрытый проксиСайтБраузеркаБугагашечкиДейтингЗаработокИдентификация пользователейИмиджбордаИмиджхостингИнтернет-магазинИнтернет-сервисыПокровитель интернетовКаталог сайтовАссоциация блогеров и агентствОлдфагЧебурнетХейтАнкетаАватарИзоляция российских сайтовВидеохостингТильтGoogle дуракИнфобизнесменStalinism.ruРеестр запрещённых сайтовФайлообменникФотобанкХакеры, крекеры, спамы, кукиЗакат эпохи анонимусаТроллингВеб 3.0Интернет-энциклопедияСтриминговый сервисБлокировщики рекламыВеб-камераИнтернет-знаменитостьGoogle ChromeOperaMozilla FirefoxSafariFirefoxHttpHTTPSКритерий ХомакаПеревод в онлайнОблачное хранилище404 ошибкаДвухфакторная авторизацияВикипедияЭлектронная почтаРунетТвиттер
ОбщениеBadComedianГерман Клименко3,5 анонимусаБокс по перепискеПоисковая оптимизацияВирусное видеоАнальная модерацияAnonymousWebMoneyButthurtIRC (/me/quit#[email protected]) • Интернет-пейджинг (MirandaQIPСкайпАськаЖаббер) • ГостевухаЦитатникЧат (Вап-чат) • ВотсапПездузаТелеграмПсевдоинтернетКаомодзиАвтоудаление сообщенийIRC-каналЧат-ботКопипастаПлейлист
БлоггингАлександр ГагинЕвгений АнтиповXatabФильтр нецензурных выраженийБейтЦвет Чака НоррисаTelegram PremiumСкачивание видео с YouTubeЗапрет мата в социальных сетяхОбъединённая Армия БуллингаИнкубаторБлогосфераБлог (МикроблогПодкаст) • Премиум-аккаунтОбмен лайкамиОтзовикТревел блогПодписка
ГлобализацияВычислю по IPИнтернет-дебилыРаздельный интернетСинонимайзерCackleКоммунизм в интернетеBB-кодыВлоггерЗапрет анонимных сим в РоссииWAPWiki-проектыВеб 0.0Веб 1.0Веб 2.0Мобильный интернетРунетСоциальная сетьСкайнетПиндонетЗаповеди интернетаПравила интернетовОтветыФлешмоб (самые известные) • Замедление сайтаReCAPTCHA
ТипажиЧСВKillnetИнтернет-феминизмРоскомсвободаЭхо-камераРусские хакерыАдминАнонимусБелый рыцарьМодераторОптимизаторПредыдущий ораторСетевые онанистыТролльХакерЛамерКопирайтерЦифровой кочевникИнтернет-антикварИнтернет-ворАлисаМамкин циник-мизантроп
ТерминыVPNПрокси-сервер (SOCKS-прокси) • Управление репутацией404ADSLBitcoinDDoSFAQGPONI2PIPv6localhostMediaGetNO CARRIERSEOTorTOSViaWi-FiАккаунтБанБотБотнетВиртуалВордфильтрГолосование ногамиДиалапДомашняя страницаДорвейИнвайтКликбейтКомментКомьюнитиКикКириллические доменыЛесенкаЛинкЛогЛокалкаМемНикОфлайнОффтопикПисьма счастьяПоисковая бомбаПост (Некропост) • ПремодерацияПруфлинкРерайтингСабжСимпафкаСиндром вахтёраСкриншотСмайлСпамСпойлерТрафикТредТроянФлудФорумХотлинкингЭто вашеЮзерпикАнонимностьШок-сайтыПингИКСUser-AgentБраузерWhoisURLДесинкРазметка реддита🤡Цифровая некромантияЗаднеприводная каптчаЭффект АстольфоКвантовый интернетИнформационный вирусОнлайнЛайкСторисХештегPunycodeЧастный сайтПоддерживатьИнтернет-проектФорк
ПоставщикиБлокировки TOR в РоссииЦепочка проксиУчёт интернет-рекламы в РоссииProxifierПоисковые запросыСоветский интернетВеб-мастерИнтернет шоу-бизнесЛокальная сеть в масштабах страныВизуальный троллингАкадоВолгаТелекомДом.руИскраМакхостСитилайнСтримWibyЮТКЯндексПавел ДуровEMPRESSAlanWakeIP-адрес (Статический IP-адресДинамический IP-адрес) • Обход блокировкиStarlinkРоссийский интернет-форумЛарри ПейджСергей БринJavaScriptPHPOpera VPNHTMLCSSВилле ХакомякиMariaDBИзменение TTL сетевых пакетовТоррент (ΜTorrentMagnet-ссылка) • Archive TeamАрхив АнныАркадий ВоложСпам-листСтримТеле2NamecheapРостелекомБезопасная юрисдикция
МемыНюдсочетвергОтпечаток браузераТроллинг тупостьюSpecial OlympicsВ Интернете кто-то неправЮзерCMS.tkЛахтаЧел из инета.onionSkotobaza.orgВселенная СамосбораТоррент-трекерТупичок ГоблинаАська-однодневкаМясо, матюки, убийства и голые сиськиГенерация интернет-контентаВебкам-студияЦифровой петухВархаммер против пониTilt (Google)Проход в хохлыШитпостингДизлайкНьюфагНоворегЗакрепАноним хуже содомитаВебпанкВейшнорияРина ПаленковаЗакулисьеИнландияБурление говнКапчаOchko123А мы смеемся и просим ещёОнлайн-петицияSCP-166Животные за компьютеромКарма (интернет-сайты)Бомбит пуканБаннерыАнтиспамPrizrak Night-ForestИдиотекаБесконечный эпизод Губки БобаСтикерыМария ИльинаBasedgeТестыСвободолюбие Павла ДуроваКакой-то не такой текстингЕкатерина МизулинаМетаиронияГенератор имёнКопротивлениеСлова-маркеры идиотаКопирование текстов онлайнНовый логотип ТвиттераДжулиан АссанжВсё, что попало в интернет, остаётся там навсегдаЦерковь СамсоноверыThe Internet is for something wrongMulter.ruОтрывокКремниевая пирамидаNostalgy.net.ru
Проблемы и злоВозрастное ограничениеЦензура в TelegramПлатный поиск в ИнтернетеТебя в гугле забанилиАвтозамена на проксиБитва за Le Cosy MontparnasseСпамботАлгоритм НемезидаРевью-бомбингТроллинг верификации в ТвиттереРеклама в ТелеграмеИнтернет-луддитыКукловодТуалетный профильБаяновая революцияЗахват сервераСлив файлов Яндекса в январеКопирование и вставка текста на сайтах с запретомЗамена словОтключение интернетаЦензура в социальных сетяхАвторские праваСкрытый банУтечка данныхШокирующее видеоСимпРоскомнадзор (Роскомнадзор-тян) • СрачХайпЦифровизацияЦифровой следИнтернет-цензураИдентификация пользователей Wi-FiЧёрный списокАккаунт угналиФейкЗабастовка на реддите из-за платного APIAutoModeratorОбида на клоунаСтена текстаДисконнектВзлом электронной почтыФактчекИнтернет-ракАттеншен вхореДобровольно-принудительная регистрацияИзгнание ДуроваБлокировка сайтов по беспределуМ125Виртуальные инстаграмщицыПоломка зоны .ru в январе 2024 года