Веб-скрейпинг (web scraping) — процесс автоматизированного составления баз данных при помощи анализа общедоступных интернет-сайтов.
Некоторые сайты стараются защитить информацию от сбора при помощи веб-скрейпинга. Например, в системе Google выдается каптча для тех, кто пытается делать слишком большое число запросов к поиску или чье поведение напоминает бота. В руководстве к системе говорится, что нежелательно в том числе и автоматизированное определение позиции сайта в поиске — чем занимаются многие SEO-сервисы.
В то же время большинство сайтов разрешают автоматическим программам обращаться к страницам, если количество запросов ограничено разумными пределами (не проводится долбления, что может повлечь за собой повреждение сайта). Таким образом огромное количество ботов постоянно курсирует по Интернету и собирает информацию.
Фактически веб-скрейпингом занимаются поисковые системы, когда регулярно обходят сайты для составления поискового индекса. После этого становится возможным поиск информации с использованием ключевых слов; без этой особенности само использование Интернета было бы скорее всего просто невозможным.
Полученная автоматическим образом информация может быть очень ценной при сборе её в одном месте и появлении возможности анализа.
Правовой статус[править]
В апреле 2022 года суд США принял решение по давно идущему процессу об автоматическом сборе данных с сервиса LinkedIn, который был недоволен тем, что данные о работниках собирают конкуренты (в результате чего довольно быстро стала требоваться регистрация на сайте для работы с ним). Было принято решение о том, что сбор публично доступной информации является полностью законным, и за его использование наказания быть не может.[1]
 Великая сеть, которая переменила течения мира
|
| Это интернет, детка | Интернеты • Даркнет • Уведомления в браузере • Веб-скрейпинг • WWW • Просмотр стрима в фоне • Web Archive • Инфоповод • Открытый прокси • Сайт • Браузерка • Бугагашечки • Дейтинг • Заработок • Идентификация пользователей • Имиджборда • Имиджхостинг • Интернет-магазин • Интернет-сервисы • Покровитель интернетов • Каталог сайтов • Ассоциация блогеров и агентств • Олдфаг • Чебурнет • Анкета • Аватар • Изоляция российских сайтов • Видеохостинг • Тильт • Google дурак • Инфобизнесмен • Stalinism.ru • Реестр запрещённых сайтов • Файлообменник • Фотобанк • Хакеры, крекеры, спамы, куки • Закат эпохи анонимуса • Троллинг • Веб 3.0 • Интернет-энциклопедия • Стриминговый сервис • Блокировщики рекламы • Веб-камера • Интернет-знаменитость • Google Chrome • Opera • Mozilla Firefox • Safari • Firefox • Http • HTTPS • Критерий Хомака • Перевод в онлайн • Облачное хранилище • 404 ошибка • Двухфакторная авторизация • Википедия • Электронная почта • Рунет • Твиттер • HTML5 • Moswar.ru • Ru-Center • Cerberx • Бизнес 18+ • ПИОН • Ненависть • Политика предотвращения распространения ватной чумы • Эджлорд • Видео • Панорамное видео 360 • Нейтралитет в информационной войне • Первый поток влогеров рунета • Лысый из Brazzers • Лаги • Николай Дуров • Опараш Дурова • GoodbyeDPI • Автопереводчик • Ктотут.рф • Информация • Маносфера • Бесплатный хостинг • Nginx |
| Общение | BadComedian • Герман Клименко • 3,5 анонимуса • Бокс по переписке • Вирусное видео • Анальная модерация • Anonymous • WebMoney • Butthurt • IRC (/me • /quit • #[email protected]) • Интернет-пейджинг (Miranda • QIP • Скайп • ICQ • Жаббер) • Гостевуха • Цитатник • Чат (Вап-чат) • Вотсап • Пездуза • Телеграм • Псевдоинтернет • Каомодзи • Автоудаление сообщений • IRC-канал • Чат-бот • Копипаста • Плейлист • Взлом телеграма • Final Data (веб-сериал) • Стримы • Скайлинк • Hid24.com • Релиз-группа • Официалка • Чат-рулетка • Нобр • Нетсталкинг • Премия Рунета • Информационный окоп • Военный интернет России • Ненависть к Трампу • Камрады Гоблина-Пучкова • Клиент всегда прав • Топор 18+ • Ботнадзор • Лождь (канал) • Занесение в чёрный список в соцсетях • Зосима • Каптча с пчёлами • Деанон Ромы Карпова • Троллфейсия • Нейтралофаг • FlexAir • Надоела политота • Вечные ссылки • Чёрный пиар |
| Блоггинг | Александр Гагин • Евгений Антипов • Xatab • Фильтр нецензурных выражений • Бейт • Цвет Чака Норриса • Telegram Premium • Скачивание видео с YouTube • Запрет мата в социальных сетях • Объединённая Армия Буллинга • Инкубатор • Блогосфера • Блог (Малоблог • Подкаст) • Премиум-аккаунт • Обмен лайками • Отзовик • Тревел блог • Подписка • Adobe Ming • Киберсквоттеры • Crawc.net • Ice Bucket Challenge • Почта Потупчик • Сетятам о зверятах • Анальный вахтёр • Анонизм • Фейсбук • Спор • Информационная военная база • Фейковые аккаунты • Комментарии • Кремлеботы из Ольгино • Информационно-историческая война • Евреи Ливии • Юзверь • Tgstat • Республика Песчаная Глинка • Ecosia • Угрозы Мэддисону от мусульман • Конфач • Регистрация блогеров в Роскомнадзоре • Opera GX |
| Глобализация | Вычислю по IP • Интернет-дебилы • Раздельный интернет • Синонимайзер • Cackle • Коммунизм в интернете • BB-коды • Влоггер • Запрет анонимных сим в России • WAP • Wiki-проекты • Веб 0.0 • Веб 1.0 • Веб 2.0 • Мобильный интернет • Рунет • Социальная сеть • Скайнет • Пиндонет • Заповеди интернета • Правила интернетов • Ответы • Флешмоб (самые известные) • Замедление сайта • ReCAPTCHA • Интернет-цензура на Западе • Ачивка • Аккаунт-однодневка • Стиль SCP • Тик-ток войны • 9111 • Сыграть в ящик • AVIF |
| Типажи | ЧСВ • Killnet • Интернет-феминизм • Роскомсвобода • Эхо-камера • Русские хакеры • Админ • Анонимус • Белый рыцарь • Модератор • Оптимизатор • Предыдущий оратор • Сетевые онанисты • Тролль • Хакер • Ламер • Копирайтер • Цифровой кочевник • Интернет-антиквар • Интернет-вор • Алиса • Мамкин циник-мизантроп • Ассоциация Босоногих • Google Dorks • NAFO • Ladybird • Пчелиная капча • Псевдопрозрачные картинки • Елена Трусова • Флеш-игры • Информационно-художественная война • Новостная война • Критика • Юрий Бошников • Нарушение авторского права • Павел Дуров разбил телефон • Трупоедство |
| Термины | VPN • Прокси-сервер (SOCKS-прокси) • Управление репутацией • 404 • ADSL • Bitcoin • DDoS • FAQ • GPON • I2P • IPv6 • localhost • MediaGet • NO CARRIER • SEO • Tor • TOS • Via • Wi-Fi • Аккаунт • Бан • Бот • Ботнет • Виртуал • Вордфильтр • Голосование ногами • Диалап • Домашняя страница • Дорвей • Инвайт • Кликбейт • Коммент • Комьюнити • Кик • Кириллические домены • Лесенка • Линк • Лог • Локалка • Мем • Ник • Офлайн • Оффтопик • Письма счастья • Поисковая бомба • Пост (Некропост) • Премодерация • Пруфлинк • Рерайтинг • Сабж • Симпафка • Синдром вахтёра • Скриншот • Смайл • Спам • Спойлер • Трафик • Тред • Троян • Флуд • Форум • Хотлинкинг • Это ваше • Юзерпик • Анонимность • Шок-сайты • Пинг • ИКС • User-Agent • Браузер • Whois • URL • Десинк • Разметка реддита • 🤡 • Цифровая некромантия • Заднеприводная каптча • Эффект Астольфо • Квантовый интернет • Информационный вирус • Онлайн • Лайк • Сторис • Хештег • Punycode • Частный сайт • Поддерживать • Интернет-проект • Форк |
| Поставщики | Блокировки TOR в России • Цепочка прокси • Учёт интернет-рекламы в России • Proxifier • Поисковые запросы • Советский интернет • Веб-мастер • Интернет шоу-бизнес • Локальная сеть в масштабах страны • Визуальный троллинг • Акадо • ВолгаТелеком • Дом.ру • Искра • Макхост • Ситилайн • Стрим • Wiby • ЮТК • Яндекс • Павел Дуров • EMPRESS • AlanWake • IP-адрес (Статический IP-адрес • Динамический IP-адрес) • Обход блокировки • Starlink • Российский интернет-форум • Ларри Пейдж • Сергей Брин • JavaScript • PHP • Opera VPN • HTML • CSS • Вилле Хакомяки • MariaDB • Изменение TTL сетевых пакетов • Торрент (ΜTorrent • Magnet-ссылка) • Archive Team • Архив Анны • Аркадий Волож • Спам-лист • Стрим • T2 • Namecheap • Ростелеком • Безопасная юрисдикция • Сэми Камкар • AGPL • Стример • Сервер • DigitalOcean • Тян не нужны • Вася Пупкин • Newgrounds |
| Мемы | Нюдсочетверг • Отпечаток браузера • Троллинг тупостью • Special Olympics • В Интернете кто-то неправ • Юзер • CMS • .tk • Лахта • Чел из инета • .onion • Skotobaza.org • Вселенная Самосбора • Торрент-трекер • Тупичок Гоблина • Аська-однодневка • Мясо, матюки, убийства и голые сиськи • Генерация интернет-контента • Вебкам-студия • Цифровой петух • Вархаммер против пони • Tilt (Google) • Проход в хохлы • Шитпостинг • Дизлайк • Ньюфаг • Новорег • Закреп • Аноним хуже содомита • Сетепетух • Вейшнория • Рина Паленкова • Закулисье • Инландия • Бурление говн • Капча • Ochko123 • А мы смеемся и просим ещё • Онлайн-петиция • SCP-166 Суккуб-подросток • Животные за компьютером • Карма (интернет-сайты) • Бомбит пукан • Баннеры • Антиспам • Prizrak Night-Forest • Идиотека • Бесконечный эпизод Губки Боба • Стикеры • Мария Ильина • Basedge • Тесты • Свободолюбие Павла Дурова • Какой-то не такой текстинг • Екатерина Мизулина • Метаирония • Генератор имён • Копротивление • Слова-маркеры идиота • Копирование текстов онлайн • Новый логотип Твиттера • Джулиан Ассанж • Всё, что попало в интернет, остаётся там навсегда • Церковь Самсоноверы • The Internet is for something wrong • Multer.ru • Отрывок • Кремниевая пирамида • Nostalgy.net.ru • Изменение голоса • Прогрев • Переобувка • Галактика знакомств • Клоноводство • Интернет-выборы • Конфликт Дмитрия Пучкова и Сергея Иванова • Хейтеры • SCP-1461 Червь • Спидран бана • Дед ногтей насыпал |
| Проблемы и зло | Возрастное ограничение • Цензура в Telegram • Платный поиск в Интернете • Тебя в гугле забанили • Автозамена на прокси • Битва за Le Cosy Montparnasse • Спамбот • Алгоритм Немезида • Ревью-бомбинг • Троллинг верификации в Твиттере • Реклама в Телеграме • Интернет-луддиты • Кукловод • Туалетный профиль • Баяновая революция • Захват сервера • Слив файлов Яндекса в январе • Копирование и вставка текста на сайтах с запретом • Замена слов • Отключение интернета • Цензура в социальных сетях • Авторские права • Скрытый бан • Утечка данных • Шокирующее видео • Симп • Роскомнадзор (Роскомнадзор-тян) • Срач • Хайп • Цифровизация • Цифровой след • Интернет-цензура • Идентификация пользователей Wi-Fi • Чёрный список • Аккаунт угнали • Фейк • Забастовка на реддите из-за платного API • AutoModerator • Обида на клоуна • Стена текста • Дисконнект • Взлом электронной почты • Фактчек • Интернет-рак • Аттеншен вхоре • Добровольно-принудительная регистрация • Изгнание Дурова • Блокировка сайтов по беспределу • М125 • Виртуальные инстаграмщицы • Поломка зоны .ru в январе 2024 года • Глобальный сбой интернета • Наказание за скачивание пиратского контента • Протоколирование • Brain rot • Нарастание интернет-цензуры в РФ • Интернет-зависимость • Закон Годвина • Сетевой сумасшедший • Роскомнадзор обделался против Твиттера • Ротшильды не общаются в интернетах • Murka Sensei • Зависимость 18+ • Блокировки электронной почты в РФ • Мурка сенсей • Атака Роскомнадзора на YouTube в ноябре 2020 • Робот-стукач • Виртуальная жизнь • Опараш Mozilla Firefox • Яндекс.Музыка • Партнерка Яндекс Браузера • Гномы воруют |
