Большие данные

Материал из Неолурк, народный Lurkmore
Перейти к навигации Перейти к поиску

Большие данные (биг дата, big data) — перспективное направление в компьютерной обработке данных, обозначает работу с гигантскими базами данных, содержащими информацию, обработка которых отдельными людьми практически невозможна. Анализ такого количества данных позволяет вычленить отдельные закономерности.

Особенности анализа больших данных

Описание[править]

В начале компьютерной техники обхем хранимых данных имел значения, так как хранилища были маленькими. Поэтому приходилось выбирать, что сохранять, а что просто отбрасывать. Однако к концу 2000-х технологии создания накопителей стали достаточно продвинутыми, чтобы позволять хранить буквально любую информацию, которая только существует, вообще ничего не отбрасывая, а коли уж информация существует, то и её анализировать с использованием специальных закономерностей.

Для специальных служб настоящим открытием в области больших данных стали социальные сети, где многие люди необоснованно сообщают о себе чрезмерное количество личной информации. В результате получилось возможным достаточно точно определить, например, является ли человек содомитом по его подпискам на группы в соцсети. Эта информация позволяет получить очень много данных о состоянии общества, использовать их как в целях рекламы, так и в целях слежения и подавления воли.

Большие данные могут использоваться и в видеоиграх, например для написания неотличимых от человека ботов может использоваться гигантский набор данных, собранных от реальных пользователей, после чего бот просто максимально подстраивается под реального человека.

Характерным примером использования больших данных является обучение нейросетей: чем больше данных используется в конкретной нейросети, тем более качественные и точные результаты она будет выдавать. Из-за этого огромную ценность приобрели те же банки изображений с тегами и описаниями, что позволяет обучить рисовательную нейросеть.

App.png Это не баг, а фича
МетаПрограммаDRM (SecuROMStarForceАналоговая дыра) • БагБот (Автоответчик) • Варез (Repack) • ГлюкГуйДонатКопирайт (By design) • ЛогНюкРут (Не работай под рутом) • Спортивное программированиеМегапиксельКомпьютерВерсия 2.0КодОбфускацияСкриншотДатамайнПлагинТекстовый файлБольшие данныеАльфа и бета-тестыТаймстампКэшШаблоныHello WorldНейросетиФайл
ФичиБагрепорт12309BSODCookiesEmbrace, extend and extinguishFL StudioSheep.exeWinlogon.exeБубенЗащита от дуракаКостыльМашинный переводПасхальные яйцаСвистелки и перделкиСм. рис. 1Съешь ещё этих мягких французских булокTermuxGNU MetroИндусский кодНескучные обои • Сжатие (За сжатие ДжипегаШакалШкала) • Работает — не трогайРандомайзерPDF (Распознавание PDF) • Дело Google в ФАСЧат-ботXMLМакросКритическая ошибка
ВредоносноеБотнетБрутфорсВинлокЗвонилкаКитайские пингвиныПиксель смертиТроянЧервь МоррисаBonziBuddyMediaGetBrowser hijackingTinderМиссис МажорУтечка буфера обмена
КомпанииApple / Apple (AppleScript) • GoogleMicrosoftSAPЯндекс
Движения8-bitOpen source (КрасноглазикиЛинуксоиды) • Вирусная сценаДаунгрейдДемосценаМоддингMMD
Офис3DS MAXGIMPGNU EmacsMovie MakerMS Paint / Paint • OpenOffice • PowerPointviMicrosoft WordБлокнотФотошопАнтивирус КасперскогоAvast!TikZShareXAlternativeToСкрепышMicrosoft OfficeТекстовый редакторWeChat
ОСAndroidBSDDOSMenuetOSReactOSWindows (Phone 7Phone 878Vista) / МаздайЛинуксРусская ОСФантом ОС
БраузерыInternet ExplorerОпера / Opera • Тормозилла (ОгнелисLolifoxMozilla FirefoxFirefoxFirefox Klar) • Хром (шпионаж) • SafariЯндекс.БраузерУведомления в браузереVivaldiTor-браузер
ИнтернетAdobe Systems (Flash) • I2PLow Orbit Ion CannonTorTunatic • Чат−клиенты (MirandaQIPSkypeАськаЖабберDiscordVIPole) • HTTPSПрокси-сервер (Proxifier) • Торрент (Magnet-ссылкаΜTorrent) • JavaScriptCSSHTMLБаннермейкерИзменение TTL сетевых пакетовКапчаICQFiddlerViberZonaSteamSillyTavern
РазработкаBrainFuckCC++C#JavaHaskellАссемблерChaos ConstructionsBATMySQLGitHubAutoHotKey (AutoHotInterception) • Sublime TextAPK (APKPureзапрет) • BASICPerlPythonPHP
ЛюдиВеб-мастерLovinGODБалмерГейтсГенерал ФейлорДжобсМитникПоттерингде РаадтСпольскиСтоллманТорвальдсШахиджанянAche666Марк ЦукербергЕвгений ПоповДенис КумпонМассовая компьютерная безграмотность
КостылиCygwin • PunkBusterT9WineWishmasterАнтивирусыХакинтошСборки WindowsDenuvoЧистая установкаКалькулятор Consul WarMicrosoft StoreUBlock OriginLightshotAdBlockSearchApp.exeCPU-Z
Команды^H^WAlt+F4Ctrl+Alt+Delman/me/quitrm -rf