Добыча данных с сайтов (web scraping)

Опубликовано в NodeJS, Обучение, Общее • 10 мая 2018 г. • 1 мин. на чтение

Screen/web scraping - это метод извлечения текста с экрана, чтобы его можно было анализировать. Как правило, он используется для извлечения текстов с веб-сайтов.

Данный доклад — это невероятный тур по глубинам интернета в поисках данных. Егор расскажет как о самых простых способах утащить данные с сайта, так и самых сложных и крайне неочевидных на первый взгляд. Доклад будет интересен тем, кто хотел бы сделать полезное приложение, но постоянно откладывал эту задачу на потом. А все потому, что добывать данные из интернета — здорово!

Слайды доклада Добываем данные из интернета

What's difference between web scraping and data mining?

Похожие записи

NPM. Разница между тильдой(~) и крышкой(^) в package.json

Тильда(~) подбирает последнюю минорную версию пакета (последнюю цифру), например ~7.3.3 найдет последнюю 7.3.x, допустим 7.3.12 но не 7.4.0.

Крышка(^) подбирает последнюю мажорную версию пакета (среднюю цифру), например ^7.3.3 найдет последнюю 7.x.x, допустим 7.4.0 но не 8.0.0.

npm semver calculator

Semver check

19 октября 2017 г. в NodeJS

Yarn update key 

curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | sudo apt-key add -
29 мартa 2019 г. в NodeJS