На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети "Интернет", находящихся на территории Российской Федерации)

GeekBrains

4 подписчика

Scrapy: создаём краулер/парсер на Python с нуля

Краулинг - процедура анализа веб-страниц, сбор информации и последующий вывод в структурированной форме.
Рано или поздно, решая коммерческие задачи, вы столкнётесь с необходимостью скраулить нужную информацию со сторонних источников, это может быть простое считывание котировок или полноценная конкурентная слежка.

Сейчас набирает популярность Scrapy Framework, который написан на языке Python. Этот простой фреймворк предоставит вам мощный инструмент, с которым вы быстро сможете краулить множество ресурсов. Прочитать документацию можно здесь.

На этом мастер-классе мы развернём виртуальное окружение с нуля, установим нужные библиотеки, настроим инструменты и создадим своего собственного паука для краулинга веб-ресурса.

Содержание вебинара:

  • установка и настройка Python3;

  • развертывание виртуального окружения;

  • установка необходимых библиотек в окружение;

  • развертывание Scrapy - приложения;

  • написание паука для краулинга веб-ресурса.

Пройти обучение
Ссылка на первоисточник
Рекомендуем
Популярное
наверх