Основы парсинга. Парсим habr.

Парсинг - автоматизированный сбор и структуризация данных в нужном виде. Обычно его используют для быстрого наполнения своих сайтов и каналов контентом или анализа конкурентов. В этом посте мы спарсим статьи с главной страницы хабра.

Для парсинга понадобятся две библиотеки: requests - для http запроса к сайту и beautifulsoup4 - для удобной навигации по html документу. Установить их можно, прописав pip install requests и pip install beautifulsoup4 соответственно.

Далее с помощью метода requests.get получаем главную страницу хабра и передаём её в объект beautifulsoup. Библиотека beautifulsoup позволяет нам с помощью метода select получить список объектов по css-селектору.

Подсматриваем нужные нам селекторы в инспекторе кода браузера и начинаем парсинг. В начале получаем список всех статей. Далее в цикле, также с помощью метода select вытаскиваем нужные нам поля, например название и ссылку. Метод select всегда возвращает список объектов, поэтому если нам нужен только один объект, всегда нужно указать его индекс, например articles[0]. У каждого объекта есть поля и атрибуты, например поле text содержит весь текст в объекте, а в словаре attrs хранятся все атрибуты объекта.

🐍 Укус питона // 💬 Чат // #гайды #библиотеки #парсинг #habr