Получаем информацию с wikipedia

Для работы с википедией есть официальная удобная библиотека, так как она не входит в предустанавливаемые пакеты python, её требуется установить отдельно. С помощью пакетного менеджера pip (pip install wikipedia).

Для установки языка можно передать код языка в метод set_lang.

В первом примере, используя метод search, мы получаем список заголовков статей по ключевому слову. Также можно получить её краткое резюме с помощью метода summary.

Объект всей страницы можно получить передав название статьи в метод page, а её текст получив объект content внутри объекта страницы.

#гайды #библиотеки #wikipedia

Подробнее...

Основы парсинга. Парсим habr.

Парсинг - автоматизированный сбор и структуризация данных в нужном виде. Обычно его используют для быстрого наполнения своих сайтов и каналов контентом или анализа конкурентов. В этом посте мы спарсим статьи с главной страницы хабра.

Для парсинга понадобятся две библиотеки: requests - для http запроса к сайту и beautifulsoup4 - для удобной навигации по html документу. Установить их можно, прописав pip install requests и pip install beautifulsoup4 соответственно.

Далее с помощью метода requests.get получаем главную страницу хабра и передаём её в объект beautifulsoup. Библиотека beautifulsoup позволяет нам с помощью метода select получить список объектов по css-селектору.

Подсматриваем нужные нам селекторы в инспекторе кода браузера и начинаем парсинг. В начале получаем список всех статей. Далее в цикле, также с помощью метода select вытаскиваем нужные нам поля, например название и ссылку. Метод select всегда возвращает список объектов, поэтому если нам нужен только один объект, всегда нужно указать его индекс, например articles[0]. У каждого объекта есть поля и атрибуты, например поле text содержит весь текст в объекте, а в словаре attrs хранятся все атрибуты объекта.

🐍 Укус питона // 💬 Чат // #гайды #библиотеки #парсинг #habr

Основы парсинга. Атрибуты

В прошлом уроке мы разобрали, что такое парсинг и как парсить текст с сайтов. Но часто требуется парсить не только текст, но и картинки, которые хранятся в атрибутах html тегов.
Сегодня мы попробуем спарсить поисковую выдачу с ЛитРес

Снова подсматриваем нужные нам селекторы в инспекторе кода браузера и начинаем парсинг. Получаем список всех книг и начинаем разделять данные. Название и автора книги парсим как в прошлых раз, просто найд элемент через select и вытащив из него поле text.

Но вот ссылку на картинку спарсить таким образом нельзя. Для этого находим класс тега с картинкой, и извлекаем из него атрибут src, с помощью attrs['src'].

ID книги и стоимость лежат в формате json ({ключ: 'значение'}), поэтому с помощью метода find и срезов, находим нужный нам ключ и обрезаем лишнее и выводим всю информацию в консоль.

🐍 Укус питона // 💬 Чат // #гайды #библиотеки #парсинг #атрибуты