Pythoner
Фотография
✈️Requests-HTML — это библиотека Python, которая объединяет простоту Requests и мощность PyQuery для парсинга HTML. Она позволяет не только извлекать данные из веб-страниц, но и выполнять JavaScript, что делает её идеальным инструментом для веб-скрапинга современных сайтов с динамическим контентом.
➡️Основные возможности Requests-HTML:
- Парсинг HTML: Requests-HTML предоставляет удобные методы для парсинга HTML-документов с помощью CSS-селекторов и XPath.
- Выполнение JavaScript: Библиотека может выполнять JavaScript на странице, что позволяет получать данные, загруженные динамически.
- Сессии и куки: Поддерживает работу с сессиями и куки, что полезно для авторизации и поддержания состояния.
➡️Примеры использования:
1. Парсинг HTML с CSS-селекторами:
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://example.com')
# Извлечение заголовков
titles = r.html.find('h1')
for title in titles:
print(title.text)
2. Выполнение JavaScript:
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://example.com')
# Выполнение JavaScript на странице
r.html.render()
# Извлечение динамического контента
dynamic_content = r.html.find('#dynamic-element', first=True)
print(dynamic_content.text)
⛓Полезные ссылки:
Официальный сайт
GitHub
🐍 Pythoner
40 · 1.8K ·