Парсинг сайтов с помощью Python библиотеки Selenium

Парсинг сайтов (web scraping, website parsing) - это мощный метод, используемый для извлечения данных с веб-сайтов, позволяющий нам собирать ценную информацию для маркетинговых исследований, анализа данных и конкурентной разведки. Несмотря на то, что в Python доступны различные инструменты и библиотеки для обработки веб-страниц, Selenium выделяется как надежный вариант, особенно при работе с веб-сайтами, которые в значительной степени полагаются на JavaScript для динамического отображения контента.

В этой статье мы погрузимся в пошаговое руководство по парсингу сайтов с помощью Selenium с использованием Python. Мы расскажем об установке необходимых инструментов, разберем основные концепции Selenium и представим более наглядный пример использования в реальных условиях, чтобы продемонстрировать, как эффективно извлекать данные с динамического веб-сайта.

Подготовка

Прежде чем мы начнем, убедитесь, что у вас установлено следующее:

1. Python: загрузите последнюю версию Python с официального веб-сайта.
2. Браузер Chrome: Selenium лучше всего работает с браузером Google Chrome, поэтому убедитесь, что он установлен на вашем компьютере.
3. ChromeDriver: необходим Selenium для управления браузером Chrome. Вы можете загрузить его с официального веб-сайта и убедитесь, что версия соответствует установленному вами браузеру Chrome.
4. Библиотека Selenium: установите Selenium с помощью pip с помощью следующей команды:

pip install selenium

Вам также необходимо иметь:

• Базовые знания Python
• Базовый HTML
• Желание постигать новое 🙂

Начало работы с Selenium

Давайте начнем с простого примера, чтобы понять, как работает Selenium:

from selenium import webdriver 

# Инициализируем ChromeDriver
driver = webdriver.Chrome()
# Если вы не добавили в PATH директорию с chromedriver.exe
# тогда потребуется указать  аргументом прямой путь
# до chromedriver чтобы все работало
# driver = webdriver.Chrome(executable_path='path_to_your_chromedriver.exe') 

# Открываем сайт: 
driver.get('https://www.example.com')

# Извлекаем заголовок страницы:
page_title = driver.title print("Заголовок страницы:", page_title) 

# Закрываем браузер
driver.quit()

В приведенном выше коде мы импортировали модуль webdriver из Selenium, инициализировали ChromeDriver, открыли веб-сайт https://www.example.com, извлекли заголовок страницы, а затем закрыли браузер, используя метод quit().

Парсинг сайтов с помощью Selenium

Теперь, когда у нас есть базовое представление о Selenium, давайте рассмотрим более продвинутые концепции парсинга сайтов. Многие веб-сайты динамически загружают данные с помощью JavaScript, что делает стандартные библиотеки, такие как requests и beautifulsoup, неэффективными. Способность Selenium взаимодействовать с контентом, отображаемым на JavaScript, делает его отличным выбором для таких сценариев.

Нахождение элементов

Для эффективной обработки данных нам необходимо найти элементы на веб-странице. Элементы можно находить следующими способами:

• По ID: с помощью метода find_element_by_id().
• По имени: используя метод find_element_by_name().
• По имени класса: с помощью метода find_element_by_class_name().
• С помощью CSS-селектора: используя метод find_element_by_css_selector().
• По XPath: используя метод find_element_by_xpath().

Например, чтобы извлечь содержимое параграфа (<p>) с id="content", мы можем использовать:

content_element = driver.find_element_by_id('content') 
content = content_element.text print("Содержимое:", content)

Обработка динамического содержимого

Динамическим веб-сайтам может потребоваться некоторое время для загрузки контента с помощью JavaScript. При очистке динамического контента мы должны дождаться, пока элементы станут видимыми, прежде чем извлекать данные. Мы можем добиться этого, используя "Явное ожидание", предоставляемое Selenium.

from selenium.webdriver.common.by import By 
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC 

# Ожидание элемента с ID 'content' пока не станет
# видимым максимум 10 секунд и затем используем:
content_element = WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.ID, 'content'))) 
content = content_element.text print("Содержимое:", content)

Имитация действий пользователя

Некоторые веб-сайты требуют взаимодействия с пользователем (например, нажатия кнопок, заполнения форм) для динамической загрузки данных. Selenium может имитировать эти взаимодействия, используя такие методы, как click(), send_keys() и т.д.

search_input = driver.find_element_by_id(
    'search_input') search_input.send_keys('Web Scraping') 
search_button = driver.find_element_by_id(
    'search_button') search_button.click()

Реальный пример использования: загрузка данных о товаре с сайта электроники

Чтобы продемонстрировать все возможности Selenium, давайте рассмотрим более сложный пример использования в реальных условиях. Мы возьмем данные о продукте с сайта Citilink.

1. Откройте сайт электроники Citilink dns-shop.ru.
2. Найдите нужную категорию допустим раздел Смартфоны.
3. Извлеките и выведите названия продуктов и их цены.

Ниже приведен подробный код на Python с комментариями для извлечения данных о товаре с сайта Ситилинка с использованием Selenium.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# Инициализация ChromeDriver
driver = webdriver.Chrome()

# Открываем каталог смартфонов на Ситилинке
driver.get('https://www.citilink.ru/catalog/smartfony')

# Ждем пока появится список продуктов
product_list = WebDriverWait(driver, 10).until(
    EC.presence_of_all_elements_located((By.XPATH, '//div[@class="e1ex4k9s0 app-catalog-1bogmvw e1loosed0"]'))
)

# Пустой список для хранения данных о продукте
product_data = []

for index, product in enumerate(product_list):
    # Спарсим до 10 элементов
    if index >= 10:
        break
    
    # Извлекаем название смартфона
    product_name = product.find_element(By.XPATH, './/a[@class="app-catalog-9gnskf e1259i3g0"]').text.strip()

    # Извлекаем цену смартфона (если есть)
    try:
        product_price = product.find_element(By.XPATH, './/span[@class="e1j9birj0 e106ikdt0 app-catalog-56qww8 e1gjr6xo0"]').text.strip()
    except:
        product_price = "Цена не указана"
    
    # Вставляем данные о товаре в product_data
    product_data.append({
        'name': product_name,
        'price': product_price
    })

# Выводим полученные данные
print("Полученные данные:")
for index, product in enumerate(product_data, start=1):
    print(f"{index}. {product['name']} - Цена: {product['price']}")

# Закрываем браузер
driver.quit()

Объяснение кода:

1. Импортируем необходимые модули из Selenium для взаимодействия с веб-страницей и поиска элементов.
2. Запускаем ChromeDriver и открываем страницу Ситилинка в категории Смартфоны.
3. Используем "Явное ожидание", чтобы дождаться отображения списка продуктов. Это гарантирует, что веб-страница загружена и элементы продукта готовы к сбору.
4. Инициализируем пустой список product_data для хранения собранных данных о продукте.
5. Просматриваем каждый элемент продукта и извлекаем название продукта, цену и рейтинг (если таковые имеются). Мы используем блоки try-except для обработки случаев, когда информация о цене недоступна для продукта.
6. Добавляем извлеченные данные о продукте в список product_data в виде словаря с ключами name (название), price (цена).
7. После очистки всех продуктов мы выводим данные о них в удобном для пользователя формате.
8. В конце мы закрываем браузер с помощью driver.quit().

Мы ограничили сбор в цикле парсинга до 10 элементов. Вы можете его увеличить и добавить конструкции try-except, чтобы лучше определять является ли элемент названием продукта и ценой или в выборку попал совершенно другой элемент.

Вывод результата:

1. Смартфон Huawei Pura 70 12/256Gb, ADY-LX9, черный - Цена: 69 990
2. Смартфон Huawei Pura 70 Pro 12/512Gb, HBN-LX9, белый - Цена: 89 990
3. Смартфон INFINIX Note 30 8/256Gb, X6833B, черный - Цена: 13 990
4. Смартфон Huawei nova 12i 8/128Gb, CTR-L81, черный - Цена: 17 990
5. Смартфон INFINIX Hot 40 8/128Gb, X6836, черный - Цена: 12 790
6. Смартфон Samsung Galaxy A15 8/256Gb, SM-A155F, темно-синий - Цена: 17 990
7. Смартфон REALME C51 4/128Gb, RMX3830, черный - Цена: 8990
8. Смартфон Samsung Galaxy S24 Ultra 5G 12/512Gb, SM-S928B, черный титан - Цена: 151 990
9. Смартфон Xiaomi Redmi Note 13 6/128Gb, черный - Цена: 15 990
10. Смартфон INFINIX Hot 40 8/128Gb,  X6836,  золотой - Цена: 12 790

Этот код представляет собой простой пример парсинга сайтов с помощью Selenium для сайта онлайн магазина. Вы можете изменить код, чтобы собрать другие сведения о продукте, или перейти на другие страницы, чтобы собрать больше данных. Однако не стоит перегружать сайты чрезмерными запросами, некоторые магазины и сайты прямо указывают о запрете сбора информации сайта без уведомления владельцев ресурсов.

Обработка ошибок и надежность

При выполнении проверки веб-страниц важно предвидеть возможные ошибки и корректно их обрабатывать. Некоторые распространенные ошибки связаны с тем, что элемент не найден, проблемы с загрузкой страницы или сетевые ошибки. Внедрение механизмов обработки ошибок гарантирует, что скрипт продолжит работу, даже если возникнет ошибка.

Обход защиты от парсинга

На многих веб-сайтах применяются меры по предотвращению автоматического извлечения данных. Такие методы, как блокировка IP-адресов, CAPTCHA и обнаружение пользовательских агентов, могут препятствовать проведению проверки. Понимание этих мер и ответственное применение стратегий их обхода имеют решающее значение для успешного сбора данных.

Хранение данных и управление ими

После сбора данных их необходимо сохранить и эффективно управлять ими. Выбор правильного формата хранения данных (например, CSV, JSON, база данных) и организация обработанных данных облегчат дальнейший анализ и обработку.

Заключение

В этом подробном руководстве мы рассмотрели парсинг сайтов с помощью Selenium на Python. Мы рассмотрели основы Selenium, поиск элементов, обработку динамического контента и взаимодействие с пользователем. Кроме того, мы продемонстрировали эти концепции на более наглядном примере использования в реальных условиях: сбор данных о продукте с сайта магазина электроники.

Помните, что парсинг сайтов всегда должен проводиться ответственно и этично, с соблюдением условий предоставления услуг веб-сайтов и robots.txt. Вооружившись знаниями и техниками, изложенными в этой статье, вы теперь хорошо подготовлены к созданию своих парсеров и проектов различной сложности.