Парсинг сайтов с французского мобильного IP

Почему серверные IP блокируют

Владельцы сайтов не имеют ничего против вас лично: они защищаются от роботов. Списки «хостинговых» адресов публичны и бесплатны. Когда запрос приходит из диапазона OVH, Scaleway, AWS или Hetzner, он несёт ярлык «сервер» ещё до того, как отдана первая строка HTML. Прикладной файрвол применяет другую политику: капча, замедление, пустая страница.

Французский мобильный адрес такого ярлыка не имеет. Оператор динамически выдаёт его одному из тысяч абонентов — точно так же, как легитимным посетителям, которых сайт и хочет обслуживать. Поэтому процент успеха на тех же целях меняется радикально.

Пять практик, которые дают разницу

1. Уважайте цель. Читайте robots.txt, работайте только с публичными данными, не обходите платный доступ и не собирайте персональные данные. Это требование закона и одновременно условие технического выживания.
2. Разносите запросы по времени. Случайная пауза 1–3 секунды между страницами лучше, чем 50 запросов в секунду: трафик похож на человеческий, и ограничитель не срабатывает.
3. Держите согласованные заголовки. Современный User-Agent Chrome вместе с Accept-Language для французского и французским мобильным IP — логично. User-Agent бота с мобильным IP — нет.
4. Используйте ротацию уместно. Автоматической смены адреса каждые 5–20 минут хватает для большинства задач. Не форсируйте ротацию на каждый запрос: это тратит время на переподключение и не улучшает результат.
5. Следите за объёмом. Один гигабайт — это примерно 5 000–20 000 HTML-страниц в зависимости от их веса. Личный кабинет показывает расход с точностью до гигабайта.

Чего прокси не сделает

Он не решает капчу, не обходит продвинутые поведенческие защиты и не отменяет условия использования сайтов. Если платформа прямо запрещает автоматизированный сбор, мобильный IP не меняет сути деятельности — он меняет лишь вероятность быть отфильтрованным технически.

Настройка за тридцать секунд

С библиотекой requests достаточно указать HTTP-прокси в словаре proxies. Для SOCKS5 подходит Playwright с параметром server и логином с паролем. Быстрая проверка выполняется одной командой curl с флагом -x. Все примеры приходят вместе с доступом в личном кабинете.

Сколько это стоит на практике

Парсер, который раз в сутки проходит 500 страниц, расходует примерно 0,5–2 ГБ в месяц: месячного тарифа хватает. Если парсеров несколько или вы снимаете тяжёлые страницы, выделенный телефон даёт больше объёма и до 256 одновременных потоков.