Scraping web com uma IP móvel francesa
Coletar preços, catálogos ou anúncios em sites franceses saindo de um datacenter costuma virar uma briga com CAPTCHA a cada dez requisições. Uma IP móvel muda o meio, não as obrigações.
Por que as IPs de datacenter são bloqueadas
Os donos dos sites não têm nada contra você pessoalmente: eles se protegem de robôs. As listas de endereços «hospedagem» são públicas e gratuitas. Quando uma requisição chega de uma faixa OVH, Scaleway, AWS ou Hetzner, ela carrega a etiqueta «servidor» antes mesmo de o conteúdo ser servido. O firewall de aplicação aplica então outra política: CAPTCHA, lentidão ou página vazia.
Um endereço móvel francês não carrega essa etiqueta. É atribuído dinamicamente pela operadora a um assinante entre milhares, exatamente como o dos visitantes legítimos que o site quer atender. Por isso a taxa de sucesso muda radicalmente nas mesmas metas.
Configurar o seu scraper em 30 segundos
Com requests e um proxy HTTP: proxies = { «http»: «http://USUARIO:SENHA@proxy.proxymobile.fr:28080», «https»: «http://USUARIO:SENHA@proxy.proxymobile.fr:28080» } e, em seguida, requests.get(URL, proxies=proxies, timeout=20).
Com SOCKS5 e Playwright: informe server «socks5://proxy.proxymobile.fr:28081», além de username e password no dicionário proxy do chromium.launch.
Em curl, para um teste rápido: curl -x http://USUARIO:SENHA@proxy.proxymobile.fr:28080 -s https://api.ipify.org.
As cinco boas práticas que fazem a diferença
- Respeite a meta: leia o robots.txt, limite-se a dados públicos, não contorne paywall e não colete dados pessoais. É uma obrigação legal, além de ser uma questão de sobrevivência técnica.
- Espace as requisições: um atraso aleatório de 1 a 3 segundos entre páginas vale mais que uma rajada de 50 requisições por segundo. O tráfego se parece com o de um humano e o site não aciona o limitador.
- Mantenha cabeçalhos coerentes: um User-Agent de Chrome com Accept-Language pt-BR e uma IP móvel francesa é coerente. Um User-Agent de bot com a mesma IP, muito menos.
- Use a rotação com critério: a rotação automática (5 a 20 min) basta para a maioria das coletas. Não force uma rotação por requisição: isso gasta tempo de reconexão celular e não melhora a taxa de sucesso.
- Acompanhe o volume: 1 GB representa cerca de 5.000 a 20.000 páginas HTML conforme o peso. A área do cliente mostra o consumo GB a GB e permite adicionar volume avulso.
O que o proxy não fará
Ele não quebra CAPTCHA, não resolve proteções comportamentais avançadas e não dispensa o respeito às condições de uso dos sites. Se uma plataforma proíbe explicitamente a coleta automatizada, uma IP móvel não muda a natureza da atividade — só muda a probabilidade de ser filtrado tecnicamente. Cabe a você ponderar.
Quanto custa para um scraper
Um scraper que roda uma vez por dia em 500 páginas consome cerca de 0,5 a 2 GB por mês: o plano mensal com 10 GB é suficiente. Para vários scrapers em paralelo ou capturas de páginas pesadas, um telefone dedicado oferece 100 GB e 256 fluxos simultâneos.
Questions fréquentes
As suas IPs servem para scraping de sites franceses?
Sim, para sites que filtram faixas de hospedagem. Uma IP móvel francesa passa onde uma IP de datacenter dispara CAPTCHA. Atenção: nenhum proxy torna legítimo contornar paywall ou coletar dados pessoais.
Que taxa de sucesso posso esperar?
Em sites franceses de e-commerce e conteúdo, nossos clientes costumam ver de 90% a 99% de respostas úteis, contra 40% a 70% com IPs de datacenter nas mesmas metas. Isso depende, claro, das proteções do outro lado.
Posso rodar várias threads em paralelo?
Sim. Os planos compartilhados permitem 64 fluxos simultâneos e os dedicados 256 ou mais. Cada conexão consome um fluxo: 32 threads paralelas funcionam com conforto.
Como evitar bloqueios mesmo com uma IP móvel?
Respeitando a meta: atrasos aleatórios entre requisições, cabeçalhos coerentes, robots.txt, limite de taxa por domínio e rotação de IP apenas quando necessário. A IP é um fator entre outros.
O proxy bloqueia portas ou protocolos?
O front HTTP aceita requisições CONNECT (portanto HTTPS) e HTTP clássico. O SOCKS5 suporta TCP; UDP ainda não é suportado. As portas de saída padrão estão abertas.
Valide a sua coleta em condições reais
O teste de 24 h dá acesso à mesma gateway dos clientes pagantes, em HTTP e SOCKS5.