用法国移动 IP 做网页采集
从机房抓法国站点,常常每十个请求就撞一次验证码。移动 IP 改变的是技术手段的通过率,不改变你应尽的义务。
为什么机房 IP 会被拦
网站并不是针对你个人,它们是在防机器人。“托管商”地址列表是公开且免费的。当一个请求来自 OVH、Scaleway、AWS 或 Hetzner 的网段时,在内容生成之前它就已经带上了“服务器”标签。
应用防火墙于是施加不同策略:验证码、降速、返回空页面。
法国移动地址没有这个标签。它由运营商在数千名用户之间动态分配,和被服务的目标用户使用的地址一样。这就是同样目标下成功率差别巨大的原因。
30 秒完成配置
- Python requests:把 http 与 https 都指向 http://账号:密码@proxy.proxymobile.fr:28080。
- Playwright / Selenium:使用 socks5://proxy.proxymobile.fr:28081,并填入账号密码。
- 命令行快速验证:curl -x http://账号:密码@proxy.proxymobile.fr:28080 https://api.ipify.org
拉开差距的五条实践
- 尊重目标:阅读 robots.txt,只采集公开数据,不绕过付费墙,不采集个人数据。这既是法律要求,也是技术上的生存之道。
- 拉开请求间隔:页面之间随机等 1 到 3 秒,远好过每秒 50 个请求。你的流量更像人类,站点也就不会触发限流。
- 保持请求头一致:Android 上的 Chrome UA 配 Accept-Language: fr-FR,再加法国移动 IP,是合理的组合。机器人 UA 配移动 IP 就很矛盾。
- 用好轮换:自动轮换(5 至 20 分钟)足以应付大多数采集。不要每个请求都换 IP,那只会浪费蜂窝重连时间。
- 盯住流量:1 GB 大约对应 5000 到 20000 个 HTML 页面,取决于页面大小。客户中心按 Go 显示用量,也可以按 $1.99 随时加购。
代理不会替你做的事
它不会破解验证码,不会绕过高级行为风控,也不会免除你遵守目标站点使用条款的义务。
如果某个平台明确禁止自动采集,移动 IP 改变不了行为性质,只是降低了被技术过滤的概率。这中间的界限需要你自己把握。
采集的成本大概是多少
每天跑一次、覆盖 500 个页面的采集器,每月大约消耗 0.5 到 2 GB,月套餐($14.99)就够用。
如果是多个采集器并行,或者需要抓取重型页面,独享手机提供 100 GB 和 256 个并发流。
Questions fréquentes
你们的 IP 适合抓法国网站吗?
对于会过滤托管网段的站点,合适。法国移动 IP 能过的地方,机房 IP 往往会触发验证码。但要记住:任何代理都不能让绕过付费墙或采集个人数据变得合法。
大概能有多高的成功率?
在法国电商和内容站点上,客户通常看到 90% 到 99% 的有效响应,而同样目标用机房 IP 往往只有 40% 到 70%。当然这也取决于对方的防护强度。
可以并行跑多个线程吗?
可以。共享套餐允许 64 个并发流,独享套餐 256 个以上。每个连接占用一个流,32 个并行线程完全可以跑得很舒服。
有了移动 IP 怎么还避免被封?
尊重目标:请求之间随机延时、请求头保持一致、遵守 robots.txt、按域名限速,只在必要时轮换 IP。IP 只是众多因素之一。
代理会封锁端口或协议吗?
HTTP 前端接受 CONNECT(可走 HTTPS)和普通 HTTP。SOCKS5 支持 TCP,UDP 暂不支持(后续版本在计划中)。常用出站端口都是开放的。