Resposta rápida
Para usar os proxies residenciais da SocksNode com o Scrapy, defina o proxy em cada meta de requisição ou pelo HttpProxyMiddleware integrado, apontando para http://USERNAME-country-us:[email protected]:9000. Use a porta 9000 rotativa para IPs por requisição, ou a porta 10000 com um token de sessão para manter um IP persistente ao longo de um bloco do crawl.
Antes de começar
A SocksNode oferece proxies residenciais em mais de 195 países por HTTP, HTTPS e SOCKS5, com autenticação por usuário e senha. Gere credenciais gratuitamente no gerador de proxy do painel; somente o tráfego roteado usa sua largura de banda pré-paga (a partir de 5 GB por US$ 4,50, sem validade nos planos flexíveis).
O Scrapy já vem com o HttpProxyMiddleware ativado por padrão, então você só precisa informar a URL do proxy por requisição.
Configurar o proxy no Scrapy
Anexe o proxy nas requisições do seu spider:
O token de usuário USERNAME-country-us solicita um IP residencial rotativo dos EUA. Altere o código do país, ou adicione tokens de estado, cidade ou ASN, para direcionar as saídas. Para SOCKS5, instale o scrapy-rotating-proxies ou um middleware compatível com SOCKS e aponte para a porta 11000.
import scrapy
class ExampleSpider(scrapy.Spider):
name = 'example'
urls = ['https://api.ipify.org']
def start_requests(self):
proxy = 'http://USERNAME-country-us:PASSWORD@global.socksnode.com:9000'
for url in self.urls:
yield scrapy.Request(url, meta={'proxy': proxy}, callback=self.parse)
def parse(self, response):
self.logger.info(response.text)
Sessões rotativas vs. persistentes
As sessões rotativas atribuem um novo IP residencial a cada requisição na porta HTTP 9000, o que combina naturalmente com o agendador concorrente do Scrapy para crawls amplos.
As sessões persistentes mantêm um IP de 1 minuto até 24 horas na porta HTTP 10000. Use um token como USERNAME-country-us-session-cat12-lifetime-20 para manter o mesmo IP enquanto pagina uma seção e, depois, altere o ID da sessão para o próximo bloco.
Segmentação geográfica e crawl educado
A segmentação é definida por tokens no usuário: país em mais de 195 países, estado e cidade nos EUA, ou ASN/ISP dentro de um país. Só o usuário muda, então um único spider pode rastrear várias regiões.
Faça o crawl de forma legal, respeite as diretivas de robots e os termos do site, e mantenha o AUTOTHROTTLE ativado para ficar dentro de taxas razoáveis.
Veja também
Perguntas frequentes
Preciso de middleware personalizado?
Não. O HttpProxyMiddleware integrado do Scrapy lê o valor meta['proxy'], então defini-lo por requisição é suficiente para proxies HTTP.
Como faço para rotacionar um IP persistente por categoria?
Use a porta 10000 e varie o ID da sessão no usuário, por exemplo trocando session-cat12 por session-cat13 quando você passar para a próxima seção.
O Scrapy pode usar SOCKS5?
Sim, com um middleware de proxy compatível com SOCKS apontando para a porta 11000 (rotativa) ou 12000 (persistente) e com seu token de usuário e senha.
Como faço para fazer crawl a partir de outro país?
Defina o token de país no usuário do proxy, como USERNAME-country-fr, escolhendo entre mais de 195 países, além das opções de estado, cidade e ASN nos EUA.
Cada credencial gerada custa a mais?
Não. Gerar credenciais é gratuito; apenas a largura de banda consumida pelo seu crawl é cobrada no seu saldo pré-pago.


