Scrapy

Como usar os proxies residenciais da SocksNode com Scrapy

Resposta rápida

Para usar os proxies residenciais da SocksNode com o Scrapy, defina o proxy em cada meta de requisição ou pelo HttpProxyMiddleware integrado, apontando para http://USERNAME-country-us:[email protected]:9000. Use a porta 9000 rotativa para IPs por requisição, ou a porta 10000 com um token de sessão para manter um IP persistente ao longo de um bloco do crawl.

Antes de começar

A SocksNode oferece proxies residenciais em mais de 195 países por HTTP, HTTPS e SOCKS5, com autenticação por usuário e senha. Gere credenciais gratuitamente no gerador de proxy do painel; somente o tráfego roteado usa sua largura de banda pré-paga (a partir de 5 GB por US$ 4,50, sem validade nos planos flexíveis).

O Scrapy já vem com o HttpProxyMiddleware ativado por padrão, então você só precisa informar a URL do proxy por requisição.

Python 3.9+ com o Scrapy instalado
Uma conta SocksNode com largura de banda pré-paga
Um usuário/senha do /dashboard/generator
HttpProxyMiddleware ativado (padrão)
AUTOTHROTTLE e um DOWNLOAD_DELAY adequado configurados

Configurar o proxy no Scrapy

Anexe o proxy nas requisições do seu spider:

O token de usuário USERNAME-country-us solicita um IP residencial rotativo dos EUA. Altere o código do país, ou adicione tokens de estado, cidade ou ASN, para direcionar as saídas. Para SOCKS5, instale o scrapy-rotating-proxies ou um middleware compatível com SOCKS e aponte para a porta 11000.

import scrapy


class ExampleSpider(scrapy.Spider):
    name = 'example'
    urls = ['https://api.ipify.org']

    def start_requests(self):
        proxy = 'http://USERNAME-country-us:PASSWORD@global.socksnode.com:9000'
        for url in self.urls:
            yield scrapy.Request(url, meta={'proxy': proxy}, callback=self.parse)

    def parse(self, response):
        self.logger.info(response.text)

Sessões rotativas vs. persistentes

As sessões rotativas atribuem um novo IP residencial a cada requisição na porta HTTP 9000, o que combina naturalmente com o agendador concorrente do Scrapy para crawls amplos.

As sessões persistentes mantêm um IP de 1 minuto até 24 horas na porta HTTP 10000. Use um token como USERNAME-country-us-session-cat12-lifetime-20 para manter o mesmo IP enquanto pagina uma seção e, depois, altere o ID da sessão para o próximo bloco.

Segmentação geográfica e crawl educado

A segmentação é definida por tokens no usuário: país em mais de 195 países, estado e cidade nos EUA, ou ASN/ISP dentro de um país. Só o usuário muda, então um único spider pode rastrear várias regiões.

Faça o crawl de forma legal, respeite as diretivas de robots e os termos do site, e mantenha o AUTOTHROTTLE ativado para ficar dentro de taxas razoáveis.

Veja também

Perguntas frequentes

Preciso de middleware personalizado?

Não. O HttpProxyMiddleware integrado do Scrapy lê o valor meta['proxy'], então defini-lo por requisição é suficiente para proxies HTTP.

Como faço para rotacionar um IP persistente por categoria?

Use a porta 10000 e varie o ID da sessão no usuário, por exemplo trocando session-cat12 por session-cat13 quando você passar para a próxima seção.

O Scrapy pode usar SOCKS5?

Sim, com um middleware de proxy compatível com SOCKS apontando para a porta 11000 (rotativa) ou 12000 (persistente) e com seu token de usuário e senha.

Como faço para fazer crawl a partir de outro país?

Defina o token de país no usuário do proxy, como USERNAME-country-fr, escolhendo entre mais de 195 países, além das opções de estado, cidade e ASN nos EUA.

Cada credencial gerada custa a mais?

Não. Gerar credenciais é gratuito; apenas a largura de banda consumida pelo seu crawl é cobrada no seu saldo pré-pago.

Posts relacionados

Todos os posts

Comece.

Crie uma conta, gere uma credencial, conecte. A API é a mesma que o painel usa.