Alternativa ao Zyte

Alternativa ao Zyte: quando você precisa de proxies, não de uma API de scraping

Resposta rápida

A Zyte vende uma API de scraping: a Zyte API reúne proxies, tratamento de bloqueios e renderização de navegador, com cobrança por requisição bem-sucedida, e o Smart Proxy Manager autônomo não aceita novos cadastros. A SocksNode vende acesso direto a proxies, emitindo credenciais residenciais HTTP, HTTPS e SOCKS5 cobradas por gigabyte, com segmentação por estado e cidade nos EUA e por ASN, além de sessões persistentes de até 24 horas. É uma boa opção para equipes que já têm sua própria stack de coleta.

A Zyte é uma empresa de API que, por acaso, também possui proxies

A Zyte, antes Scrapinghub, mantém o Scrapy, o framework Python de crawling, e seus produtos comerciais se apoiam nessa base: a Zyte API para obtenção e extração, e o Scrapy Cloud para implantar e agendar spiders em um ambiente hospedado. Os proxies existem dentro desses produtos, e não ao lado deles.

A Zyte API é cobrada por resposta bem-sucedida. O custo de uma requisição é definido por um nível automático de dificuldade atribuído ao site-alvo e pelos recursos que você habilita, como renderização de navegador, capturas de tela, captura de rede ou extração automática. Requisições que falham ou sofrem rate limit não são cobradas. A camada de IP é abstraída de propósito: por padrão, a Zyte escolhe data center ou residencial sozinha, com base no que o alvo parece exigir.

Esse é um produto coerente, e isso explica por que a maioria das pessoas que procuram uma alternativa ao Zyte não está em busca de uma Zyte mais barata. Normalmente, elas querem algo mais abaixo na stack: os IPs, sem o mecanismo embrulhado em volta deles.

O fim do Smart Proxy Manager é o que faz essa pergunta aparecer

O produto de proxy autônomo da Zyte tem uma longa trajetória. Ele começou como Crawlera e depois foi renomeado para Smart Proxy Manager. A documentação da Zyte agora informa que a Zyte API o está substituindo e que não é mais possível se cadastrar no Smart Proxy Manager, com um guia de migração publicado para usuários existentes.

Se você usava esse produto apenas como um proxy rotativo atrás do seu próprio crawler, isso é uma mudança de formato, não de preço. Ainda é possível usar a Zyte API por meio de uma interface de proxy em api.zyte.com:8011, com uma variante HTTPS na porta 8014, autenticando com sua chave de API como nome de usuário do proxy e uma senha vazia, de modo que a infraestrutura existente em grande parte continua funcionando. Mas o modo de proxy remove várias capacidades da Zyte API por design, incluindo sessões gerenciadas pelo servidor, extração automática, capturas de tela e captura de rede, e os cookies só podem ser definidos para o próprio domínio da URL alvo.

Então, o enquadramento honesto é este: se o motivo original para usar a Zyte era "eu preciso de IPs, eu já tenho um crawler", então a substituição natural é uma rede de proxies, e não outra API de scraping.

Onde os dois modelos divergem estruturalmente

As diferenças que merecem ação são estruturais, não de grau. Cada linha abaixo representa uma unidade de compra diferente, e não uma versão melhor ou pior da mesma coisa.

Unidade de cobrança: a Zyte API cobra por resposta bem-sucedida, com preço definido pelo nível de dificuldade do alvo e pelos recursos habilitados. A SocksNode cobra por gigabyte transferido, a uma taxa fixa pelo plano que você comprou.
Segmentação: a Zyte API documenta geolocalização em nível de país, usando códigos de país de duas letras, divididos em conjuntos padrão e estendidos de países. A SocksNode segmenta 195+ países, estados e cidades dos EUA, região e cidade em países selecionados como Reino Unido, Canadá, Alemanha e França, e ASNs ou ISPs específicos dentro de um país.
Semântica de sessão: as sessões da Zyte são gerenciadas pelo cliente, usando um UUID fornecido por você, ou gerenciadas pelo servidor por meio de um contexto de sessão mantido pela Zyte, e existem principalmente para manter o estado de evasão de bloqueio. As sessões persistentes da SocksNode mantêm um IP por um período que você configura, de um minuto até 24 horas.
Protocolos: a interface de proxy da Zyte API é documentada para HTTP e HTTPS. A SocksNode emite credenciais HTTP, HTTPS e SOCKS5, todas com autenticação por nome de usuário e senha.
Acesso residencial: a Zyte exige que você conclua o procedimento de KYC antes de poder fixar explicitamente ipType como residencial, e isso altera o custo da requisição. A SocksNode é uma rede residencial por padrão.
Mobile: a configuração de dispositivo móvel da Zyte API é emulação de navegador, e não um IP de operadora. A SocksNode aluga portas 4G/5G em modems reais de operadora por duração, cada uma com um IP móvel rotativo ativo que você pode manter ou alterar sob demanda.

Como a SocksNode é comprada e operada

A SocksNode é largura de banda pré-paga. Você compra um volume, a partir de 5 GB, e gera quantas credenciais de proxy quiser sem custo; apenas o tráfego que passa por elas consome largura de banda. Os planos flexíveis são sem validade, então a largura de banda não utilizada permanece na conta até ser usada, em vez de zerar no fim do mês. Não há limite de gastos para negociar nem compromisso mensal para atingir uma determinada taxa.

A segmentação e o comportamento da sessão são definidos na própria credencial, e não por requisição, o que torna a troca em um crawler existente barata. Você escolhe o protocolo, o país e, nos Estados Unidos, o estado ou a cidade, ou então um ASN combinado com um país. Depois, escolhe rotativo, que entrega um novo IP a cada requisição, ou persistente, que mantém o mesmo IP de um minuto até 24 horas. O uso é acompanhado no painel em relação à credencial.

A linha mobile é separada e tem preço diferente. Em vez de pagar por gigabyte, você aluga uma porta 4G/5G em um modem real de operadora por um período de horas até 30 dias, com segmentação por estado e operadora nos EUA. Esse é um produto diferente do da Zyte, e vale mencioná-lo apenas porque IPs de operadora são o único requisito que a stack da Zyte não atende de forma alguma.

O que uma migração realmente envolve

A parte mecânica é pequena. Se você usava a Zyte API em modo de proxy, já está roteando por um proxy HTTP, então o que muda é host, porta e credencial. A forma de autenticação difere um pouco: a Zyte usa a chave de API como nome de usuário do proxy com senha vazia, enquanto as credenciais da SocksNode são um par convencional de nome de usuário e senha, com a geografia e o comportamento da sessão incorporados à credencial que você gerou.

A parte que dá trabalho de verdade é tudo o que a Zyte fazia em seu nome e não fará mais.

Planeje um período em que ambos rodem em paralelo sobre uma amostra do mesmo conjunto de URLs e compare taxa de sucesso e custo por resposta utilizável, em vez de custo por requisição. Esses são os números que decidem.

Tentativas e backoff passam a ser sua responsabilidade. A Zyte não cobra por respostas com falha; em uma rede de proxies tarifada, uma requisição repetida consome largura de banda, tenha ela sido bem-sucedida ou não.
A fingerprinting volta para o seu cliente, seja isso um cliente HTTP que imita TLS, uma build fortalecida de navegador headless ou simplesmente um tratamento disciplinado de headers e cookies.
Nada renderiza JavaScript para você. Se um alvo exige navegador, você executa o navegador e o roteia pelo proxy.
Não há equivalente à extração automática. Você mantém, ou reescreve, seus próprios parsers e seletores.
Reexpresse seu orçamento em bytes. Meça o tamanho médio comprimido das respostas dos seus alvos, multiplique pelo volume esperado de requisições e depois some margem para redirecionamentos e tentativas repetidas.
Reduza bytes de forma deliberada: mantenha gzip ou brotli ativado, bloqueie imagens, fontes e mídia em navegadores headless e use uma requisição HTTP simples sempre que não for necessário buscar com um navegador completo.

Quem deve continuar com a Zyte, e quem não deve

A Zyte continua sendo a melhor opção para um conjunto bem definido de equipes, e sair dela pelo motivo errado vai custar mais do que economiza.

Fique com a Zyte se o seu gargalo for bloqueios em alvos realmente difíceis, e não a oferta de IPs. Absorver esse problema é o produto, e reconstruí-lo internamente não é trabalho de um fim de semana.
Fique se a cobrança por sucesso for importante para sua previsão. Em alvos difíceis, onde uma parcela relevante das tentativas falha, não pagar pelas falhas é uma vantagem estrutural real.
Fique se você já usa o Scrapy Cloud e valoriza ter implantação, agendamento e obtenção de dados sob uma única conta e uma única relação de suporte.
Fique se você precisa de ações de navegador, capturas de tela ou extração automática estruturada, nada disso fornecido por uma rede de proxies.
Considere a SocksNode se você tem seu próprio crawler e quer IPs com preço previsível por gigabyte, em vez de variar por requisição.
Considere a SocksNode se você precisa de geografia abaixo do nível de país, como um estado ou cidade específica dos EUA, ou um ASN nomeado, algo que a geolocalização documentada por código de país da Zyte não expressa.
Considere a SocksNode se você precisa de SOCKS5 para ferramentas que não são clientes HTTP, de sessões persistentes longas com duração explícita, ou de portas 4G/5G em modems reais de operadora.
Considere a SocksNode se você quer testar com alguns dólares de largura de banda sem validade, em vez de configurar limites de gastos ou aceitar um compromisso mensal.

Veja também

Perguntas frequentes

Posso apontar o código existente do modo de proxy da Zyte para a SocksNode sem reescrevê-lo?

Em grande parte, sim, na camada de transporte. Ambos são proxies HTTP, então você vai trocar host, porta e credenciais. Dois pontos importam. A Zyte autentica com sua chave de API como nome de usuário do proxy e uma senha vazia, enquanto a SocksNode usa um par normal de nome de usuário e senha. E os controles por requisição da Zyte, como geolocalização ou ipType, são expressos em headers ou no corpo da API, ao passo que na SocksNode o país, o estado, a cidade, o ASN e o comportamento da sessão já vêm embutidos na credencial que você gera. O trabalho maior não é a troca, e sim substituir o tratamento de bloqueios e a lógica de tentativas que a Zyte fazia atrás do proxy.

A Zyte só cobra por requisições bem-sucedidas. A cobrança por GB não transfere o risco para mim?

Sim, e essa é a troca honesta. Na SocksNode você paga pelos bytes transferidos independentemente de a resposta ser a que você queria, então bloqueios, CAPTCHAs e novas tentativas consomem largura de banda. Se isso é pior ou não depende inteiramente da sua taxa de sucesso. Em alvos onde sua própria stack já tem sucesso de forma confiável, uma taxa fixa por gigabyte costuma ser mais barata e muito mais fácil de prever. Em alvos onde uma grande parcela das tentativas falha, o modelo da Zyte absorve um custo que, de outro modo, seria seu. Meça o custo por resposta utilizável em uma amostra antes de decidir, e não o custo por requisição.

A SocksNode oferece algo equivalente à extração automática ou à renderização de navegador da Zyte API?

Não. A SocksNode é uma rede de proxies e nada mais. Ela fornece IPs com controle de protocolo, geografia e sessão; não renderiza JavaScript, não executa ações de navegador, não tira capturas de tela nem converte páginas em dados estruturados de produtos ou artigos. Se esses recursos forem essenciais no seu pipeline, mantenha a Zyte para esses alvos ou planeje executar seus próprios navegadores headless e parsers e roteá-los pelo proxy.

Preciso de IPs residenciais de um estado específico dos EUA. A Zyte faz isso?

A documentação da Zyte descreve geolocalização usando códigos de país de duas letras, em conjuntos padrão e estendidos de países, então a segmentação é expressa em nível de país. A Zyte também decide automaticamente entre data center e residencial, a menos que você fixe ipType como residencial, o que exige concluir o procedimento de KYC e altera o custo da requisição. A SocksNode faz segmentação até estado e cidade nos EUA, oferece segmentação por região e cidade em outros países selecionados e permite fixar um ASN ou ISP específico dentro de um país, por padrão em uma rede residencial.

Existe um compromisso mínimo de qualquer lado?

O nível pré-pago (pague conforme o uso) da Zyte opera sem compromisso mensal no menor limite de gastos, e aumentar esse limite envolve assumir um gasto mensal, com termos enterprise negociados separadamente. A SocksNode é pré-paga: o menor plano é de 5 GB, os planos flexíveis são sem validade, então a largura de banda não utilizada permanece na conta, e você recarrega quando precisar de mais. Gerar credenciais não custa nada, então a única coisa com que você realmente se compromete é a própria largura de banda.

Algum dos provedores suporta SOCKS5?

A interface de proxy da Zyte API é documentada para HTTP e HTTPS, em api.zyte.com:8011 com uma variante HTTPS na porta 8014; SOCKS5 não faz parte dela. A SocksNode emite credenciais para HTTP, HTTPS ou SOCKS5, todas usando autenticação por nome de usuário e senha. Se você estiver fazendo proxy de algo que não seja um cliente HTTP, essa diferença normalmente já é decisiva por si só.

Posts relacionados

Todos os posts

Comece.

Crie uma conta, gere uma credencial, conecte. A API é a mesma que o painel usa.