SocksNode
Zyte বিকল্প

Zyte বিকল্প: যখন আপনার দরকার প্রক্সি, স্ক্র্যাপিং API নয়

দ্রুত উত্তর

Zyte একটি স্ক্র্যাপিং API বিক্রি করে: Zyte API প্রক্সি, নিষেধাজ্ঞা সামলানো এবং ব্রাউজার রেন্ডারিং একসঙ্গে দেয়, সফল অনুরোধ অনুযায়ী বিল করা হয়, আর এর স্বতন্ত্র Smart Proxy Manager-এ নতুন সাইনআপ বন্ধ। SocksNode শুধু প্রক্সি অ্যাক্সেসই বিক্রি করে, HTTP, HTTPS এবং SOCKS5 রেসিডেনশিয়াল ক্রেডেনশিয়াল ইস্যু করে, GB অনুযায়ী বিল করা হয়, সঙ্গে মার্কিন রাজ্য, শহর ও ASN লক্ষ্যনির্ধারণ এবং ২৪ ঘণ্টা পর্যন্ত স্থায়ী সেশন। এটি সেই দলগুলোর জন্য উপযুক্ত, যাদের নিজের ক্রলিং স্ট্যাক ইতিমধ্যেই আছে।

Zyte এমন একটি API কোম্পানি, যার কাছে প্রক্সিও আছে

Zyte, পূর্বে Scrapinghub, Scrapy নামের Python ক্রলিং ফ্রেমওয়ার্কটি রক্ষণাবেক্ষণ করে, আর তাদের বাণিজ্যিক পণ্যগুলোও সেই ভিত্তির ওপর দাঁড়ানো: আনা ও উত্তোলনের জন্য Zyte API, এবং হোস্টেড পরিবেশে স্পাইডার মোতায়েন ও সময়সূচি নির্ধারণের জন্য Scrapy Cloud। প্রক্সিগুলো এসব পণ্যের ভেতরেই থাকে, পাশে নয়।

Zyte API-তে সফল প্রতিক্রিয়া অনুযায়ী বিল করা হয়। কোনো অনুরোধের খরচ নির্ধারিত হয় টার্গেট সাইটের জন্য স্বয়ংক্রিয়ভাবে বরাদ্দ করা কঠিনতার স্তর এবং আপনি যে ফিচারগুলো চালু করেন তার ভিত্তিতে, যেমন ব্রাউজার রেন্ডারিং, স্ক্রিনশট, নেটওয়ার্ক ক্যাপচার বা স্বয়ংক্রিয় উত্তোলন। যে অনুরোধ ব্যর্থ হয় বা রেট-সীমিত হয়, তার জন্য বিল করা হয় না। IP স্তরটি ইচ্ছাকৃতভাবেই আড়াল করা: ডিফল্টভাবে টার্গেটের প্রয়োজন অনুযায়ী Zyte নিজেই ডেটা সেন্টার বা রেসিডেনশিয়াল বেছে নেয়।

এটি একটি সুসংহত পণ্য, আর সেটাই ব্যাখ্যা করে কেন যারা Zyte বিকল্প খুঁজছেন তাদের বেশিরভাগই আসলে সস্তা Zyte খুঁজছেন না। তারা সাধারণত স্ট্যাকের আরও নিচের স্তরের কিছু চান: ইঞ্জিনে মোড়ানো না থাকা IP-গুলো।

Smart Proxy Manager-এর অবসানই এই প্রশ্ন তুলে ধরে

Zyte-এর স্বতন্ত্র প্রক্সি পণ্যের দীর্ঘ ইতিহাস আছে। এটি Crawlera নামে শুরু হয়েছিল, পরে Smart Proxy Manager নামে পুনর্নামকরণ করা হয়। Zyte-এর ডকুমেন্টেশনে এখন বলা আছে যে Zyte API এটিকে প্রতিস্থাপন করছে এবং Smart Proxy Manager-এ আর সাইন আপ করা সম্ভব নয়, পাশাপাশি বিদ্যমান ব্যবহারকারীদের জন্য একটি প্রকাশিত মাইগ্রেশন গাইডও আছে।

আপনি যদি সেই পণ্যটি কেবল নিজের ক্রলারের পেছনে একটি ঘূর্ণায়মান প্রক্সি হিসেবে ব্যবহার করে থাকেন, তাহলে এটি দামের নয়, আকারের পরিবর্তন। Zyte API এখনও api.zyte.com:8011-এ একটি প্রক্সি ইন্টারফেসের মাধ্যমে ব্যবহার করা যায়, আর 8014 পোর্টে HTTPS সংস্করণও আছে; এখানে আপনার API key প্রক্সি username হিসেবে এবং password ফাঁকা রেখে প্রমাণীকরণ করা হয়, তাই বিদ্যমান পাইপলাইন মোটামুটি অক্ষুণ্ণ থাকে। কিন্তু proxy mode-এ নকশাগতভাবে Zyte API-এর কয়েকটি ক্ষমতা বাদ পড়ে, যার মধ্যে আছে server-managed sessions, automatic extraction, screenshots এবং network capture, আর cookies কেবল টার্গেট URL-এর নিজস্ব domain-এ সেট করা যায়।

সুতরাং সৎভাবে বিষয়টি এভাবেই বলা যায়: যদি Zyte ব্যবহার করার আপনার মূল কারণ ছিল “আমার IP দরকার, ক্রলার তো আমারই আছে”, তাহলে স্বাভাবিক প্রতিস্থাপন হলো একটি প্রক্সি নেটওয়ার্ক, আরেকটি স্ক্র্যাপিং API নয়।

দুটি মডেল কাঠামোগতভাবে কোথায় আলাদা

যে পার্থক্যগুলোর ভিত্তিতে সিদ্ধান্ত নেওয়া উচিত সেগুলো ডিগ্রির নয়, কাঠামোর। নিচের প্রতিটি সারি কেনার একেকটি ভিন্ন একক, একই জিনিসের ভালো বা খারাপ সংস্করণ নয়।

Billing unit: Zyte API সফল প্রতিক্রিয়া অনুযায়ী চার্জ করে, টার্গেটের কঠিনতার স্তর এবং চালু করা ফিচার অনুযায়ী দাম নির্ধারিত। SocksNode আপনার কেনা প্ল্যান অনুযায়ী নির্দিষ্ট হারে, ট্রান্সফার হওয়া প্রতি gigabyte-এ চার্জ করে।
Targeting: Zyte API two-letter country code ব্যবহার করে country level-এ geolocation নথিভুক্ত করে, standard ও extended country set-এ ভাগ করা। SocksNode 195+ দেশ, মার্কিন state ও city, যুক্তরাজ্য, কানাডা, জার্মানি ও ফ্রান্সের মতো নির্বাচিত দেশে region ও city, এবং কোনো দেশের ভেতরে নির্দিষ্ট ASN বা ISP লক্ষ্যনির্ধারণ করে।
Session semantics: Zyte-এর session client-managed, আপনি যে UUID দেন তা ব্যবহার করে, অথবা Zyte যে session context বজায় রাখে তার মাধ্যমে server-managed, এবং মূলত ban-evasion state ধরে রাখার জন্য থাকে। SocksNode-এর স্থায়ী সেশন আপনার কনফিগার করা সময়কাল পর্যন্ত একটি IP ধরে রাখে, এক মিনিট থেকে ২৪ ঘণ্টা পর্যন্ত।
Protocols: Zyte API-এর proxy interface HTTP এবং HTTPS-এর জন্য নথিভুক্ত। SocksNode HTTP, HTTPS এবং SOCKS5 ক্রেডেনশিয়াল ইস্যু করে, সবগুলোরই username এবং password authentication আছে।
Residential access: আপনি residential-এ ipType স্পষ্টভাবে pin করার আগে Zyte-কে তার KYC প্রক্রিয়া সম্পন্ন করতে হয়, আর তা করলে অনুরোধের খরচ বদলে যায়। SocksNode ডিফল্টভাবেই একটি রেসিডেনশিয়াল নেটওয়ার্ক।
Mobile: Zyte API-এর mobile device setting হলো browser emulation, carrier IP নয়। SocksNode সময়ভিত্তিক আসল ক্যারিয়ার মডেমে চলা 4G/5G পোর্ট ভাড়া দেয়, প্রতিটিতে একটিমাত্র live rotating mobile IP থাকে, যেটি আপনি ধরে রাখতে বা অনুরোধে বদলাতে পারেন।

SocksNode কীভাবে কেনা ও চালানো হয়

SocksNode প্রিপেইড ব্যান্ডউইথ। আপনি 5GB থেকে শুরু করে একটি ভলিউম কেনেন, আর যত খুশি প্রক্সি ক্রেডেনশিয়াল তৈরি করতে পারেন, এতে কোনো চার্জ নেই; কেবল সেগুলোর মধ্য দিয়ে যাওয়া ট্রাফিকই ব্যান্ডউইথ খরচ করে। Flexible plan-গুলো মেয়াদহীন, তাই অব্যবহৃত ব্যান্ডউইথ মাস শেষে শূন্য না হয়ে অ্যাকাউন্টেই থাকে, ব্যবহার হওয়া পর্যন্ত। এখানে কোনো spend limit নিয়ে আলোচনা করার দরকার নেই, আর নির্দিষ্ট রেটে পৌঁছাতে monthly commitment-ও নেই।

Targeting এবং session behavior credential-এর মধ্যেই সেট করা হয়, প্রতি অনুরোধে নয়; এটাই এটিকে বিদ্যমান ক্রলারে সহজে বদলাতে সাহায্য করে। আপনি protocol, দেশ, আর যুক্তরাষ্ট্রে হলে state বা city, অথবা দেশের সঙ্গে জোড়া ASN বেছে নেন। তারপর rotating বেছে নেন, যা প্রতিটি অনুরোধে নতুন IP দেয়, অথবা sticky, যা এক মিনিট থেকে ২৪ ঘণ্টা পর্যন্ত একটি IP ধরে রাখে। ব্যবহার dashboard-এ credential অনুযায়ী ট্র্যাক করা হয়।

Mobile লাইনটি আলাদা এবং এর দামও আলাদা। GB অনুযায়ী বিল করার বদলে, আপনি কয়েক ঘণ্টা থেকে ৩০ দিন পর্যন্ত সময়ের জন্য আসল ক্যারিয়ার মডেমে চলা 4G/5G port ভাড়া নেন, যেখানে US state- এবং carrier-level targeting উপলব্ধ। এটি Zyte-এর পণ্য থেকে ভিন্ন, আর শুধু এই কারণেই উল্লেখযোগ্য যে carrier IP-ই সেই একমাত্র প্রয়োজন যেটি Zyte-এর stack মোটেই পূরণ করে না।

আসলে migration কী নিয়ে গঠিত

যান্ত্রিক অংশটি ছোট। যদি আপনি proxy mode-এ Zyte API ব্যবহার করে থাকেন, তাহলে আপনি ইতিমধ্যেই একটি HTTP proxy দিয়ে রাউট করছেন, তাই আপনি host, port এবং credential বদলাচ্ছেন। authentication-এর ধরন সামান্য আলাদা: Zyte আপনার API key-কে proxy username হিসেবে নেয় এবং password ফাঁকা রাখে, আর SocksNode credential হলো প্রচলিত username ও password-এর জোড়া, যেখানে geography এবং session behavior আপনি যে credential তৈরি করেছেন তাতেই অন্তর্ভুক্ত থাকে।

আসল কাজ লাগে সেই সব জায়গায়, যা Zyte আপনার হয়ে করছিল এবং আর করবে না।

একই URL set-এর একটি অংশে নির্দিষ্ট সময়ের জন্য দুটোই parallel-এ চালানোর পরিকল্পনা করুন, এবং cost per request নয়, usable response প্রতি success rate ও cost তুলনা করুন। সিদ্ধান্ত নেয়ার জন্য এই সংখ্যাগুলোই গুরুত্বপূর্ণ।

Retries এবং backoff আপনার দায়িত্বে চলে আসে। Zyte ব্যর্থ প্রতিক্রিয়ার জন্য চার্জ করে না; metered proxy network-এ retry করা অনুরোধ সফল হোক বা না হোক, ব্যান্ডউইথ খরচ করে।
Fingerprinting আবার আপনার client-এ ফিরে আসে, সেটা TLS-impersonating HTTP client হোক, hardened headless browser build হোক, বা শুধু header ও cookie handling-এ শৃঙ্খলাবদ্ধ হওয়াই হোক।
কোনো কিছু আপনার জন্য JavaScript render করে না। কোনো টার্গেটে browser লাগলে, আপনাকে browser চালাতে হবে এবং proxy দিয়ে route করতে হবে।
Automatic extraction-এর কোনো সমতুল্য নেই। আপনাকে নিজের parser এবং selector রেখেই চলতে হবে, অথবা সেগুলো নতুন করে লিখতে হবে।
আপনার budget-কে bytes-এ প্রকাশ করুন। আপনার টার্গেটগুলোর average compressed response size নমুনা নিয়ে মাপুন, তা expected request volume দিয়ে গুণ করুন, তারপর redirect ও retry-এর জন্য কিছু headroom যোগ করুন।
Bytes ইচ্ছাকৃতভাবে কমান: gzip বা brotli চালু রাখুন, headless browser-এ image, font ও media block করুন, আর পূর্ণ browser fetch দরকার না হলে plain HTTP request ব্যবহার করুন।

কারা Zyte-তেই থাকা উচিত, আর কারা নয়

Zyte এখনো কিছু নির্দিষ্ট দলের জন্য ভালো পছন্দ, আর ভুল কারণে এটি ছেড়ে গেলে সাশ্রয়ের চেয়ে খরচই বেশি হবে।

যদি আপনার bottleneck হয় সত্যিই কঠিন টার্গেটে ban, IP supply নয়, তাহলে Zyte-তেই থাকুন। সেই সমস্যা সামলানোই পণ্যের কাজ, আর তা নিজে থেকে আবার বানানো কোনো সপ্তাহান্তের কাজ নয়।
যদি per-success billing আপনার পূর্বাভাস তৈরির জন্য গুরুত্বপূর্ণ হয়, তাহলে থাকুন। কঠিন টার্গেটে যেখানে উল্লেখযোগ্য অংশের অনুরোধ ব্যর্থ হয়, ব্যর্থতার জন্য না দেওয়া একটি বাস্তব কাঠামোগত সুবিধা।
যদি আপনি ইতিমধ্যেই Scrapy Cloud চালান এবং deployment, scheduling ও fetching এক অ্যাকাউন্ট এবং এক support relationship-এর মধ্যে রাখতে মূল্য দেন, তাহলে থাকুন।
যদি আপনার browser actions, screenshots বা structured automatic extraction দরকার হয়, যেগুলোর কোনোটি-ই proxy network দেয় না, তাহলে থাকুন।
যদি আপনার নিজের crawler থাকে এবং আপনি প্রতি অনুরোধে পরিবর্তনশীল না হয়ে প্রতি gigabyte-এ পূর্বানুমেয় দামে IP চান, তাহলে SocksNode বিবেচনা করুন।
যদি আপনার country level-এর নিচে geography দরকার হয়, যেমন নির্দিষ্ট US state বা city, অথবা named ASN, যা Zyte-এর নথিভুক্ত country-code geolocation প্রকাশ করে না, তাহলে SocksNode বিবেচনা করুন।
যদি আপনার SOCKS5 দরকার হয় এমন tools-এর জন্য যেগুলো HTTP client নয়, স্পষ্ট সময়কালসহ দীর্ঘ স্থায়ী সেশন, বা আসল ক্যারিয়ার মডেমে চলা mobile 4G/5G port দরকার হয়, তাহলে SocksNode বিবেচনা করুন।
যদি আপনি spend limit কনফিগার করা বা monthly commitment-এ সম্মত হওয়ার বদলে কয়েক ডলারের মেয়াদহীন ব্যান্ডউইথ দিয়ে পরীক্ষা করতে চান, তাহলে SocksNode বিবেচনা করুন।

আরও দেখুন

সচরাচর জিজ্ঞাসিত প্রশ্ন

আমি কি আমার বিদ্যমান Zyte proxy-mode কোড SocksNode-এ rewrite ছাড়াই point করতে পারি?

বেশিরভাগ ক্ষেত্রে পারি, transport layer-এ। দুটোই HTTP proxy, তাই আপনি host, port এবং credentials বদলাচ্ছেন। দুটি পার্থক্য গুরুত্বপূর্ণ। Zyte আপনার API key-কে proxy username হিসেবে এবং ফাঁকা password ব্যবহার করে authentication করে, আর SocksNode স্বাভাবিক username ও password pair ব্যবহার করে। আর Zyte-এর প্রতি-অনুরোধ নিয়ন্ত্রণ, যেমন geolocation বা ipType, header বা API body-তে প্রকাশ করা হয়, যেখানে SocksNode-এ country, state, city, ASN এবং session behavior আপনি যে credential তৈরি করেন তাতেই অন্তর্ভুক্ত থাকে। বড় কাজটি swap নয়, বরং proxy-এর পেছনে Zyte যে ban handling এবং retry logic করছিল তা প্রতিস্থাপন করা।

Zyte কেবল সফল অনুরোধের জন্য চার্জ করে। তাহলে per-GB billing কি ঝুঁকি আমার ওপর চাপায় না?

হ্যাঁ, আর এটাই সৎ trade-off। SocksNode-এ response আপনি যা চেয়েছিলেন তা না হলেও bytes transferred-এর জন্য আপনাকে pay করতে হয়, তাই block, CAPTCHA এবং retry—সবই ব্যান্ডউইথ খরচ করে। এটা খারাপ কি না, তা পুরোপুরি আপনার success rate-এর ওপর নির্ভর করে। যে টার্গেটে আপনার নিজের stack ইতিমধ্যেই নির্ভরযোগ্যভাবে সফল হয়, সেখানে fixed per-gigabyte rate সাধারণত সস্তা এবং forecast করা অনেক সহজ। যে টার্গেটে প্রচুর অনুরোধ ব্যর্থ হয়, সেখানে Zyte-এর model এমন একটি খরচ শোষণ করে যা অন্যথায় আপনাকে বহন করতে হতো। সিদ্ধান্ত নেওয়ার আগে sample-এ cost per usable response মাপুন, cost per request নয়।

Zyte API-এর automatic extraction বা browser rendering-এর সমতুল্য কিছু কি SocksNode দেয়?

না। SocksNode একটি প্রক্সি নেটওয়ার্ক, এর বেশি কিছু নয়। এটি protocol, geography এবং session control-সহ IP দেয়; এটি JavaScript render করে না, browser actions চালায় না, screenshots নেয় না, বা page-কে structured product বা article data-তে parse করে না। যদি এই ফিচারগুলো আপনার pipeline-এর জন্য অপরিহার্য হয়, তাহলে ওই টার্গেটগুলোর জন্য Zyte-ই রাখুন, অথবা নিজের headless browser ও parser চালানোর পরিকল্পনা করুন এবং সেগুলো proxy দিয়ে route করুন।

আমার একটি নির্দিষ্ট মার্কিন রাজ্য থেকে রেসিডেনশিয়াল IP দরকার। Zyte কি সেটা করতে পারে?

Zyte-এর ডকুমেন্টেশন দুই অক্ষরের country code ব্যবহার করে geolocation বর্ণনা করে, standard এবং extended country set-এ, তাই targeting country level-এ প্রকাশ করা হয়। এছাড়াও Zyte ডিফল্টভাবে datacenter নাকি residential হবে তা নিজেই নির্ধারণ করে, যতক্ষণ না আপনি ipType-কে residential হিসেবে pin করেন, আর সেটির জন্য তার KYC প্রক্রিয়া সম্পন্ন করা লাগে এবং অনুরোধের খরচ বদলে যায়। SocksNode মার্কিন state ও city পর্যন্ত লক্ষ্যনির্ধারণ করে, নির্বাচিত অন্যান্য দেশে region ও city লক্ষ্যনির্ধারণ দেয়, এবং কোনো দেশের মধ্যে নির্দিষ্ট ASN বা ISP pin করতে দেয়, ডিফল্টভাবেই একটি রেসিডেনশিয়াল নেটওয়ার্কে।

দুই পক্ষের কোনো একটিতে কি minimum commitment আছে?

Zyte-এর pay-as-you-go tier তার সর্বনিম্ন spending limit-এ monthly commitment ছাড়াই চলে, আর সেই limit বাড়ালে monthly spend-এ commitment দিতে হয়, enterprise term-গুলো আলাদাভাবে আলোচনার মাধ্যমে নির্ধারিত হয়। SocksNode প্রিপেইড: সবচেয়ে ছোট প্ল্যান 5GB, flexible plan-গুলো মেয়াদহীন তাই অব্যবহৃত ব্যান্ডউইথ অ্যাকাউন্টেই থাকে, আর প্রয়োজন হলে আপনি top up করেন। Credential তৈরি করতে কোনো খরচ নেই, তাই আপনি আসলে কেবল ব্যান্ডউইথের প্রতিই commitment দিচ্ছেন।

কোনো provider কি SOCKS5 support করে?

Zyte API-এর proxy interface HTTP এবং HTTPS-এর জন্য নথিভুক্ত, api.zyte.com:8011-এ এবং 8014 পোর্টে একটি HTTPS variant-সহ; SOCKS5 এর অংশ নয়। SocksNode HTTP, HTTPS অথবা SOCKS5-এর জন্য ক্রেডেনশিয়াল ইস্যু করে, সবই username ও password authentication ব্যবহার করে। আপনি যদি এমন কিছু proxy করেন যা HTTP client নয়, তবে এ পার্থক্যটাই সাধারণত একাই সিদ্ধান্তমূলক।

সম্পর্কিত পোস্ট

সব পোস্ট

শুরু করুন।

অ্যাকাউন্ট খুলুন, ক্রেডেনশিয়াল তৈরি করুন, সংযোগ করুন। API সেটিই যা ড্যাশবোর্ড ব্যবহার করে।