দ্রুত উত্তর
Zyte একটি স্ক্র্যাপিং API বিক্রি করে: Zyte API প্রক্সি, নিষেধাজ্ঞা সামলানো এবং ব্রাউজার রেন্ডারিং একসঙ্গে দেয়, সফল অনুরোধ অনুযায়ী বিল করা হয়, আর এর স্বতন্ত্র Smart Proxy Manager-এ নতুন সাইনআপ বন্ধ। SocksNode শুধু প্রক্সি অ্যাক্সেসই বিক্রি করে, HTTP, HTTPS এবং SOCKS5 রেসিডেনশিয়াল ক্রেডেনশিয়াল ইস্যু করে, GB অনুযায়ী বিল করা হয়, সঙ্গে মার্কিন রাজ্য, শহর ও ASN লক্ষ্যনির্ধারণ এবং ২৪ ঘণ্টা পর্যন্ত স্থায়ী সেশন। এটি সেই দলগুলোর জন্য উপযুক্ত, যাদের নিজের ক্রলিং স্ট্যাক ইতিমধ্যেই আছে।
Zyte এমন একটি API কোম্পানি, যার কাছে প্রক্সিও আছে
Zyte, পূর্বে Scrapinghub, Scrapy নামের Python ক্রলিং ফ্রেমওয়ার্কটি রক্ষণাবেক্ষণ করে, আর তাদের বাণিজ্যিক পণ্যগুলোও সেই ভিত্তির ওপর দাঁড়ানো: আনা ও উত্তোলনের জন্য Zyte API, এবং হোস্টেড পরিবেশে স্পাইডার মোতায়েন ও সময়সূচি নির্ধারণের জন্য Scrapy Cloud। প্রক্সিগুলো এসব পণ্যের ভেতরেই থাকে, পাশে নয়।
Zyte API-তে সফল প্রতিক্রিয়া অনুযায়ী বিল করা হয়। কোনো অনুরোধের খরচ নির্ধারিত হয় টার্গেট সাইটের জন্য স্বয়ংক্রিয়ভাবে বরাদ্দ করা কঠিনতার স্তর এবং আপনি যে ফিচারগুলো চালু করেন তার ভিত্তিতে, যেমন ব্রাউজার রেন্ডারিং, স্ক্রিনশট, নেটওয়ার্ক ক্যাপচার বা স্বয়ংক্রিয় উত্তোলন। যে অনুরোধ ব্যর্থ হয় বা রেট-সীমিত হয়, তার জন্য বিল করা হয় না। IP স্তরটি ইচ্ছাকৃতভাবেই আড়াল করা: ডিফল্টভাবে টার্গেটের প্রয়োজন অনুযায়ী Zyte নিজেই ডেটা সেন্টার বা রেসিডেনশিয়াল বেছে নেয়।
এটি একটি সুসংহত পণ্য, আর সেটাই ব্যাখ্যা করে কেন যারা Zyte বিকল্প খুঁজছেন তাদের বেশিরভাগই আসলে সস্তা Zyte খুঁজছেন না। তারা সাধারণত স্ট্যাকের আরও নিচের স্তরের কিছু চান: ইঞ্জিনে মোড়ানো না থাকা IP-গুলো।
Smart Proxy Manager-এর অবসানই এই প্রশ্ন তুলে ধরে
Zyte-এর স্বতন্ত্র প্রক্সি পণ্যের দীর্ঘ ইতিহাস আছে। এটি Crawlera নামে শুরু হয়েছিল, পরে Smart Proxy Manager নামে পুনর্নামকরণ করা হয়। Zyte-এর ডকুমেন্টেশনে এখন বলা আছে যে Zyte API এটিকে প্রতিস্থাপন করছে এবং Smart Proxy Manager-এ আর সাইন আপ করা সম্ভব নয়, পাশাপাশি বিদ্যমান ব্যবহারকারীদের জন্য একটি প্রকাশিত মাইগ্রেশন গাইডও আছে।
আপনি যদি সেই পণ্যটি কেবল নিজের ক্রলারের পেছনে একটি ঘূর্ণায়মান প্রক্সি হিসেবে ব্যবহার করে থাকেন, তাহলে এটি দামের নয়, আকারের পরিবর্তন। Zyte API এখনও api.zyte.com:8011-এ একটি প্রক্সি ইন্টারফেসের মাধ্যমে ব্যবহার করা যায়, আর 8014 পোর্টে HTTPS সংস্করণও আছে; এখানে আপনার API key প্রক্সি username হিসেবে এবং password ফাঁকা রেখে প্রমাণীকরণ করা হয়, তাই বিদ্যমান পাইপলাইন মোটামুটি অক্ষুণ্ণ থাকে। কিন্তু proxy mode-এ নকশাগতভাবে Zyte API-এর কয়েকটি ক্ষমতা বাদ পড়ে, যার মধ্যে আছে server-managed sessions, automatic extraction, screenshots এবং network capture, আর cookies কেবল টার্গেট URL-এর নিজস্ব domain-এ সেট করা যায়।
সুতরাং সৎভাবে বিষয়টি এভাবেই বলা যায়: যদি Zyte ব্যবহার করার আপনার মূল কারণ ছিল “আমার IP দরকার, ক্রলার তো আমারই আছে”, তাহলে স্বাভাবিক প্রতিস্থাপন হলো একটি প্রক্সি নেটওয়ার্ক, আরেকটি স্ক্র্যাপিং API নয়।
দুটি মডেল কাঠামোগতভাবে কোথায় আলাদা
যে পার্থক্যগুলোর ভিত্তিতে সিদ্ধান্ত নেওয়া উচিত সেগুলো ডিগ্রির নয়, কাঠামোর। নিচের প্রতিটি সারি কেনার একেকটি ভিন্ন একক, একই জিনিসের ভালো বা খারাপ সংস্করণ নয়।
SocksNode কীভাবে কেনা ও চালানো হয়
SocksNode প্রিপেইড ব্যান্ডউইথ। আপনি 5GB থেকে শুরু করে একটি ভলিউম কেনেন, আর যত খুশি প্রক্সি ক্রেডেনশিয়াল তৈরি করতে পারেন, এতে কোনো চার্জ নেই; কেবল সেগুলোর মধ্য দিয়ে যাওয়া ট্রাফিকই ব্যান্ডউইথ খরচ করে। Flexible plan-গুলো মেয়াদহীন, তাই অব্যবহৃত ব্যান্ডউইথ মাস শেষে শূন্য না হয়ে অ্যাকাউন্টেই থাকে, ব্যবহার হওয়া পর্যন্ত। এখানে কোনো spend limit নিয়ে আলোচনা করার দরকার নেই, আর নির্দিষ্ট রেটে পৌঁছাতে monthly commitment-ও নেই।
Targeting এবং session behavior credential-এর মধ্যেই সেট করা হয়, প্রতি অনুরোধে নয়; এটাই এটিকে বিদ্যমান ক্রলারে সহজে বদলাতে সাহায্য করে। আপনি protocol, দেশ, আর যুক্তরাষ্ট্রে হলে state বা city, অথবা দেশের সঙ্গে জোড়া ASN বেছে নেন। তারপর rotating বেছে নেন, যা প্রতিটি অনুরোধে নতুন IP দেয়, অথবা sticky, যা এক মিনিট থেকে ২৪ ঘণ্টা পর্যন্ত একটি IP ধরে রাখে। ব্যবহার dashboard-এ credential অনুযায়ী ট্র্যাক করা হয়।
Mobile লাইনটি আলাদা এবং এর দামও আলাদা। GB অনুযায়ী বিল করার বদলে, আপনি কয়েক ঘণ্টা থেকে ৩০ দিন পর্যন্ত সময়ের জন্য আসল ক্যারিয়ার মডেমে চলা 4G/5G port ভাড়া নেন, যেখানে US state- এবং carrier-level targeting উপলব্ধ। এটি Zyte-এর পণ্য থেকে ভিন্ন, আর শুধু এই কারণেই উল্লেখযোগ্য যে carrier IP-ই সেই একমাত্র প্রয়োজন যেটি Zyte-এর stack মোটেই পূরণ করে না।
আসলে migration কী নিয়ে গঠিত
যান্ত্রিক অংশটি ছোট। যদি আপনি proxy mode-এ Zyte API ব্যবহার করে থাকেন, তাহলে আপনি ইতিমধ্যেই একটি HTTP proxy দিয়ে রাউট করছেন, তাই আপনি host, port এবং credential বদলাচ্ছেন। authentication-এর ধরন সামান্য আলাদা: Zyte আপনার API key-কে proxy username হিসেবে নেয় এবং password ফাঁকা রাখে, আর SocksNode credential হলো প্রচলিত username ও password-এর জোড়া, যেখানে geography এবং session behavior আপনি যে credential তৈরি করেছেন তাতেই অন্তর্ভুক্ত থাকে।
আসল কাজ লাগে সেই সব জায়গায়, যা Zyte আপনার হয়ে করছিল এবং আর করবে না।
একই URL set-এর একটি অংশে নির্দিষ্ট সময়ের জন্য দুটোই parallel-এ চালানোর পরিকল্পনা করুন, এবং cost per request নয়, usable response প্রতি success rate ও cost তুলনা করুন। সিদ্ধান্ত নেয়ার জন্য এই সংখ্যাগুলোই গুরুত্বপূর্ণ।
কারা Zyte-তেই থাকা উচিত, আর কারা নয়
Zyte এখনো কিছু নির্দিষ্ট দলের জন্য ভালো পছন্দ, আর ভুল কারণে এটি ছেড়ে গেলে সাশ্রয়ের চেয়ে খরচই বেশি হবে।
আরও দেখুন
সচরাচর জিজ্ঞাসিত প্রশ্ন
আমি কি আমার বিদ্যমান Zyte proxy-mode কোড SocksNode-এ rewrite ছাড়াই point করতে পারি?
বেশিরভাগ ক্ষেত্রে পারি, transport layer-এ। দুটোই HTTP proxy, তাই আপনি host, port এবং credentials বদলাচ্ছেন। দুটি পার্থক্য গুরুত্বপূর্ণ। Zyte আপনার API key-কে proxy username হিসেবে এবং ফাঁকা password ব্যবহার করে authentication করে, আর SocksNode স্বাভাবিক username ও password pair ব্যবহার করে। আর Zyte-এর প্রতি-অনুরোধ নিয়ন্ত্রণ, যেমন geolocation বা ipType, header বা API body-তে প্রকাশ করা হয়, যেখানে SocksNode-এ country, state, city, ASN এবং session behavior আপনি যে credential তৈরি করেন তাতেই অন্তর্ভুক্ত থাকে। বড় কাজটি swap নয়, বরং proxy-এর পেছনে Zyte যে ban handling এবং retry logic করছিল তা প্রতিস্থাপন করা।
Zyte কেবল সফল অনুরোধের জন্য চার্জ করে। তাহলে per-GB billing কি ঝুঁকি আমার ওপর চাপায় না?
হ্যাঁ, আর এটাই সৎ trade-off। SocksNode-এ response আপনি যা চেয়েছিলেন তা না হলেও bytes transferred-এর জন্য আপনাকে pay করতে হয়, তাই block, CAPTCHA এবং retry—সবই ব্যান্ডউইথ খরচ করে। এটা খারাপ কি না, তা পুরোপুরি আপনার success rate-এর ওপর নির্ভর করে। যে টার্গেটে আপনার নিজের stack ইতিমধ্যেই নির্ভরযোগ্যভাবে সফল হয়, সেখানে fixed per-gigabyte rate সাধারণত সস্তা এবং forecast করা অনেক সহজ। যে টার্গেটে প্রচুর অনুরোধ ব্যর্থ হয়, সেখানে Zyte-এর model এমন একটি খরচ শোষণ করে যা অন্যথায় আপনাকে বহন করতে হতো। সিদ্ধান্ত নেওয়ার আগে sample-এ cost per usable response মাপুন, cost per request নয়।
Zyte API-এর automatic extraction বা browser rendering-এর সমতুল্য কিছু কি SocksNode দেয়?
না। SocksNode একটি প্রক্সি নেটওয়ার্ক, এর বেশি কিছু নয়। এটি protocol, geography এবং session control-সহ IP দেয়; এটি JavaScript render করে না, browser actions চালায় না, screenshots নেয় না, বা page-কে structured product বা article data-তে parse করে না। যদি এই ফিচারগুলো আপনার pipeline-এর জন্য অপরিহার্য হয়, তাহলে ওই টার্গেটগুলোর জন্য Zyte-ই রাখুন, অথবা নিজের headless browser ও parser চালানোর পরিকল্পনা করুন এবং সেগুলো proxy দিয়ে route করুন।
আমার একটি নির্দিষ্ট মার্কিন রাজ্য থেকে রেসিডেনশিয়াল IP দরকার। Zyte কি সেটা করতে পারে?
Zyte-এর ডকুমেন্টেশন দুই অক্ষরের country code ব্যবহার করে geolocation বর্ণনা করে, standard এবং extended country set-এ, তাই targeting country level-এ প্রকাশ করা হয়। এছাড়াও Zyte ডিফল্টভাবে datacenter নাকি residential হবে তা নিজেই নির্ধারণ করে, যতক্ষণ না আপনি ipType-কে residential হিসেবে pin করেন, আর সেটির জন্য তার KYC প্রক্রিয়া সম্পন্ন করা লাগে এবং অনুরোধের খরচ বদলে যায়। SocksNode মার্কিন state ও city পর্যন্ত লক্ষ্যনির্ধারণ করে, নির্বাচিত অন্যান্য দেশে region ও city লক্ষ্যনির্ধারণ দেয়, এবং কোনো দেশের মধ্যে নির্দিষ্ট ASN বা ISP pin করতে দেয়, ডিফল্টভাবেই একটি রেসিডেনশিয়াল নেটওয়ার্কে।
দুই পক্ষের কোনো একটিতে কি minimum commitment আছে?
Zyte-এর pay-as-you-go tier তার সর্বনিম্ন spending limit-এ monthly commitment ছাড়াই চলে, আর সেই limit বাড়ালে monthly spend-এ commitment দিতে হয়, enterprise term-গুলো আলাদাভাবে আলোচনার মাধ্যমে নির্ধারিত হয়। SocksNode প্রিপেইড: সবচেয়ে ছোট প্ল্যান 5GB, flexible plan-গুলো মেয়াদহীন তাই অব্যবহৃত ব্যান্ডউইথ অ্যাকাউন্টেই থাকে, আর প্রয়োজন হলে আপনি top up করেন। Credential তৈরি করতে কোনো খরচ নেই, তাই আপনি আসলে কেবল ব্যান্ডউইথের প্রতিই commitment দিচ্ছেন।
কোনো provider কি SOCKS5 support করে?
Zyte API-এর proxy interface HTTP এবং HTTPS-এর জন্য নথিভুক্ত, api.zyte.com:8011-এ এবং 8014 পোর্টে একটি HTTPS variant-সহ; SOCKS5 এর অংশ নয়। SocksNode HTTP, HTTPS অথবা SOCKS5-এর জন্য ক্রেডেনশিয়াল ইস্যু করে, সবই username ও password authentication ব্যবহার করে। আপনি যদি এমন কিছু proxy করেন যা HTTP client নয়, তবে এ পার্থক্যটাই সাধারণত একাই সিদ্ধান্তমূলক।


