দ্রুত উত্তর
Scrapy-এর সঙ্গে SocksNode রেসিডেনশিয়াল প্রক্সি ব্যবহার করতে, প্রতিটি রিকোয়েস্টের meta-তে প্রক্সি সেট করুন অথবা বিল্ট-ইন HttpProxyMiddleware ব্যবহার করুন, এবং http://USERNAME-country-us:[email protected]:9000-এ পয়েন্ট করুন। প্রতিটি রিকোয়েস্টে আলাদা IP পেতে 9000 পোর্টের ঘূর্ণায়মান পোর্ট ব্যবহার করুন, অথবা একটি ক্রল ব্লকের জুড়ে একই IP ধরে রাখতে সেশন টোকেনসহ 10000 পোর্ট ব্যবহার করুন।
শুরু করার আগে
SocksNode 195+ দেশে রেসিডেনশিয়াল প্রক্সি অফার করে, যা HTTP, HTTPS, এবং SOCKS5-এর মাধ্যমে username/password auth সহ উপলব্ধ। ড্যাশবোর্ডের proxy generator-এ বিনামূল্যে ক্রেডেনশিয়াল তৈরি করুন; শুধু রাউট করা ট্রাফিকই আপনার প্রিপেইড ব্যান্ডউইথ ব্যবহার করবে ($4.50-এ ৫ GB থেকে, flexible plan-এ মেয়াদ শেষ হয় না)।
Scrapy-তে HttpProxyMiddleware ডিফল্টভাবেই সক্রিয় থাকে, তাই আপনাকে শুধু প্রতিটি রিকোয়েস্টে proxy URL দিতে হবে.
Scrapy-তে প্রক্সি কনফিগার করুন
আপনার spider-এর রিকোয়েস্টে প্রক্সি সংযুক্ত করুন:
USERNAME-country-us username token একটি ঘূর্ণায়মান US রেসিডেনশিয়াল IP অনুরোধ করে। country code পরিবর্তন করুন, অথবা state, city, কিংবা ASN token যোগ করে exit নিয়ন্ত্রণ করুন। SOCKS5-এর জন্য scrapy-rotating-proxies বা SOCKS-সামর্থ্যপূর্ণ middleware ইনস্টল করুন এবং 11000 পোর্টে পয়েন্ট করুন।
import scrapy
class ExampleSpider(scrapy.Spider):
name = 'example'
urls = ['https://api.ipify.org']
def start_requests(self):
proxy = 'http://USERNAME-country-us:PASSWORD@global.socksnode.com:9000'
for url in self.urls:
yield scrapy.Request(url, meta={'proxy': proxy}, callback=self.parse)
def parse(self, response):
self.logger.info(response.text)
ঘূর্ণায়মান বনাম স্থায়ী সেশন
ঘূর্ণায়মান session-এ HTTP 9000 পোর্টে প্রতিটি রিকোয়েস্টে নতুন একটি রেসিডেনশিয়াল IP দেওয়া হয়, যা Scrapy-এর concurrent scheduler-এর সঙ্গে বড় পরিসরের crawl-এর জন্য স্বাভাবিকভাবে মানানসই।
স্থায়ী session HTTP 10000 পোর্টে 1 মিনিট থেকে 24 ঘণ্টা পর্যন্ত একটি IP ধরে রাখে। কোনো section paginating করার সময় একই IP রাখতে USERNAME-country-us-session-cat12-lifetime-20-এর মতো token ব্যবহার করুন, তারপর পরবর্তী ব্লকের জন্য session id ঘুরিয়ে দিন।
ভৌগোলিক লক্ষ্যনির্ধারণ এবং শিষ্টাচারসম্মত crawling
লক্ষ্যনির্ধারণ username token-এর মাধ্যমে সেট হয়: 195+ দেশের মধ্যে country, US state ও city, অথবা কোনো দেশের মধ্যে ASN/ISP। শুধু username বদলালেই হয়, তাই একটি spider দিয়েই একাধিক অঞ্চল crawl করা যায়।
আইনসম্মতভাবে crawl করুন, robots নির্দেশনা এবং সাইটের শর্ত মেনে চলুন, এবং যুক্তিসংগত হার বজায় রাখতে AUTOTHROTTLE চালু রাখুন।
আরও দেখুন
সচরাচর জিজ্ঞাসিত প্রশ্ন
আমার কি custom middleware দরকার?
না। Scrapy-এর built-in HttpProxyMiddleware meta['proxy'] value পড়ে, তাই প্রতি রিকোয়েস্টে সেট করলেই HTTP proxy-এর জন্য যথেষ্ট।
প্রতি category-তে sticky IP কীভাবে ঘুরাব?
10000 পোর্ট ব্যবহার করুন এবং username-এ session id বদলান; উদাহরণস্বরূপ, পরের section-এ গেলে session-cat12 পরিবর্তন করে session-cat13 করুন।
Scrapy কি SOCKS5 ব্যবহার করতে পারে?
হ্যাঁ, SOCKS-সামর্থ্যপূর্ণ proxy middleware দিয়ে, যা 11000 পোর্টে (ঘূর্ণায়মান) বা 12000 পোর্টে (স্থায়ী) পয়েন্ট করে, এবং আপনার username token ও password ব্যবহার করে।
আমি কীভাবে অন্য দেশ থেকে crawl করব?
proxy username-এ country token সেট করুন, যেমন USERNAME-country-fr; 195+ দেশের পাশাপাশি US state, city, এবং ASN option থেকে বেছে নিতে পারবেন।
প্রতিটি তৈরি করা ক্রেডেনশিয়াল কি অতিরিক্ত খরচ করে?
না। ক্রেডেনশিয়াল তৈরি করা বিনামূল্যে; আপনার crawl যত ব্যান্ডউইথ ব্যবহার করবে, শুধু সেটুকুই আপনার প্রিপেইড ব্যালেন্স থেকে বিল হবে।


