ওয়েব ক্যাপচার এবং রূপান্তর করার সরঞ্জামসমূহ

গ্র্যাবজিট-এর ওয়েব স্ক্র্যাপার কি রোবটস.টিএসটিএস ফাইলকে সম্মান করে?

আমাদের ওয়েব স্ক্র্যাপারকে একটি ওয়েবসাইটের রোবটস.টি.এস.টি. ফাইলে পাওয়া বিধিগুলি সম্মান করতে হবে। সুন্দর হওয়া ছাড়াও এর মূল কারণগুলির মধ্যে একটি হ'ল যে ওয়েব স্ক্র্যাপারগুলি যা রোবটস.টিএসটিএসটি ফাইল অনুসরণ করে না তারা নিজেরাই হানিপোট পরিষেবা দ্বারা কালো তালিকাভুক্ত হতে পারে।

এই পরিষেবাগুলি ওয়েবসাইট থেকে লিঙ্কযুক্ত কোনও নির্দিষ্ট ফাইলটি না দেখার জন্য কোনও ওয়েব স্ক্র্যাপারকে বলতে রোবট.টিএসটিএসটি ব্যবহার করে। যদি ওয়েব স্ক্র্যাপারটি এখনও ফাইলটি দেখে তবে ওয়েব স্ক্র্যাপার আইপি ঠিকানাটি কালো তালিকাভুক্ত করা হবে, ভবিষ্যতে ওয়েব স্ক্র্যাপার ওয়েব সাইটটিতে যাওয়া আটকাবে।