বেশিরভাগ পাকা ব্লগাররা অবশ্যই জানেন যে রোবটস.টিএসটিএসটি কী এবং আপনার এই ফাইলটি কেন দরকার। তবে কয়েকজন লেখক ওয়ার্ডপ্রেসে একটি ব্লগ ইনস্টল করার পরে অবিলম্বে একটি রোবটস.টি.এস.টি ফাইল তৈরি করতে ছুটে যান।
Robots.txt একটি পাঠ্য ফাইল যা আপনার সাইটের মূল ডিরেক্টরিতে আপলোড করা হয় এবং এতে ক্রলারের জন্য নির্দেশাবলী থাকে। এর ব্যবহারের প্রধান উদ্দেশ্য হ'ল সাইটে পৃথক পৃষ্ঠাগুলি এবং বিভাগগুলির সূচি নিষিদ্ধ করা। তবে, robots.txt ব্যবহার করে, আপনি সঠিক ডোমেন মিররও নির্দিষ্ট করতে পারেন, সাইটম্যাপে যাওয়ার পথ নির্ধারণ করতে পারেন এবং এর মতো।
বেশিরভাগ আধুনিক অনুসন্ধান ইঞ্জিনগুলি জনপ্রিয় সিএমএসটি ভালভাবে নেভিগেট করতে শিখেছে এবং সাধারণত এটির উদ্দেশ্যে নয় এমন সামগ্রীগুলি সূচীকরণের চেষ্টা করে না। উদাহরণস্বরূপ, গুগল আপনার ওয়ার্ডপ্রেস ব্লগ অ্যাডমিন অঞ্চলটিকে সূচক করবে না এমনকি আপনি এটি সরাসরি রোবটস.টি.এস.টি-তে নির্দিষ্ট না করেও। তবে কিছু ক্ষেত্রে সরাসরি নিষেধাজ্ঞার ব্যবহার এখনও কার্যকর হতে পারে। এবং আমরা মূলত সদৃশ কন্টেন্ট নিষিদ্ধ সম্পর্কে কথা বলছি।
কিছু ওয়েবমাস্টার বিভাগ এবং ট্যাগ পৃষ্ঠাগুলির সূচিকরণ নিষিদ্ধ করার জন্য এতদূর এগিয়ে যায় যেহেতু তাদের বিষয়বস্তু মূল পৃষ্ঠার বিষয়বস্তু আংশিকভাবে নকল করে। তবে বেশিরভাগগুলি ট্র্যাকব্যাক এবং ফিড পৃষ্ঠাগুলি নিষিদ্ধ করার মধ্যে সীমাবদ্ধ, যা নিবন্ধের সামগ্রীটিকে সম্পূর্ণ নকল করে এবং অনুসন্ধান ইঞ্জিনগুলির জন্য মোটেই উদ্দেশ্য নয়। এই ধরনের সতর্কতা কেবল সাইটের ফলাফলগুলিকে "ক্লিনার" করে তুলবে না, বিশেষত নতুন গুগল পান্ডার অ্যালগরিদম প্রবর্তনের পরে আপনাকে সম্ভাব্য অনুসন্ধান ফিল্টারগুলি থেকেও বাঁচাবে।
এখানে একটি রোবটস টেক্সট ফাইলের জন্য প্রস্তাবিত নির্দেশনা রয়েছে (এটি প্রায় কোনও ওয়ার্ডপ্রেস ব্লগের জন্য কাজ করবে):
ব্যবহারকারী-এজেন্ট: * বাতিল করুন: / wp-login.php মঞ্জুরি: / wp-register.php মঞ্জুরি: / xMLrpc.php মঞ্জুরি: / wp- অ্যাডমিন বাতিল: / ডাব্লুপি-অন্তর্ভুক্ত বাতিল: / wp- সামগ্রী / প্লাগইনগুলি বাতিল: / ডাব্লুপি-সামগ্রী / ক্যাশে বাতিল করুন: / ডাব্লুপি-সামগ্রী / থিমগুলি অস্বীকার করুন: / ট্র্যাকব্যাক / বাতিল / ফিড / বাতিল: * / ট্র্যাকব্যাক / বাতিল: * / ফিড /
অনুগ্রহ করে নোট করুন যে রোবটস.টি.এস.টিতে প্রশাসনিক ফোল্ডারগুলি ডব্লিউপি-অ্যাডমিন এবং ডাব্লুপি-অন্তর্ভুক্তগুলি ইনডেক্সের জন্য সম্পূর্ণ বন্ধ রয়েছে। ডাব্লুপি-কন্টেন্ট ফোল্ডারটি কেবল আংশিকভাবে বন্ধ রয়েছে, কারণ এটিতে আপলোড ডিরেক্টরি রয়েছে, এতে আপনার ব্লগের সমস্ত চিত্র রয়েছে যা সূচিযুক্ত হওয়া উচিত।
আপনাকে যা করতে হবে তা হ'ল উপরের কোড থেকে নির্দেশাবলী অনুলিপি করুন (নোট করুন যে প্রতিটি নির্দেশিকা অবশ্যই একটি নতুন লাইনে লেখা উচিত), সেগুলি রোবটস.টিএসটিএস্ট নামে একটি পাঠ্য ফাইলে সংরক্ষণ করুন এবং সেগুলি আপনার সাইটের মূল ডিরেক্টরিতে আপলোড করুন।
গুগল ওয়েবমাস্টার সরঞ্জাম এবং ইয়ানডেক্স ওয়েবমাস্টার ইন্টারফেসের মাধ্যমে robots.txt সঠিকভাবে কাজ করছে কিনা তা আপনি সর্বদা পরীক্ষা করতে পারেন।
