সার্চ ইঞ্জিন দ্বারা সাইটগুলি সূচীকরণ পরিচালনার অন্যতম সরঞ্জাম হ'ল রোবটস.টিএসটিএক্স ফাইল। এটি সাধারণত বা কেবলমাত্র নির্দিষ্ট কিছু রোবটকে নির্দিষ্ট পৃষ্ঠাগুলির সামগ্রী ডাউনলোড করতে বাধা দেওয়ার জন্য ব্যবহৃত হয়। এটি আপনাকে অনুসন্ধানের ইঞ্জিনের ফলাফলগুলিতে "আবর্জনা" থেকে মুক্তি দিতে এবং কিছু ক্ষেত্রে, সংস্থানটির উল্লেখযোগ্যভাবে উন্নতি করতে সহায়তা করে। সফল অ্যাপ্লিকেশনটির জন্য সঠিক রোবটস.টি.এস.টি. ফাইল থাকা জরুরি।
প্রয়োজনীয়
টেক্সট সম্পাদক
নির্দেশনা
ধাপ 1
রোবটগুলির একটি তালিকা তৈরি করুন যার জন্য বিশেষ বর্জনীয় বিধিগুলি সেট করা হবে বা বর্ধিত রোবট.টেক্সট স্ট্যান্ডার্ডের নির্দেশাবলীর পাশাপাশি অ-মানক এবং নির্দিষ্ট নির্দেশাবলীর (একটি নির্দিষ্ট অনুসন্ধান ইঞ্জিনের এক্সটেনশন) ব্যবহৃত হবে। এই তালিকাতে HTTP র অনুরোধ শিরোনামের ব্যবহারকারী-এজেন্ট ক্ষেত্রগুলির মানগুলি সার্ভারে নির্বাচিত রোবট দ্বারা প্রেরণ করা প্রবেশ করান। অনুসন্ধান ইঞ্জিন সাইটের রেফারেন্স বিভাগগুলিতেও রোবটের নামগুলি পাওয়া যাবে।
ধাপ ২
সাইট সংস্থার URL গুলির গোষ্ঠীগুলি নির্বাচন করুন যেখানে প্রথম ধাপে সংকলিত তালিকার প্রতিটি রোবোটের অ্যাক্সেসকে অস্বীকার করা উচিত। অন্যান্য সমস্ত রোবটগুলির জন্য একই ক্রিয়াকলাপটি সম্পাদন করুন (সূচীকরণ বোটগুলির একটি অনির্দিষ্ট সেট)। অন্য কথায়, ফলাফলটি সাইটের কয়েকটি বিভাগ, পৃষ্ঠাগুলির গোষ্ঠী বা মিডিয়া সামগ্রীর উত্সগুলিকে লিঙ্কযুক্ত একাধিক তালিকাগুলি হতে হবে যা সূচি নিষিদ্ধ ited প্রতিটি তালিকা অবশ্যই একটি পৃথক রোবটের সাথে মিলিত হবে। অন্যান্য সমস্ত বটের জন্য নিষিদ্ধ ইউআরএলগুলির একটি তালিকাও থাকতে হবে the সার্ভারে ডেটার শারীরিক অবস্থানের সাথে সাইটের লজিকাল কাঠামোর তুলনা এবং সেইসাথে পৃষ্ঠাগুলির ইউআরএলগুলিকে গ্রুপিং করে তালিকাগুলি তৈরি করুন তাদের কার্যকরী বৈশিষ্ট্য। উদাহরণস্বরূপ, আপনি অস্বীকৃত তালিকাতে কোনও পরিষেবা ক্যাটালগের (অবস্থান অনুসারে গ্রুপযুক্ত) বা সমস্ত ব্যবহারকারীর প্রোফাইল পৃষ্ঠাগুলির (উদ্দেশ্য অনুসারে গোষ্ঠীভুক্ত) তালিকা অন্তর্ভুক্ত করতে পারেন।
ধাপ 3
দ্বিতীয় ধাপে সংকলিত তালিকায় থাকা প্রতিটি সংস্থার জন্য URL চিহ্নগুলি নির্বাচন করুন। কেবলমাত্র মানক রোবটস.টেক্সট নির্দেশিকা এবং অপরিজ্ঞাত রোবট ব্যবহার করে রোবটগুলির জন্য বর্ধনের তালিকা প্রক্রিয়াকরণ করার সময়, সর্বোচ্চ দৈর্ঘ্যের অনন্য ইউআরএল অংশ হাইলাইট করুন। ঠিকানার বাকি সেটগুলির জন্য, আপনি নির্দিষ্ট অনুসন্ধান ইঞ্জিনগুলির বিশদ অনুসারে টেমপ্লেট তৈরি করতে পারেন।
পদক্ষেপ 4
একটি robots.txt ফাইল তৈরি করুন। এতে নির্দেশের গোষ্ঠী যুক্ত করুন, যার প্রত্যেকটি নির্দিষ্ট রোবোটের জন্য নিষিদ্ধ বিধিগুলির একটি সেটের সাথে মিলে যায়, যার তালিকা প্রথম ধাপে সংকলিত হয়েছিল। পরবর্তী সমস্ত অন্যান্য রোবটের জন্য একদল নির্দেশ অনুসরণ করা উচিত। একক ফাঁকা রেখার সাথে নিয়ম গোষ্ঠীগুলি পৃথক করুন প্রতিটি রোলসেটটি অবশ্যই ইউজার-এজেন্টের নির্দেশিকাটির মাধ্যমে রোবট শনাক্তকরণের সাথে শুরু করতে হবে, তার পরে একটি অস্বীকার নির্দেশিকা অনুসরণ করবে, যা ইউআরএল গ্রুপগুলি সূচীকরণ নিষিদ্ধ করে। অনুমতি ত্যাগ নির্দেশের মানগুলির সাহায্যে তৃতীয় ধাপে প্রাপ্ত লাইনগুলি তৈরি করুন। একটি কোলনের সাথে নির্দেশাবলী এবং তাদের অর্থ পৃথক করুন নিম্নলিখিত উদাহরণটি বিবেচনা করুন: ব্যবহারকারী-এজেন্ট: ইয়ানডেক্সডিসালো: / অস্থায়ী / ডেটা / চিত্র / ব্যবহারকারী-এজেন্ট: * অস্বীকার করুন: / অস্থায়ী / ডেটা / নির্দেশের এই সেটটি নির্দেশ দেয় প্রধান রোবটকে ইয়ানডেক্স অনুসন্ধান ইঞ্জিনটি ইউআরএলকে সূচক না করে which যাতে স্ট্রিং / টেম্প / ডেটা / চিত্র / রয়েছে। এটি অন্য সমস্ত রোবটগুলিকে / টেম্প / ডেটা / থাকা ইউআরএলগুলি সূচীকরণ থেকে বাধা দেয়।
পদক্ষেপ 5
বর্ধিত মান নির্দেশাবলী বা নির্দিষ্ট অনুসন্ধান ইঞ্জিনের নির্দেশাবলী সহ রোবটস.টি.এস.টি পরিপূরক করুন। এই জাতীয় নির্দেশের উদাহরণগুলি: হোস্ট, সাইটম্যাপ, অনুরোধের হার, ভিজিট-টাইম, ক্রল-বিলম্ব।
