SEO

Question: ROBOTS.TXT FILE

Answer: The robots.txt protocol, also known as Robots Exclusion Protocol, is a file which informs the search engine not to crawl or index the file mentioned. This file is used to restrict the indexing of admin panel and other private information placed on the site. The robots.txt file can be written in any way according to the requirement:- 1) Here * specifies all the robots. The above syntax allows the bots to crawl all the files. User-agent: * Disallow: 2) This sitemap restricts all the robots from indexing the site. User-agent: * Disallow: / 3) The example below restricts the bots from indexing the three directories mentioned. User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/ 4) This example restricts the bots from only indexing only the directory mentioned. User-agent: * Disallow: /directory/file.html 5) We can also select the bot we do not to index our site. User-agent:BadBot #replace 'BadBot' with the actual user-agent of the bot Disallow: / 6) We can also restrict a specific bot from indexing specific files. User-agent:BadBot# replace 'BadBot' with the actual user-agent of the bot Disallow: /junk/ Name of some of the bots of Google are- googlebot ( all services), googlebot-news ( bot for news), baiduspider, bingbot, yandexbot, etc.

বাংলা অনবাদ ঃ

প্রশ্ন: রোবটস.টিএক্সটি ফাইল

উত্তর: রোবটস টেক্সট প্রোটোকল, যা রোবটস এক্সক্লুশন প্রোটোকল নামেও পরিচিত, একটি ফাইল যা অনুসন্ধান ইঞ্জিনকে উল্লিখিত ফাইলটি ক্রল বা সূচী না করাকে অবহিত করে।  এই ফাইলটি অ্যাডমিন প্যানেল এবং সাইটে থাকা অন্যান্য ব্যক্তিগত তথ্যের সূচকে সীমাবদ্ধ করতে ব্যবহৃত হয়।  প্রয়োজন অনুসারে রোবটসটিটিএসটি ফাইল কোনওভাবে লেখা যেতে পারে: - ১) এখানে * সমস্ত রোবট নির্দিষ্ট করে।  উপরের সিনট্যাক্সটি বটগুলিকে সমস্ত ফাইল ক্রল করার অনুমতি দেয়।  ব্যবহারকারী-এজেন্ট: * অস্বীকার করুন: 2) এই সাইটম্যাপটি সমস্ত রোবটগুলিকে সাইটের সূচিকরণ থেকে সীমাবদ্ধ করে।  ব্যবহারকারী-এজেন্ট: * অস্বীকার করুন: / 3) নীচের উদাহরণটি উল্লিখিত তিনটি ডিরেক্টরিকে সূচীকরণ থেকে বটগুলিকে সীমাবদ্ধ করে।  ব্যবহারকারী-এজেন্ট: * অনুমতি বাতিল / / সিজি-বিন / বাতিল / / টিএমপি / বাতিল: / জাঙ্ক / 4) এই উদাহরণটি কেবল উল্লিখিত ডিরেক্টরিটিকে কেবল সূচীকরণ থেকে বটকে সীমাবদ্ধ করে।  ব্যবহারকারী-এজেন্ট: * অনুমতি বাতিল / / ডিরেক্টরি / ফায়াল এইচটিএমএল 5) আমরা আমাদের বুকটিও আমাদের সাইটকে সূচি না করতে বেছে নিতে পারি।  ব্যবহারকারী-এজেন্ট: ব্যাডের প্রকৃত ব্যবহারকারী-এজেন্টের সাথে ব্যাডবট # রিপ্লেস 'ব্যাডবট' বাতিল করুন: /)) আমরা নির্দিষ্ট ফাইলগুলি সূচীকরণ থেকে একটি নির্দিষ্ট বটকেও সীমাবদ্ধ করতে পারি।  ব্যবহারকারী-এজেন্ট: ব্যাডবোট # বটটির প্রকৃত ব্যবহারকারী-এজেন্টের সাথে 'ব্যাডবট' প্রতিস্থাপন করুন বাতিল করুন: / জাঙ্ক / গুগলের কিছু বটের নাম হ'ল- গুগলবট (সমস্ত পরিষেবা), গুগলবট-নিউজ (সংবাদের জন্য বট), বৈদুস্পিকার  , বিংবোট, ইয়ানডেক্সবোট ইত্যাদি