robots.txt फ़ाइल क्या है और इसका उपयोग कैसे करें?
रोबॉट्स डॉट टेक्स्ट (robots.txt) एक टेक्स्ट फ़ाइल है जो वेबसाइट पर मौजूद वेब क्रॉलर्स या वेब बॉट्स को यह बताने के लिए डिज़ाइन की गई है कि कैसे और कितने भाग में उन्हें वेबसाइट को क्रॉल करने की अनुमति दी जाएगी। यह एक स्टैंडर्ड प्रोटोकॉल है जो वेबमास्टर्स और साइट ओनर्स द्वारा वेबसाइट की अनुभूति को नियंत्रित करने के लिए उपयोग किया जाता है।
robots.txt फ़ाइल का उपयोग निम्नलिखित तरीकों से किया जा सकता है:
- क्रॉल नियंत्रण: robots.txt फ़ाइल वेबसाइट के विशिष्ट भागों को क्रॉल करने की अनुमति देता है और किसे क्रॉल नहीं करने देता है। यदि कोई वेब क्रॉलर इस फ़ाइल को पढ़ता है, तो वह उसके अनुसार क्रॉल करता है।
- गूगल और अन्य सर्च इंजन्स के लिए दिशा सूची: robots.txt वेबमास्टर्स को वेबसाइट के पृष्ठों की सूची बनाने में मदद करता है, जिससे गूगल और अन्य सर्च इंजन्स को यह बताया जा सकता है कि कौनसे पृष्ठ इंडेक्स किए जाएं और कौनसे नहीं।
- गोपनीयता की सुरक्षा: robots.txt वेबमास्टर्स को गोपनीयता संरक्षण के लिए उपयोग करने में मदद कर सकता है, क्योंकि यह निश्चित संदेश जो नहीं क्रॉल किए जा सकते हैं को बता सकता है।
यह ध्यान देने वाली बात है कि robots.txt फ़ाइल केवल वेब क्रॉलर्स के लिए होती है और यह वेबसाइट की सुरक्षा उपायों का हिस्सा नहीं है। एक क्रिएटिव वेब डेवलपर को इसका ठीक से उपयोग करने की आवश्यकता होती है ताकि वेबसाइट का सही रूप से क्रॉल हो सके और यह सर्च इंजन में सही तरीके से प्रदर्शित हो सके।
“robots.txt” एक प्रकार की टेक्निकल फ़ाइल है जो वेबसाइट व्यवस्थापक द्वारा उपयोग की जाती है ताकि वेब क्रॉलर और बॉट्स को वेबसाइट की कैसे खोजना चाहिए, और कौनसे भागों को छोड़ देना चाहिए, यह नियंत्रित कर सके। यह इंटरनेट पर कई वेबसाइटों द्वारा उपयोग किया जाता है ताकि वे निश्चित वेब क्रॉलर और बॉट्स को अपने साइट की संपत्ति को न छूने दें या ज्यादा जानकारी को सीमित कर सकें।
robots.txt फ़ाइल की मुख्य उपयोगिता विशेष वेब क्रॉलरों को वेबसाइट के साथ विशेष दिशा में जाने देने का है, जैसे कि विशिष्ट खोज इंजन्स या वेबसाइट स्पाइडर्स।
यहाँ कुछ मुख्य प्रकार के डायरेक्टिव्स होते हैं जो robots.txt फ़ाइल में जाते हैं:
- User-agent: – इस डायरेक्टिव के बाद, आप वेब क्रॉलर के नाम या आईडी देते हैं, जिनके लिए आप निर्दिष्ट नियम बना रहे हैं। यदि आप एक साधारण वेब क्रॉलर के लिए नियम बना रहे हैं, तो आप “*” का उपयोग कर सकते हैं।
- Disallow: – इस डायरेक्टिव के बाद, आप वेब क्रॉलर से कौनसे पृष्ठों और सीमाओं को छोड़ने के लिए निष्क्रिय करना चाहते हैं, उनका सूचना देते हैं।
- Allow: – यदि आप किसी विशेष पृष्ठ को निष्क्रिय नहीं करना चाहते हैं, तो आप इस डायरेक्टिव का उपयोग करके बता सकते हैं कि कौनसे पृष्ठ को अनुमति दी जानी चाहिए।
एक robots.txt फ़ाइल का उदाहरण:
User-agent: *
Disallow: /private/
Disallow: /restricted/
Allow: /public/
इस उदाहरण में, सभी वेब क्रॉलर को “/private/” और “/restricted/” डायरेक्ट्री को छोड़ देने की अनुमति नहीं है, लेकिन “/public/” डायरेक्ट्री को छोड़ने की अनुमति है।
robots.txt फ़ाइल को वेबसाइट की रूचि के आधार पर तैयार किया जाता है ताकि वेब क्रॉलर वेबसाइट को सही तरीके से स्कैन कर सकें और गैर-जरूरी पृष्ठों को अनदेखा कर सकें। robots.txt फ़ाइल को वेबसाइट की रूचि के हिसाब से निर्मित करना महत्वपूर्ण है ताकि आपकी वेबसाइट के सीओडी (Search Engine Optimization) पर कोई असर न पड़े और वेब क्रॉलर से निर्दिष्ट चीजों को छोड़ने में मदद मिले।
- Yoast SEO से अपनी वेबसाइट को कैसे रैंक करें?
- Category: टेक ज्ञान
- Google Play Store में किसी ऐप को कैसे Publish करें?
- Aartificial intelligence (Ai) से पैसे 💵 कैसे कमाए?
- यूट्यूब वीडियो (Youtube Video) कैसे बनाएं?
- वेबसाइट (Create a new website) कैसे बनाये?
- यूट्यूब चैनल (Youtube Channel) कैसे बनाएं?
- पैन कार्ड (Pan Card) को कैसे सुधारें और डाउनलोड करें?
- आधार कार्ड (Aadhar Card) कैसे सुधारें और डाउनलोड करें?
- गूगल माई बिजनेस (Google My Business) By Bihari Sir
- वर्डप्रेस (WordPress) क्या है?
- डोमेन, होस्टिंग और DNS सर्वर क्या है?
- वेबसाइट पर SEO को कैसे ऑप्टिमाइज़ करें?
- Google Site Kit WordPress plugin का उपयोग कैसे करें?
- चैट जीपीटी एआई टूल्स (ChatGPT Ai) से पैसे 💵 कैसे कमाएं?
- गूगल (Google) के बारे में पूरी जानकारी 2023
- वेबसाइट पर Yoast Seo कैसे सेट करें?
- सर्वश्रेष्ठ वर्डप्रेस थीम्स (Best WordPress Themes) 2023
- गूगल एड्स (Google Ads) क्या है?
- Google publisher Center क्या है?
- Google my business क्या है?
- गूगल टैग मैनेजर (Google tag manager) क्या है?
- गूगल एनालिटिक्स (Google Analytics) क्या है?
- गूगल सर्च कंसोल (Google Search Console) क्या है?
- गूगल ऐडसेंस (Google AdSense) क्या है ?