मुख्य सामग्री पर जाएँ
robots.txt + URL → Allowed / Blocked

Robots.txt Tester – जाँचें कि URL क्रॉलर के लिए खुला है या ब्लॉक

Google के robots.txt मिलान नियमों से, * और $ समेत, जाँचें कि कोई URL Googlebot, Bingbot या किसी भी क्रॉलर के लिए अनुमत है या ब्लॉक।

टूल के बटन और संदेश अभी अंग्रेज़ी में हैं। टूल का काम करने का तरीका अंग्रेज़ी पेज जैसा ही है।

इस टूल के बारे में

Robots.txt टेस्टर और वैलिडेटर के बारे में

Robots.txt टेस्टर जाँचता है कि कोई ख़ास URL पाथ किसी क्रॉलर के लिए अनुमत है या ब्लॉक, उन्हीं नियमों से जो Google ने बताए हैं (RFC 9309)। अपनी robots.txt पेस्ट करें, Googlebot, Bingbot या * जैसा यूज़र-एजेंट डालें, और कोई पाथ या पूरा URL डालें। टूल पहले नियमों का वह समूह चुनता है जो उस क्रॉलर पर लागू होता है: सबसे ख़ास मेल खाने वाली User-agent लाइन जीतती है, और कोई मेल न खाए तभी * वाला समूह लागू होता है। उस समूह के अंदर सबसे लंबा मेल खाने वाला Allow या Disallow नियम नतीजा तय करता है, और जब Allow और Disallow नियम बराबर लंबाई के हों, तो Allow जीतता है। वाइल्डकार्ड सपोर्ट है: * किसी भी अक्षरों से मेल खाता है और $ URL का अंत बताता है, इसलिए Disallow: /*.pdf$ हर PDF को ब्लॉक करता है। नतीजे में वह सटीक नियम दिखता है जो मेल खाया, और वह किस समूह से आया। टेस्ट आपके पेस्ट किए टेक्स्ट से होता है, इसलिए बदलाव प्रकाशित करने से पहले आज़माए जा सकते हैं। # के बाद की टिप्पणियाँ अनदेखी की जाती हैं, ठीक वैसे ही जैसे क्रॉलर करते हैं, और Sitemap लाइनें फ़ाइल में रह सकती हैं, नतीजे पर असर डाले बिना। क्योंकि कुछ भी फ़ेच नहीं किया जाता, यह टूल उन साइटों के लिए भी काम करता है जो अभी लाइव नहीं हैं, स्टेजिंग कॉपी के लिए, और नए नियमों के उन ड्राफ़्ट के लिए जिन्हें अपलोड करने से पहले जाँचना है।

robots.txt नियमों से URL की जाँच करने वाले टूल का चित्र

robots.txt कब टेस्ट करें

एक ग़लत लाइन पूरी साइट को Google से छिपा सकती है

Google से गायब पेज

जाँचें कि जिस पेज को इंडेक्स करवाना है, कहीं robots.txt उसे ब्लॉक तो नहीं कर रही।

उदाहरणGooglebot के लिए /blog/my-post टेस्ट करें और डेवलपमेंट के समय से बचा Disallow: /blog नियम पकड़ें।

कुछ हिस्सों को क्रॉल से बाहर रखना

पुष्टि करें कि एडमिन, कार्ट या सर्च नतीजों वाले पेज ब्लॉक हैं।

उदाहरणपक्का करें कि /cart/ और /search? ब्लॉक हैं जबकि प्रोडक्ट पेज अनुमत रहें।

क्रॉलर-विशेष नियम

जाँचें कि किसी एक बॉट के लिए बना नियम दूसरों पर असर न डाले।

उदाहरणGooglebot का समूह * समूह को पूरी तरह बदल देता है, इसलिए * के नियम अब Googlebot पर लागू नहीं होते।

स्टेजिंग साइट लाइव होने के बाद

स्टेजिंग साइटें अक्सर Disallow: / के साथ आती हैं, जो प्रोडक्शन में कॉपी होते ही सब कुछ ब्लॉक कर देता है।

उदाहरणGooglebot के लिए / टेस्ट करने पर “Blocked by Disallow: /” दिखता है, यही वजह है कि नई साइट Google से ग़ायब हो गई।

फ़िल्टर वाले ऑनलाइन स्टोर

क्रॉलर को अनगिनत फ़िल्टर और सॉर्ट URL से दूर रखें, जबकि प्रोडक्ट पेज क्रॉल होते रहें।

उदाहरणDisallow: /*?sort= सॉर्ट की गई लिस्टिंग ब्लॉक करता है, और /shoes/red-trainers टेस्ट करने से पुष्टि होती है कि प्रोडक्ट अब भी अनुमत हैं।

PDF या फ़ाइल टाइप ब्लॉक करना

फ़ाइल के अंत का सटीक मिलान करने के लिए $ इस्तेमाल करें।

उदाहरणDisallow: /*.pdf$ /guides/manual.pdf को ब्लॉक करता है, लेकिन /guides/manual.pdf-viewer को अब भी अनुमति देता है।

robots.txt की आम ग़लतियाँ

ग़लतियाँ जो अक्सर समस्या पैदा करती हैं

ख़ास समूह * की जगह ले लेते हैं

अगर आप User-agent: Googlebot समूह जोड़ते हैं, तो Googlebot * समूह को पूरी तरह अनदेखा करता है। जिन नियमों का उसे अब भी पालन करना चाहिए, उन्हें दोहराएँ।

ब्लॉक करना छिपाना नहीं है

ब्लॉक किया गया URL तब भी नतीजों में दिख सकता है अगर दूसरी साइटें उससे लिंक करती हैं। पेज को Google से बाहर रखने के लिए noindex टैग इस्तेमाल करें, और उसे robots.txt में ब्लॉक न करें।

पाथ केस-सेंसिटिव होते हैं

Disallow: /Private/ से /private/ ब्लॉक नहीं होता।

नई फ़ाइल बनाएँ

जनरेटर से शुरू से सही robots.txt बनाएँ।

Robots.txt Generator खोलें

CSS और JavaScript ब्लॉक न करें

Google पेज को ब्राउज़र की तरह रेंडर करता है। लेआउट बनाने वाली फ़ाइलें ब्लॉक करने से पेज Google को टूटे हुए दिख सकते हैं।

अपना साइटमैप जोड़ें

अपने XML साइटमैप के पूरे URL के साथ Sitemap: लाइन जोड़ें, ताकि क्रॉलर हर वह पेज ढूँढ सकें जिसे आप इंडेक्स करवाना चाहते हैं।