robots.txt की 7 ग़लतियाँ जो चुपचाप Google को ब्लॉक करती हैं

robots.txt फ़ाइल आम तौर पर कुछ लाइनों की होती है, अक्सर भुला दी जाती है, और लगभग रातों-रात किसी वेबसाइट को Google से मिटा सकती है। ऐसा आपकी सोच से ज़्यादा होता है: नई साइट लॉन्च होती है, ट्रैफ़िक कभी नहीं आता, और हफ़्तों बाद किसी को पता चलता है कि स्टेजिंग सर्वर से बची एक लाइन हर सर्च इंजन को दूर रहने को कह रही है।

झुँझलाने वाली बात यह है कि कुछ भी टूटा हुआ नहीं दिखता। साइट लोड होती है, पेज ठीक दिखते हैं, और कोई एरर मैसेज नहीं होता। यह गाइड बताती है कि क्रॉलर असल में robots.txt कैसे पढ़ते हैं, सबसे ज़्यादा नुक़सान करने वाली सात ग़लतियाँ कौन-सी हैं, और बदलाव लाइव होने से पहले उन्हें सुरक्षित तरीक़े से कैसे जाँचें।

robots.txt क्या करता है, और क्या नहीं

robots.txt आपकी साइट के रूट पर रखी एक सादी टेक्स्ट फ़ाइल है, जैसे https://www.example.com/robots.txt। यह Googlebot और Bingbot जैसे नियम मानने वाले क्रॉलर को बताती है कि वे साइट के किन हिस्सों को रिक्वेस्ट कर सकते हैं।

दो चीज़ें जो यह नहीं करती:

• यह पेज नहीं छिपाती। ब्लॉक किया गया URL फिर भी सर्च नतीजों में दिख सकता है अगर दूसरी साइटें उससे लिंक करती हैं, बस बिना विवरण के।
• यह कुछ भी सुरक्षित नहीं करती। फ़ाइल सार्वजनिक है, और बुरे बॉट इसे अनदेखा करते हैं। निजी हिस्सों को robots.txt नहीं, पासवर्ड चाहिए।

क्रॉलर नियम कैसे पढ़ते हैं

मिलान का तर्क समझने से ज़्यादातर ग़लतियाँ रुक जाती हैं। robots.txt फ़ाइल ग्रुप से बनी होती है, हर ग्रुप एक या ज़्यादा User-agent लाइनों से शुरू होता है, जिनके बाद Allow और Disallow नियम होते हैं।

User-agent: *
Disallow: /admin/
Allow: /admin/help/

User-agent: Googlebot
Disallow: /drafts/

Sitemap: https://www.example.com/sitemap.xml

Google ये क़दम अपनाता है, जैसा robots.txt स्टैंडर्ड (RFC 9309) में दर्ज है:

1. एक ग्रुप चुनें। क्रॉलर वह सबसे ख़ास ग्रुप इस्तेमाल करता है जिसमें उसका नाम हो। Googlebot ऊपर का Googlebot ग्रुप इस्तेमाल करता है और * ग्रुप को पूरी तरह अनदेखा करता है।
2. मिलते नियम ढूँढें। उस ग्रुप में हर वह Allow और Disallow नियम देखा जाता है जिसका path URL की शुरुआत से मेल खाता है।
3. सबसे लंबा मिलान जीतता है। सबसे ख़ास (सबसे लंबा) मिलने वाला नियम फ़ैसला करता है। अगर एक Allow और एक Disallow बराबर लंबे हैं, तो Allow जीतता है।
4. वाइल्डकार्ड। * किसी भी कैरेक्टर से मेल खाता है, और $ URL का अंत चिह्नित करता है।

ग़लती 1: स्टेजिंग से बचा "सब कुछ Disallow"

User-agent: *
Disallow: /

यह पूरी साइट ब्लॉक कर देता है। स्टेजिंग सर्वर पर यह सही है और लाइव सर्वर पर तबाही। यह अक्सर लॉन्च के बाद भी बचा रहता है क्योंकि फ़ाइल बाक़ी सब कुछ के साथ कॉपी हो जाती है।

जाँच: हर लॉन्च या माइग्रेशन के तुरंत बाद Googlebot के लिए होमपेज path / जाँचें।

ग़लती 2: एक ख़ास ग्रुप जो चुपचाप आम नियमों की जगह ले लेता है

आप * ग्रुप में ध्यान से /checkout/ और /account/ ब्लॉक करते हैं, फिर एक अतिरिक्त फ़ोल्डर ब्लॉक करने के लिए Googlebot का ग्रुप जोड़ते हैं। चूँकि अब Googlebot का अपना ग्रुप है, इसलिए वह * के हर नियम को अनदेखा करता है, उन नियमों समेत जिनकी आपको परवाह थी।

समाधान: साझा नियम हर नाम वाले ग्रुप में कॉपी करें, या जब तक सच में ज़रूरत न हो, नाम वाले ग्रुप से बचें।

ग़लती 3: CSS और JavaScript ब्लॉक करना

Disallow: /wp-includes/ या Disallow: /assets/ जैसे नियम सालों पहले आम सलाह थे। आज Google पेजों को ब्राउज़र की तरह रेंडर करता है। अगर वह आपकी स्टाइलशीट और स्क्रिप्ट लोड नहीं कर पाता, तो उसे टूटा लेआउट दिख सकता है और वह पेज को ग़लत आँक सकता है, ख़ासकर मोबाइल पर।

समाधान: अपने पेज रेंडर करने के लिए ज़रूरी फ़ाइलों की अनुमति दें।

ग़लती 4: वाइल्डकार्ड जो इरादे से कहीं ज़्यादा पकड़ लेते हैं

Disallow: /*? क्वेरी स्ट्रिंग वाला हर URL ब्लॉक करता है, जिसमें पेजिनेशन, ऐसे सर्च नतीजे जिन्हें आप इंडेक्स कराना चाहते हैं, या ज़रूरी लैंडिंग पेज के ट्रैकिंग पैरामीटर शामिल हो सकते हैं। Disallow: /*.pdf PDF ब्लॉक करता है, पर हर वह path भी जिसमें कहीं .pdf भर आता हो।

समाधान: सटीक रहें। फ़ाइल टाइप को बाँधने के लिए $ इस्तेमाल करें, जैसे Disallow: /*.pdf$, और पब्लिश करने से पहले असली URL जाँचें।

ग़लती 5: बड़े-छोटे अक्षर और आख़िरी स्लैश

Path केस-सेंसिटिव होते हैं। Disallow: /Admin/ से /admin/ ब्लॉक नहीं होता। और Disallow: /blog से /blog, /blog/, /blog-news और /blogroll ब्लॉक होते हैं, क्योंकि यह उन कैरेक्टर से शुरू होने वाली हर चीज़ से मेल खाता है।

समाधान: अपने URL के बड़े-छोटे अक्षर ठीक वैसे ही रखें, और जब सिर्फ़ फ़ोल्डर का मतलब हो तो आख़िर में स्लैश जोड़ें।

ग़लती 6: Google से पेज हटाने के लिए robots.txt इस्तेमाल करना

पेज ब्लॉक करने से वह इंडेक्स से नहीं हटता। इससे भी बुरा, अगर पेज ब्लॉक है, तो Google उस पर noindex टैग नहीं देख सकता, इसलिए पेज लिस्टेड रह सकता है।

समाधान: पेज हटाने के लिए क्रॉलिंग की अनुमति दें और noindex robots मेटा टैग जोड़ें, या उसे पासवर्ड से सुरक्षित करें। सर्च से हट जाने के बाद चाहें तो उसे ब्लॉक कर सकते हैं।

ग़लती 7: फ़ाइल ग़लत जगह पर है

robots.txt सिर्फ़ होस्ट के रूट पर काम करती है। /blog/robots.txt पर रखी फ़ाइल अनदेखी होती है। हर सबडोमेन, जैसे shop.example.com, को अपनी फ़ाइल चाहिए। और अगर आपकी साइट वर्ज़न के बीच रीडायरेक्ट करती है (HTTP से HTTPS, non-www से www), तो पक्का करें कि आख़िरी वर्ज़न फ़ाइल देता है; Redirect Checker ठीक दिखाता है कि /robots.txt कहाँ पहुँचती है।

बदलाव लाइव होने से पहले जाँचना

चूँकि एक कैरेक्टर भी बदल सकता है कि क्या ब्लॉक है, इसलिए लाइव साइट पर robots.txt कभी बिना जाँचे सीधे एडिट न करें। Robots.txt Tester में आप अपनी फ़ाइल पेस्ट कर सकते हैं, Googlebot या * जैसा क्रॉलर चुन सकते हैं, और कोई भी path या पूरा URL जाँच सकते हैं। यह ऊपर बताए वही ग्रुप चुनने और सबसे लंबे मिलान के नियम लागू करता है, * और $ वाइल्डकार्ड सपोर्ट करता है, और वह सटीक नियम दिखाता है जिसने नतीजा तय किया। चूँकि यह आपका पेस्ट किया टेक्स्ट इस्तेमाल करता है, इसलिए आप अपलोड करने से पहले ड्राफ़्ट आज़मा सकते हैं।

जाँचने का अच्छा तरीक़ा:

1. अपना होमपेज जाँचें।
2. हर ज़रूरी टेम्पलेट का एक पेज जाँचें: प्रोडक्ट, कैटेगरी, आर्टिकल, संपर्क।
3. जिन URL को ब्लॉक करना चाहते हैं उन्हें जाँचें, ताकि पक्का हो कि वे सच में ब्लॉक हैं।
4. अपनी थीम की एक CSS और एक JavaScript फ़ाइल जाँचें।

शुरुआत के लिए एक समझदारी भरी फ़ाइल

कई छोटी साइटों के लिए बस इतना चाहिए:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://www.example.com/sitemap.xml

सिर्फ़ उन हिस्सों को ब्लॉक करें जिनकी सर्च में कोई क़ीमत नहीं, जैसे एडमिन स्क्रीन, कार्ट और अंदरूनी सर्च नतीजे, और अपना sitemap लिस्ट करें ताकि क्रॉलर हर वह पेज ढूँढ सकें जिसे आप इंडेक्स कराना चाहते हैं। अगर आप शुरुआत से बना रहे हैं, तो Robots.txt Generator कुछ विकल्पों से एक साफ़ फ़ाइल बनाता है।

AI क्रॉलर का क्या?

कई साइट मालिक अब तय करना चाहते हैं कि AI कंपनियाँ उनका कंटेंट इस्तेमाल कर सकती हैं या नहीं। कई AI क्रॉलर अपने अलग user-agent नाम से पहचान बताते हैं और कहते हैं कि वे robots.txt मानते हैं, जैसे GPTBot (OpenAI), ClaudeBot (Anthropic) और CCBot (Common Crawl)। Google एक अलग टोकन, Google-Extended, इस्तेमाल करता है जिससे तय होता है कि कंटेंट उसके AI मॉडल में इस्तेमाल हो या नहीं, सामान्य सर्च क्रॉलिंग पर असर डाले बिना।

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

दो सावधानियाँ। Google-Extended ब्लॉक करने से आप Google Search से नहीं हटते, पर Googlebot ब्लॉक करने से हट जाएँगे, इसलिए नाम दोबारा जाँचें। और ग़लती 2 याद रखें: ये ग्रुप जोड़ने से दूसरे क्रॉलर के नियम नहीं बदलते, फिर भी बाद में Googlebot के लिए अपने मुख्य पेज जाँच लेना ठीक है।

robots.txt से आगे

एक सही robots.txt टेक्निकल SEO का एक हिस्सा है। अगर आपके पेज क्रॉल हो रहे हैं पर फिर भी रिच रिज़ल्ट नहीं दिख रहे, तो शुरुआती लोगों के लिए स्ट्रक्चर्ड डेटा पर हमारी गाइड अगला स्वाभाविक क़दम है, और अगर आपने हाल में URL बदले हैं, तो 301 vs 302 रीडायरेक्ट पर हमारी गाइड यह पक्का करने में मदद करती है कि क्रॉलर सही पेजों तक पहुँचें।

फिर भी सबसे ज़रूरी आदत आसान है: हर लॉन्च, माइग्रेशन या थीम बदलाव के बाद अपनी robots.txt खोलें और होमपेज जाँचें। इसमें एक मिनट लगता है, और यह सबसे महँगी ग़लती पकड़ लेता है।