Robots.txt File क्या हैं? SEO Friendly Robots.txt File कैसे बनाए?

जय श्री श्याम दोस्तो: क्या आपको मालूम हैं कि Robots.txt File क्या होती हैं? और Website के लिए इस File को कैसे बनाते हैं? और SEO के नजरिये से इस File की क्या Importance हैं।

अगर आप Blogging करते हैं तो इस important file के बारें में आपको जानकारी होना बहुत ही जरुरी हैं नहीं तो जाने-अनजाने में इसकी वजह से आपकी साईट को काफी नुकसान पहुँच सकता हैं। आपकी साईट का कौन सा URL Search Engine में index होगा या नहीं यह काफी हद तक Robots.txt file पर निर्भर करता हैं। 

अगर आप इस महत्वपूर्ण फाइल को बनाते समय या अपडेट करते समय कुछ गलती कर देते हैं तो आपकी पूरी साईट सर्च इंजन से Remove हो सकती हैं या जो कंटेंट आप सर्च इंजन को दिखाना नहीं चाहते हैं वो भी index हो सकता हैं।

इसलिए आज की इस पोस्ट में हम आपको इसी टॉपिक के बारें में जानकारी देने जा रहें हैं कि Blogging में Robots.txt file Kya Hoti Hai? और इसकी क्या importance हैं तथा एक Perfect Robots.txt file Create कैसे होती हैं? अगर आप इस Post को ध्यानपूर्वक पढ़ते हैं तो अंत तक आप Blogging की इस Term के बारें में अच्छे से समझ चुकें होंगे।

Robots.txt File Kya Hai in Hindi ?

What is Robots.txt File in Hindi? Robots.txt file आपकी साईट की Web Hosting के Root Folder में स्थित एक .txt file होती हैं जो Search Engine Bots को यह दिशा-निर्देश देने में Help करती हैं कि जब भी Bots मेरी Site पर आए तो उन्हें साईट के किस Url को Search Engine में दिखाने के लिए index करना हैं और किस Url को index नहीं करना हैं। किसी भी साईट की इस TXT File को आप https://example.com/robots.txt के माध्यम से Check कर सकते हैं।

Robots.txt File एक तरह से साईट के Indexing Rules Manage करती हैं जिसके अंदर अलग-अलग File Path के लिए अलग-अलग Rules बनाए जा सकते हैं। हर एक Rule Crawlers को किसी Special File Path को Crawl करने से रोकता हैं या अनुमति प्रदान करता हैं।

इस file को एकदम सही जगह पर रखना भी बहुत ही जरुरी हैं क्योंकी अगर आप इसे वेबसाइट की Root Directory से अलग रखते हैं तो शायद Search Engines Crawlers को इसे Find करने में मुश्किल हो सकती हैं जोकि बिल्कुल भी सही नहीं हैं।

जब भी किसी Search Engine के Crawlers आपकी वेबसाइट को Crawl करने के लिए आते हैं तो वे सबसे पहले Website की Root Directory में Robots.txt file को Target करते हैं कि इस साईट में वो कौन-कौन से Urls हैं जिन्हें index नहीं करना हैं और कौन से Urls indexing के लिए स्वतंत्र हैं? 

इसलिए हर वेबसाइट के अंदर इस important file का रहना बहुत ही जरुरी हो जाता हैं ताकि सभी Search Engines जैसे कि Google, Bing आदि को Crawling के लिए सही दिशा निर्देश मिल सकें और केवल वो Content ही Search Engine में Publicly Visible हो जिसे आपने अनुमति दी हैं।

Robots.txt File के क्या-क्या Advantages हैं?

• 1. Robots.txt file Search Engine Crawlers को instruct करती हैं कि साईट के किस पार्ट को Crawl करें और किसे नहीं?
• 2. इस file की Help से आप अपने ब्लॉग को Category के हिसाब से Search Engine में index और Noindex करा सकते हैं।
• 3. यह Search Engines को आपके ब्लॉग के indexing structure को जल्दी समझने में Help करता हैं।
• 4. इस file के द्वारा आप किसी भी पूरे Search Engine को ब्लॉग को इंडेक्स करने से रोक सके हो।
• 5. कई बार कुछ कंटेंट ऐसे होते हैं जिन्हें आप Search Engines को Visible नहीं कराना चाहते लेकिन अगर Robots.txt file नहीं हैं तो सब कुछ फटाफट index हो जाता हैं। ऐसे में अगर आप चाहें तो इस फाइल की हेल्प से ब्लॉग की indexing को Delay भी कर सकते हैं।
• 6. इस file में आप Sitemap का URL भी Add कर सकते हो जिसकी Help से ब्लॉग के indexable कंटेंट को fast index होने में help मिलती हैं क्योंकि Crawlers सबसे पहले Robots.txt file को ही Target करते हैं।

Robots.txt File SEO में क्यों महत्वपूर्ण हैं?

ऊपर दी गई जानकारी के अनुसार अब आप यह तो समझ ही गए होंगे कि Website में Robots.txt File Kya Hai in Hindi? और इसके क्या Advantage हैं? चलिए अब आपको बताते हैं कि इस प्रकार की txt फाइल Site के SEO के लिए क्यों जरुरी हैं? किसी भी साईट के लिए यह फाइल Technical SEO का एक बहुत ही महत्वपूर्ण part हैं इसलिए इसे SEO के Point of View से समझना बहुत ही जरुरी हैं। 

अगर आप अपनी साईट को Search Engine के हिसाब से SEO Friendly बनाना चाहते हैं तो इसके लिए एक Robots.txt file जरुर बनाए ताकि Crawlers को आपकी साईट के सही Content को Crawl करने के लिए उचित दिशा निर्देश मिल सके।

वैसे Manually देखा जाए तो Search Engine Crawlers किसी भी साईट के कंटेंट को क्रॉल करने में कुछ समय लेते हैं। लेकिन जब आप Google Search Console में Sitemap Submit करते हैं तो उस स्तिथि में काफी जल्दी Crawling होती हैं।

लेकिन अगर ऐसे में आपने Robots.txt File को अपनी साईट के लिए Configure नहीं किया हैं तो पूरा का पूरा Content ही Search Engine में index हो जाएगा जिसमे ऐसा कंटेंट भी होगा जिसे आप Search Results में Visible नहीं होने देना चाहते थे। जोकि Site SEO के लिए बिल्कुल भी सही नहीं रहता हैं इसलिए हर Website के लिए एक Robots.txt File को रखना बहुत ही महत्वपूर्ण हो जाता हैं।

Robots.txt File की Location कहाँ होनी चाहिए?

अगर आप एक WordPress Website User हैं तो Ideally Robots.txt File की जगह आपकी Site की Root Directory में होनी चाहिए ताकि जब भी Crawlers साईट पर आए तो वो इस फाइल को आसानी से Access कर सके और उसकी Guidelines के अनुसार कंटेंट को Crawl करें।

लेकिन अगर आप इस महत्वपूर्ण फाइल को साईट की Root Directory से कही अलग रखते हैं तो Crawlers उसे Access नहीं कर पाएंगे और आपकी पूरी की पूरी साईट एकदम से Search Engine में Index हो जाएगी। अगर किसी साईट की Robots.txt File बनी हैं तो आप उसे इस URL के माध्यम से Access कर सकते हैं: https://example.com/robots.txt 

अब आपके सामने एक Text File Open हो जाएगी जैसा कि आप नीचे image में देख सकते हैं। यह IndiGyan.com की Robots.txt File हैं। अगर इस URL को डालने के बाद 404 Error Display होता हैं तो इसका मतलब हैं आपकी साईट के अंदर कोई Robots.txt File उपलब्ध नहीं हैं।

और अगर नीचे दिए गए Code के जैसे कोई Code नजर आता हैं तो इसका मतलब हैं Website के लिए यह File बनी हुई हैं लेकिन उस Robots.txt File को SEO के हिसाब से Optimize नहीं किया गया हैं।

User-agent: * Crawl-Delay: 10

Robots.txt File से सम्बंधित Important दिशा निर्देश

1. User-agent

इस Command का उपयोग Search Engine Bots/Crawlers को Crawling के दिशा निर्देश देने के लिए किया जाता हैं जिसमे एक या उससे अधिक User-agents हो सकते हैं जैसे कि *, Googlebot, AdsBot-Google, Bingbot आदि। (यहाँ अगर आप * का इस्तेमाल करते हैं तो इसका मतलब हैं कि आप सभी Crawlers को अनुमति दे रहें हैं)। चलिए इसे एक उदहारण के द्वारा समझते हैं:

Example 1: Googlebot को Block करने के लिए।

User-agent: GooglebotDisallow: /

Example 2: Googlebot और Adsbot को Block करने के लिए।

User-agent: GooglebotUser-agent: AdsBot-GoogleDisallow: /

Example 3: सभी Search Crawlers को Crawling के लिए Allow करने के लिए।

User-agent: *Allow: /

2. Disallow

यह Command Search Engine Bots को Crawling की अनुमति न देने के लिए इस्तेमाल की जाती हैं। इस Command का Use भी आप ऊपर दिए गए उदहारणों में देख सकते हैं।

3. Allow

इस Command का इस्तेमाल Search Engine Bots को Crawling की अनुमति देने के लिए इस्तेमाल किया जाता हैं।

4. Sitemap

यहाँ पर आप अपनी साईट के Sitemap का URL Mention कर सकते हैं ताकि जो भी कंटेंट आप क्रॉल कराना चाहते हैं वो उस तक Crawlers Easily Find कर सके।

WordPress के लिए Robotos.txt File कैसे बनाए? 

(Manually Process)

How to Create Robots.txt File in Hindi? जैसा कि आप जान ही चुके होंगे कि Robots.txt एक simple Text file हैं। इसलिए अपनी साईट के लिए इस फाइल को Ready करना बहुत ही आसान हैं। इसके लिए आप कोई भी Text Editor का इस्तेमाल कर सकते हो जैसे कि Notepad, Notepad++ आदि।

किसी भी एक Text Editor को Open करें और इसके बाद robots.txt के नाम से एक Blank file Create कर ले।

अब अपने Favorite Ftp tool या फिर अपनी Web Hosting के cPanel के माध्यम से होस्टिंग के वेब सर्वर पर Sign-in करें।

Sign-in करने के बाद public_html Folder या जो भी आपकी साईट का Root Folder हो उसे Open करें और जो Text file अभी आपने बनाई थी इस folder में उसे Upload कर दीजिए।

वैसे अगर आप चाहें तो Robots.txt file को Direct अपने Ftp Server या cPanel (Root Folder) में भी Create कर सकते हैं जिसमे आपको किसी Text Editor को इस्तेमाल करने की भी जरुरत नहीं पड़ेगी।

इसके लिए अपनी साईट के Root Folder में जाने के बाद Top Left Corner में File पर Click कीजिए। अब जो भी Dialog Box Open होगा उसमे robots.txt टाइप कर Create New File पर Click करें।

OK पर Click करते ही आप देखेंगे कि robots.txt के नाम से एक Text file create हो जाती हैं।

आगे बढ़ने से पहले आप इस फाइल के लिए Right Permissions जरुर Set कर ले। जैसे कि Owner Permissions, Group Permissions और Public Permissions. इसके लिए आप इस file पर Right Click करने के बाद Change Permissions को चुनें और फिर आप नीचे दी गई image को फॉलो कर सकते हैं। (ध्यान से यह भी Check कर ले कि Numeric Value 644 होनी चाहिए)।

Robots.txt File को कैसे Use करें?

अब आपकी साइट के लिए एक Robots.txt file Create हो चुकी हैं लेकिन ये अभी Empty File हैं। आप इस फाइल के अंदर साईट के कंटेंट के लिए Crawlers को आप क्या-क्या दिशा निर्देश दे सकते हो इस बारे में आगे आप इस Post में जानेंगे।

जैसे कि अगर आप Search Engines की Crawling को अपनी साईट के लिए Block करना चाहते हैं तो बस Robots.txt के अंदर कुछ Permissions को Add कर दीजिए।

अगर आप अपनी साईट के किसी Special Page को Crawlers से Hide करना चाहते हैं तो वह भी आप आसानी से कर सकते हैं।

हालांकि Robots.txt खुद आपकी साईट के SEO को improve नहीं करता हैं लेकिन Search Engine Crawling के Behaviour को Control करने के लिए इस File का इस्तेमाल बहुत जरुरी हैं।

इस File को Modify करने या किसी भी तरह की Editing के लिए Simply अपने Ftp Editor या cPanel में जाने के बाद Open करें और यहाँ file के अंदर आप जो Changes करते हैं वो instantly आपकी Site के में Effective हो जाते है।

1. Site के लिए सभी Bots को Block करें।

अगर आप सभी Crawlers को Crawling के लिए Block करना चाहते हैं तो Robots.txt File के अंदर यह Code Add करें।

User-agent: *Disallow: /

यह Code आपकी Actual Robots.txt File के अंदर कुछ इस प्रकार दिखना चाहिए जैसा कि आप नीचे image में देख सकते हैं।

2. किसी विशेष फोल्डर के लिए Crawler की Crawling को Block करना।

अगर आप चाहते हैं कि आपकी साईट के किसी विशेष फोल्डर तक Crawlers न पहुँच पाए तो फाइल के अंदर निम्न Code Add कीजिए।

User-agent: *Disallow: /write_folder_name/

यदि आप चाहते हैं कि कोई भी Crawlers आपकी Site के images वाले Folder को Search Engine के लिए Crawl न कर पाए यह Code आपकी Actual File में कुछ इस प्रकार Add किया जाना चाहिए जैसा कि आप नीचे image में देख सकते हैं।

Note: यहाँ पर /images वाले Folder को केवल एक Example के तौर पर लिया हैं यह जरुरी नहीं हैं कि आपको भी अपना /images का Folder Search Engines Bots के लिए Block करना हैं यह आपके Case में अलग भी हो सकता हैं। आप जिस भी Folder के लिए यह कार्य करना चाहते हैं उसी फोल्डर का नाम इस Code के साथ Add करें।

3. किसी Specific Search Engine Bots को Block करना।

यदि आप अपनी साईट से किस Special Search Engine Bot जैसे कि Googlebot या Bingbot को Block करना चाहते हैं तो आपको इस Code का इस्तेमाल करना चाहिए:

User-agent: robot name Disallow: /

उदाहरण के लिए अगर आप Bingbot को Block करना चाहते हैं तो ऊपर दिए गए Code को आप Robots.txt File के अंदर कुछ इस प्रकार Add करें जैसा कि नीचे image में दिया गया हैं।

4. किसी भी Specific File को Crawling होने से रोकना।

Robots.txt file आपको किसी Specific Folder की File को Search Engine में Crawling होने से रोकने की भी अनुमति देती हैं। इसके लिए आपको नीचे दिया गया Code उस file में Add करना चाहिए।

User-agent: *Disallow: /folder_name/file_name.extension

आपकी Robots.txt file में यह Code कुछ इस प्रकार Add होना चाहिए जैसा कि आप नीचे image में देख सकते हैं।

5. पूरे फोल्डर को Block करना लेकिन किसी एक File को Allow करना।

कई बार ऐसी भी Condition भी आ सकती हैं कि आप किसी फोल्डर को Crawling नहीं होने देना चाहते लेकिन उसी फोल्डर के अंदर किसी एक File को Search Engine की Crawling के लिए Allow करना चाहते हैं तो यह भी आप Robots.txt File के माध्यम से आसानी से कर सकते हो। इसके लिए निम्न Code का इस्तेमाल कीजिए।

User-agent: *Disallow: /folder_name/Allow: /folder_name/file_name.extension

उदाहरण के लिए अगर आप आपकी साईट के “images” नाम के Folder को Block करना चाहते हैं लेकिन उस फोल्डर में मौजूद “img_0001.png” नाम की FIle का Access देना चाहते हैं तो आपकी Actual File के अंदर यह Code कुछ इस प्रकार दिखना चाहिए जैसा नीचे image में दिख रहा हैं।

RankMath SEO के द्वारा Robots.txt File Create कैसे करें?

RankMath SEO WordPress Plugin की Help से आप Robots.txt File को अपने WordPress Dashboard के Admin Area में ही बना सकते हो। यह इस फाइल को बनाने का सबसे Fast और Easy तरीका हैं।

Rank Math SEO के माध्यम से एक SEO Friendly Robots.txt Create करने के लिए सबसे पहले आपके WordPress के अंदर Rank Math Plugin installed होना चाहिए। इसके बाद Rank Math->General Settings->Edit robots.txt पर Click कीजिए। अब आपके सामने कुछ इस तरह का Interface आ जाता हैं जैसा कि आप नीचे image में देख सकते हो।

यहाँ नीचे मैंने जो Robots.txt File अपने लिए बनाई हैं उसकी Coding दी हुई हैं आप चाहें तो इसे Copy कर Rank Math में Past कर सकते हैं और अगर आप खुद अपने हिसाब से बनाना चाहते हैं तो वह टाइप कर नीचे Save Changes पर Click कीजिये।

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /comments/feed/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /feed/
Disallow: */feed/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php
Allow: /wp-includes/js/
Allow: /wp-includes/css/
Allow: /wp-content/cache/minify/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: Bingbot
Allow: /

Sitemap: https://example.com/sitemap.xml
sitemap: https:// example.com/post-sitemap.xml
sitemap: https:// example.com/page-sitemap.xml

Save Changes पर Click करते ही आपकी Site के लिए एक SEO Friendly Robots.txt File बन चुकी होगी। yoursitename.com/robots.txt की Help सेज एक बार उसे Check जरुर कर ले कि जो कुछ Coding आपने लिखी थी क्या वो Visible हो रही हैं या नहीं?

Conclusion (आज आपने क्या सीखा)?

इस महत्वपूर्ण Post में हमने आपको बताया कि Robots.txt File क्या होती हैं? आपको उसे अपनी साईट के लिए क्यों Use करना चाहिए? Website के लिए Robots.txt File कैसे बनाए? अगर आपने इस Post को ध्यानपूर्वक पढ़ा हैं तो आपको यह सब अच्छे से समझ में आ गया होगा।

• यह भी पढ़ें:
  • Web Hosting Renewal पर Money Saving कैसे करें?
  • 2022 Me Blogging Se Paise Kaise Kamaye? 10 बढियां तरीके
  • SEO Friendly Blog Post कैसे लिखें? 14 Ultimate Tips in Hindi?
  • Best SEO Tutorial in Hindi (Ultimate Beginners Guide 2023)
  • Rank Math SEO Review in Hindi: क्या यह Yoast SEO से बेहतर हैं?
  • New Blog Par Traffic Kaise Badhaye 10 Solid Tarike in Hindi
  • Successful Blogger Kaise Bane? 20+ Best Blogging Tips in Hindi

और अब आप भी अपनी Site के लिए एक Perfect Robots.txt File Create कर सकेंगे। अगर आपको अभी भी इससे सम्बंधित कुछ परेसानी हैं तो आप नीचे Comment Box के माध्यम से आपनी बात हम तक पंहुचा सकते हैं। आप सभी के हर सवाल पर हमारी नजर रहती हैं और मेरी हमेशा ये ही कोशिश रहती हैं कि आपके हर सवाल का जल्द से जल्द जवाब दिया जाए।

अगर आपको यह जानकारी अच्छी लगी हो तो इसे शेयर भी कर दीजिए ताकि बाकी दूसरे New Bloggers को भी यह सही जानकारी प्राप्त हो सकें।

आप सभी को जय श्री श्याम।
HAPPY BLOGGING!