BlogSpot Blog Me Custom Robots.txt File Kaise Add Karte Hain

Blog बनाकर quality post लिखने के बाद हर blogger का सपना होता है की उसकी post SERP यानि की search engine result page पर दिखाई दें | परन्तु इसके लिए blog  पोस्ट को search engine पर index करना जरूरी होता है | और blog पोस्ट को index करने का काम हम blog ka sitemap creat करके उसको google webmaster tool तथा दुसरे search engine जैसे yahoo ,bing आदि  पर submit करके कर सकते हैं | परन्तु by-default हमारे blog के कुछ unimportant पेज या labels भी index हो जाते हैं और हमारी important पोस्ट को index होने में समय लग जाता है | जिसका उपाय हम custom robots.txt file को add करके कर सकते हैं | परन्तु इससे पहले की हम robots.txt file को blog में add करें हमे इसकी कुछ basic चीजो का पता होना जरूरी है | मैंने इस पोस्ट में robots.txt file के प्रत्येक भाग का संक्षेप में वर्णन किया है आप चाहे तो इस पोस्ट को bookmark करके बाद में आराम से पढ़ सकते हैं |

Robots.txt  Kya  Hai

 Robots.txt  blog के server पर उपस्थित एक ऐसी file होती है जिसमे कुछ simple code होते हैं | जो search engine bot या web crawlers को ये दिशा-निर्देश देते है की blog के किस भाग को index किया जाए और किस भाग को नही | आप robots.txt file को customize करके अपने blog के किसी भी web-page या labels आदि को index होने से रोक सकते हो |

परन्तु जहाँ तक सम्भव हो सके robots.txt file का उपयोग केवल crawling rate  को बढ़ाने के लिए किया जाना चाहिए ताकि हमारी सभी post जल्दी से जल्दी crawl होकर index हो जाए | और ऐसा हम अपनी robots.txt file में अपने blog का sitemap डालकर तथा unimportant pages को disallow करके कर सकते हैं |

Robots.txt  File Kaise काम करती है

जब भी कोई visitor आपके blog से सम्बन्धित किसी URL को search करता है तो , search engine bot और web crawler सबसे पहले आपके blog की robots.txt file को check करते हैं की उस url या article को access करने की उन्हें अनुमति है या नही |

मान लीजिये आपने सर्च किया है - http://www.example.com/how-to-add-author-box  तो web-crawler इस url पर जाने से पहले इस blog की robots.txt file को check करेंगे  और वो domain name के बाद के पहले slash (/) को हटाकर robots.txt को add कर देंगे | जैसे -

http://www.example.com/robots.txt 

Robots.txt File Ko Kaise Create Kare

Robots.txt file एक public file होती है जिसको कोई भी आसानी से देख सकता है इसलिए इसका प्रयोग अपनी जरूरी information को छुपाने के लिए नही करना चाहिए | आप अपने blog की  Robots.txt file को create करने के लिए निचे दिए गए step को follow करें -

STEP 1. अपने computer browser को open करें |

STEP 2. आपके domain name के बाद जो पहला single slash है उसके साथ robots.txt type करे | जैसे
     http://www.example.com/robots.txt

और यदि आपका domain name .blogspot के साथ है तब -http://www.example.blogspot.com/robots.txt

STEP 3. और अब enter दबाए | आपको आपकी robots.txt file मिल जाएगी |

User-agent: Mediapartners-Google
  Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://example.blogspot.com/sitemap.xml

अपने BlogSpot blog में custom robots.txt file को  add करने से पहले आइए इसकी प्रत्येक term को समझे :-


User- agent

User - agent  शब्द का इस्तेमाल search engine robots या web crawler का नाम बताने के लिए किया जाता है |  जैसे - user-agent : Googlebot तथा user-agent : Googlebot-Image  etc.



User - agent : Mediapartners - Google

ये google का वो robot है जो आपकी site को crawl करके उसके content से सम्बन्धित ads show करता है | और यदी आपके blog पर ads आपके content से relative होगी तो जाहिर सी बात है की आपकी AdSense income भी अच्छी होगी | इसलिए चाहे आपके blog पर AdSense approve हो या न हो इसको हमेशा allow ही करना चाहिए |


Disallow:

Disallow का मतलब वैसे तो होता है की आपको इस file को access करने की आज्ञा नही है | परन्तु जब disallow के बाद slash ( / ) न होकर केवल colon  ( : ) हो तो इसका मतलब allow होता है | निचे देखे  -


Disallow :         = Allow
Disallow :/        = Disallow


User- agent : *

जब हम user-agent के आगे * (asterisk ) का sign लगा देते हैं तो इसका मतलब होता है सभी robots | यानि की इस code के द्वारा हम जो भी दिशा -निर्देश देंगे वो सभी robot के लिए हैं न की किसी एक robots के लिए |


Disallow :/ Search

इसका मतलब है की जब भी आपके domain name के पहले slash के बाद search keyword आएगा तो google उसको crawl नही करेगा | जैसे इस URL को देखिए  -http://example.blogspot.com/search/label/blogspot


Sitemap: http://example.blogspot.com/sitemap.xml

Sitemap  हमारी site का map होता है इसमे हमारी सभी post का link होता है | और robots.txt file में sitemap को add करके हम अपनी site का crawling rate  बढ़ा सकते हैं | यानि की जब भी web crawler हमारे blog की robots.txt file  को  crawl करेंगे तो उनको sitemap के द्वारा हमारी पोस्ट का link भी मिल जाएगा और इसका फायदा यह होगा की हमारी सभी पोस्ट जल्दी से जल्दी index हो जाएँगी |

BlogSpot Blog Me Custom Robots.txt File Kaise Add Kare

STEP 1. सबसे पहले अपने BlogSpot blog के dashboard पर जाए |

STEP 2. अब settings >>Search preferences पर click करें | वहां पर आपको Crawlers and indexing section में Custom robots.txt का option दिखाई देगा | (नीचे pic देखे )

STEP 3.  Edit पर click करें | edit पर click करने के बाद आपको yes और no दो option मिलेंगे उनमे से yes को select करें | 

STEP 4. Yes को select करने के बाद एक text-editor box खुलेगा उसमे अपनी robots.txt file paste करके save changes पर click करें | ( नीचे pic देखे )

और लीजिये आपने अपने BlogSpot blog me custom robots.txt file को add कर लिया है | यदि आपको इस topic से सम्बन्धित किसी भी विषय पर कोई भी जानकारी चाहिए हो तो मुझे comment section में बताए तथा robots.txt file को इस्तेमाल करने के बारे में अपनी राय दें |

हमारे facebook तथा google plus पेज को जरुर like करें  |  धन्यवाद !