Home Top Ad

Robots.txt kya hai

Share:

आज हम बात करेंगे की Robots.txt  क्या है और कैसे काम करता है . तथा Robots.txt  क्या काम होता है .

Robots.txt क्या है?

Robots.txt एक फाइल है जो सर्च इंजन स्पाइडर को किसी वेबसाइट के कुछ पेज या सेक्शन को क्रॉल नहीं करने के लिए कहती है। अधिकांश प्रमुख खोज इंजन (Google, बिंग और याहू सहित) Robots.txt अनुरोधों को पहचानते हैं और उनका सम्मान करते हैं।


क्यों Robots.txt महत्वपूर्ण है?

अधिकांश वेबसाइटों को robots.txt फ़ाइल की आवश्यकता नहीं होती है।
ऐसा इसलिए है क्योंकि Google आमतौर पर आपकी साइट के सभी महत्वपूर्ण पृष्ठों को खोज और अनुक्रमित कर सकता है।
और वे स्वचालित रूप से उन पृष्ठों को अनुक्रमणित नहीं करेंगे जो अन्य पृष्ठों के महत्वपूर्ण या डुप्लिकेट संस्करण नहीं हैं।

 3 मुख्य कारण हैं जो आप robots.txt फ़ाइल का उपयोग करते है ।

संसाधनों का अनुक्रमण रोकें:(Prevent Indexing of Resources)

पृष्ठों को अनुक्रमित होने से रोकने के लिए meta tags का उपयोग  साथ ही Robots.txt ही काम कर सकता है। हालाँकि, meta tags  पीडीएफ और छवियों जैसे मल्टीमीडिया संसाधनों के लिए अच्छी तरह से काम नहीं करते हैं। वह है जहाँ robots.txt काम  मेआता है।

गैर-सार्वजनिक पृष्ठ ब्लॉक करें:Block Non-Public Pages: 

कभी-कभी आपकी साइट पर ऐसे पृष्ठ होते हैं जिन्हें आप अनुक्रमित नहीं करना चाहते हैं। उदाहरण के लिए, आपके पास एक पृष्ठ का मंचन संस्करण हो सकता है। या एक लॉगिन पेज। इन पृष्ठों को अस्तित्व में रखने की आवश्यकता है। लेकिन आप नहीं चाहते कि  लोग उन पर उतरें। यह एक ऐसा मामला है जहां आप सर्च इंजन क्रॉलर और बॉट से इन पृष्ठों को ब्लॉक करने के लिए robots.txt का उपयोग करते हैं

अधिकतम क्रॉल बजट:Maximize Crawl Budget:

यदि आपको अपने सभी पृष्ठों को अनुक्रमित करने में कठिन का सामना हो रहा है, तो आपको क्रॉल बजट की समस्या हो सकती है। Robots.txt के साथ महत्वहीन पृष्ठों को अवरुद्ध करके, Googlebot आपके क्रॉल बजट के उन पृष्ठों पर अधिक खर्च कर सकता है जो वास्तव में मायने रखते हैं

Robots.txt vs. Meta Directives

जब आप "noindex" मेटा टैग के साथ पृष्ठ-स्तर पर पृष्ठों को ब्लॉक कर सकते हैं, तो आप robots.txt का उपयोग क्यों करेंगे?
जैसा कि मैंने पहले उल्लेख किया है, नोइंडेक्स टैग मल्टीमीडिया संसाधनों पर लागू करने के लिए मुश्किल है, जैसे वीडियो और पीडीएफ।
इसके अलावा, यदि आपके पास हजारों पृष्ठ हैं जिन्हें आप ब्लॉक करना चाहते हैं, तो कभी-कभी उस साइट के पूरे अनुभाग को रोबोट के साथ ब्लॉक करना आसान होता है। इसके बजाय मैन्युअल रूप से हर एक पृष्ठ पर एक नोइंडेक्स टैग जोड़ने के बजाय।
ऐसे भी कई मामले हैं जहाँ आप Google पर कोई क्रॉल बजट नहीं डालना चाहते हैं जो कि नोइंडेक्स टैग वाले पृष्ठों पर हो।




No comments