Robots.txt में सभी वेब साइट को डाउनलोड करने से रोकने नहीं है क्योंकि कई बुरा प्रोग्राम बस robots.txt की सामग्री की उपेक्षा और वे क्या करना चाहते हो बुरा कार्यक्रम, की अनुमति.

रोकथाम वेब साइट का उपयोग डाउनलोड उपयोगकर्ता एजेंट Blocking httpd.conf में

एक और तरीका httpd.conf में डाउनलोड programs उपयोगकर्ता एजेंट को बाहर करने के लिए है.

तुम httpd.conf को बाहर करना चाहते हैं हर एजेंट जोड़ें:

SetEnvIfNoCase User-एजेंट ^ Httrack keep_away
SetEnvIfNoCase User-एजेंट ^ ऑफ़लाइन Explorer keep_away
SetEnvIfNoCase User-एजेंट ^ psbot keep_away
SetEnvIfNoCase User-एजेंट ^ Teleport keep_away
SetEnvIfNoCase User-एजेंट ^ WebCopier keep_away
SetEnvIfNoCase User-एजेंट ^ WebReaper keep_away
SetEnvIfNoCase User-एजेंट ^ Webstripper keep_away

आदेश, मना अनुमति दें
सब से अनुमति दें
इनकार env से = keep_away

प्रयोक्ता एजेंट भी सभी वेब साइट को डाउनलोड करने से रोकने नहीं है अवरुद्ध हो, क्योंकि उपयोगकर्ता अपने उपयोगकर्ता एजेंट या इंटरनेट एक्सप्लोरर या एक और आम ब्राउज़र होना प्रदर्शित करने के लिए धोखा देना नष्ट कर सकते हैं.

रोकथाम वेब साइट का उपयोग डाउनलोड उपयोगकर्ता एजेंट Blocking PHP में