Bazı sitelerin koruma sistemleri User-Agent değeri boş olan ya da tanınmayan istekleri engellemektedir. Özellikle Linux komut satırından işlem yapan wget gibi programlar bu basit engellere takılabilir. Engelleme tarafından kullanılan özellik genelde User-Agent değerine göre yapıldığı için bu tip engellemeler için kullanılacak programa geçerli bir user-agent değeri atanarak engel aşılabilir.

Klasik Wget Kullanımını Engelleyen Yapılandırma

[root@seclabs tmp]# wget http://www.example.com/201112031813.cap
–2011-12-04 13:42:23– http://www.example.com/201112031813.cap
Resolving www.example.com… 1.2.3.4
Connecting to www.example.com|1.2.3.4|:80… connected.
HTTP request sent, awaiting response… 403 Forbidden
2011-12-04 13:42:24 ERROR 403: Forbidden.

Bu basit engeli aşmak için Wget’e geçerli bir user-agent parametresi verilmelidir.

Wget’e User-Agent Parametresi Vererek Engeli Aşma

[root@seclabs tmp]# wget http://www.example.com/201112031813.cap –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6″
–2011-12-04 13:43:00– http://www.example.com/201112031813.cap
Resolving www.example.com… 1.2.3.4
Connecting to www.example.com|1.2.3.4|:80… connected.
HTTP request sent, awaiting response… 200 OK
Length: 25595319 (24M) [text/plain]
Saving to: `201112031813.cap’

100%[=============================================================>] 25,595,319 990K/s in 26s

2011-12-04 13:43:26 (971 KB/s) – `201112031813.cap’ saved [25595319/25595319]