Mengenal file robots.txt

Mengenal file robots.txt, apakah perlu kita mengenalnya? bukan saja perlu untuk mengenalnya, tapi wajib untuk kita kenal baik dengan file yang satu ini, file robots.txt adalah suatu file teks yang digunakan untuk memberitahukan pada mesin robotnya google untuk daerah mana saja yang boleh dan tidak boleh diindex atau dikunjungi oleh robotnya google,tentunya untuk konsumsi publik! file robots.txt sendiri terletak diroot direktori.

1. fungsi dan kegunaan robots.txt
   Dapat kita gunakan untuk proteksi webserver kita, file robots.txt bisa kita jadikan alternatif untuk memproteksi webserver kita dari serangan google hacking, saya sudah jelaskan diatas dengan kita menggunakan file ini kita bisa mengatur sendiri area mana saja yang boleh dikunjungi robot pencarinya google.
2. Menghemat bandwith webserver kita
   kita tahu bahwa mesin pencari robot google akan mengindex semua file ataupun direktori webserver kita walaupun file dan direktori itu kosong, tentu saja ini akan meningkatkan bandwith webserver kita, dengan adanya file ini maka kita bisa mengatur daerah mana saja yang boleh dan tidak boleh diakses atau dilihat oleh mesin robotnya google. dan juga mesin pencarinya robot google ini memiliki batasan waktu untuk mengunjungi suatu web, makanya kenapa mesin pencariya google lebih suka dengan web/blog yang sederhana dan simple

Contoh file robots.txt

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://localhost/wordpress/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Allow: /wp-content/uploads# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Dan ini contoh dari beberapa user-agent / bot dari mesin pencari :

User-Agent Mesin Pencari
googlebot                                              Google
msnbot                                                    MSN
yahoo-slurp                                           Yahoo
teoma                                               Ask / Teoma
gigabot                                                GigaBlast
scrubby                                            Scrub The Web
robozilla                                            Dmoz Checker
nutch                                                       Nutch
ia_archiever                                     Alexa /Wayback
baiduspider                                             Baidu
googlebot-image                                 Google Image
yahoo-mmcrawler                               Yahoo MM
psbot MSN                                             pic search
asterias                                                  singing fish
yahoo-blogs/v3.9                                 Yahoo Blogs

Dari penjelasan fungsi robots.txt apakah kalian tidak juga mau berkenalan baik dengan file robots.txt…:-)