Blog Ilmu Komputer - Mungkin sobat sudah sering mendengar istilah robots.txt . Apa sih robots.txt itu? Apakah perlu di setting? Bagaimana kalau saya biarkan saja? Mungkin masih banyak pertanyaan lain. Untuk lebih memahami pengertian dan cara kerja robots.txt , supaya lebih dipahami, akan saya buat model artikel ini seperti tanya jawab. Langsung saja kita simak. Apa itu robots.txt? Robots.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau tidak menelusuri halaman pada blog kita. Boleh dikatakan robots.txt adalah filter blog kita dari mesin pencari. Apakah setiap blog mempunyai robots.txt? Ya, semua blog sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti ini : User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED Untuk melihat robots.txt default, silahkan ketik dibrowser http://namablogsobat.blogspot.com/robots.txt Apa arti dari kod...