Crawlability Website

Robots & Sitemap File


sitemap website

Seperti yang sudah dibahas di halaman Crawl rate & crawl budget bahwa file sitemap dan robots txt ini adalah faktor kunci crawlability sebuah website.

File sitemap memegang peranan layaknya pemberi sinyal kepada google agar segera merayapi ulang website (jika ada updated).

Meskipun sebenarnya google juga tahu melalui http header respons (last updated) tanpa harus ada file sitemap.

Tapi jika tidak ada sitemap, efeknya akan lama dan perubahan yang dilakukan tidak mudah diindeks dengan cepat.

Penjelasan Singkat robots.txt dan sitemap.xml:

File robots.txt adalah file pemberitahuan kepada bot crawl mesin pencari sebagai sinyal file mana yang boleh di rayapi dan mana yang tidak diperbolehkan untuk dirayapi pada suatu website.

Sitemap.xml adalah file list url untuk sinyal agar mesin pencari mengupdate indexing mereka sesuai dengan last updated yang ada di website. Sehingga semua perubahan yang dibuat cepat diindex ulang oleh Google.

File robots teks ini sebaiknya isi di file ini standar saja (allow semua) untuk google, dan anda bisa block sipder search engine lain selain google, bing / yahoo.

Meskipun kedua file ini ringan, simple tapi keberadaannya harus eksis (ada) jadi jika di website Anda tidak ada maka sebaiknya segera dibuatkan. Alamat akhirnya bisa seperti https://website-anda.com/sitemap.xml dan https://website-anda.com/robots.txt

Jika sudah ada atau dibuat, maka file sitemap bisa di submit di google search console tools.