Website Crawling

Crawl Rate & Crawl Budget


Crawl Rate & Crawl Budget

Crawl rate adalah seberapa sering robots mesin pencari Google merayapi (crawl) website Anda.

Semakin tinggi graphic nya maka semakin bagus. Anda bisa cek di search console tool untuk melihat crawl rate website Anda.

Crawl budget adalah melakukan setting pada website untuk hak akses robots mesin pencari, mana yang boleh dirayapi dan mana yang tidak.

Sehingga Anda membuat robots spider mesin pencari lebih efisien (istilahnya tidak membuang-buang waktu mesin pencari)

Sekilas, 2 hal diatas sangat mudah dilakukan. Namun jika tidak hati-hati maka justru performa seo website menjadi buruk karena faktor kontradiktif dua hal diatas sangat tinggi.

Apa saja faktor crawl rate tinggi


Sebelum membahas faktor nya, ada baiknya kita fahami dulu cara kerja crawl robots mesin pencari. Faktor-faktor tersebut adalah:

  1. Update konten regularly, mesin robot perayap website akan langsung mengunjungi situs ketika terjadi update terbaru, karena update tersebut merupakan sinyal bagi mereka (selama tidak di batasi oleh robots.txt file).
  2. Adanya update dari konten lama yang menambahkan internal link baru di halaman tersebut, oleh sebab itulah sangat tidak dianjurkan Anda menambahkan link baru dalam konten jika konten nya sendiri tidak diedit, atau tidak ada penambahan baru (beberapa kata atau paragraf).
  3. Backlink baru, Backlink baru yang bersifat dofollow (tanpa ada kode rel=”nofollow) adalah sinyal robot mesin pencari untuk merayapi ulang dan menyusuri link-link terkait sampai terbentur dengan backlink yang ada kode nofollow (rel=nofollow adalah sinyal google untuk tidak mengikutinya).
  4. Konten baru memberikan link ke website kita. Konten baru ini tidak sebatas dalam website Anda sendiri, namun juga dari sisi backlink juga / off-page SEO. Jadi ketika ada konten baru (baik dalam situs sendiri/ onsite maupun backlink baru) dan memberikan internal link ke website Anda bersifat dofollow, maka ini juga sinyal Google untuk merayapi ulang.

Itulah kenapa side wide backlink (backlinks ada diseluruh halaman seperti di menu, footer, sidebar) yang bersifat dofollow agak beresiko, meskipun bisa juga bagus (hati-hati anchor text nya).

Karena ketika website tempat backlink tersebut melakukan updated atau publish konten baru, dan ada link out ke situs Anda di sidebar yang dofollow. Robots Google akan ikut recrawl link-link yang ada di halaman baru tersebut, termasuk link yang ada di footer, sidebar dan menu.

Jadi inti dari crawl rate tinggi ini adalah adanya update dalam sebuah website atau adanya backlink baru bersifat dofollow ke website Anda.

Cara Setting Crawl Budget yang Tepat

Secara garis besar Google sangat menyukai website yang menerapkan crawl budget yang tepat, tapi Anda harus setting benar-benar tepat.

Faktor sinyal crawl budget Google terletak pada file robots.txt dan sitemap.xml website. Sebisa mungkin membuatkan file sitemap untuk halaman yang memang harus diindex.

Hindari disallow file css & script di robots.txt file karena google membutuhkan akses agar bisa merayapi dan menentukan apakah file script dan css atau image tersebut aman bagi pengguna/ pengunjung website Anda (tidak ada malware).

Masih ada kesalah fahaman bagi para webmaster, praktisi seo tentang indexing dan robots.txt file. File robots.txt ini adalah sinyal mana yang boleh dirayapi dan mana yang tidak.

Maka jangan heran jika ada website yang sudah set disallow pada robots.txt tapi masih terindeks (biasanya kasus pada website besar), karena sejatinya kita ibaratkan seperti ini: Bagian website ini tidak boleh dirayapi, tapi untuk diindex terserah kamu google.

Jika memang tidak ingin diindex google, sebaiknya setting di meta tag (dalam html page) atau x-robots http header respons. Cara ini paling aman selain itu juga file rahasia Anda tidak terlihat di robots.txt (karena robots.txt ini bersifat public).

Kenapa Crawl Budget Penting?

Crawl budget jadi penting karena hal ini ada hubungannya dengan performa server situs yang dirayapi.

Google bot akan mengirimkan request ke server dengan jumlah halaman yang akan dirayapi secara massive, dan tentunya jika server tidak kuat, maka website memberi respons lama, sehingga intensitas perayapan jadi rendah.

Akibatnya indexing website jadi buruk. Itulah kenapa harus di set mana yang benar-benar ingin dirayapi sehingga efektif untuk situs Anda.