Apa Itu Googlebot?

Googlebot yaitu webcrawler (perayap jaringan) yang dipakai oleh Google. Googlebot dipakai untuk mencari dan mengumpulkan halaman-halaman di internet. Informasi yang dikumpulkan Googlebot dipakai untuk memperbarui index Google.

Googlebot mengunjungi triliunan halaman web dan terus menerus mengunjungi halaman-halaman tersebut.

Apa itu WebCrawler?

Sebenarnya Webcrawlers yang juga disebut sebagai bots, robots, atau spiders, hanyalah homogen software yang didesain untuk mengikuti tautan-tautan/links dan mengumpulkan data dari setiap link.
Googlebot mengambil konten dari halaman-halaman web, menyerupai kata-kata, kode, dan sumberdaya yang menyusun halaman web tersebut.

Kalau di dalam konten yang diambilnya ada link menuju halaman lain, maka link-link itu akan dicatat.

Googlebot dan Website Anda

Informasi yang dikirimkan oleh Googlebot akan memperbarui index Google. Index inilah daerah di mana semua halaman web akan dibandingkan dan diberi ranking berdasarkan kata kunci.

Makara langkah pertama semoga halaman website anda sanggup ada di dalam index ini yaitu membuat website anda sanggup terlihat dan sanggup diakses oleh Googlebot.

Apakah Googlebot Bisa Melihat Halaman Web Saya?

Untuk mengetahui apa yang sanggup dilihat oleh Googlebot dari situs anda, lakukan hal ini di pencarian Google. Masukkan pencarian berikut:

site:namadomain.com

Ini yaitu perintah untuk menampilkan semua halaman yang dikumpulkan Googlebot ke dalam Google index.

Dari sini anda sanggup melihat ada berapa banyak halaman anda yang ada di dalam index Google. Apakah jumlahnya wajar, kurang, atau malah terlalu berlebihan?

Jika kurang, maka sanggup saja ada halaman yang anda anggap seharusnya masuk ke dalam index Google malah secara tidak sengaja anda blokir dengan robots.txt.

Kalau berlebihan, maka sanggup jadi ada halaman-halaman yang tidak anda inginkan masuk malah terindeks; atau bahkan website anda secara tidak sengaja menciptakan banyak duplikat konten alasannya sistem dari tema yang digunakan.

Mana saja yang terjadi di antara keduanya akan merusak SEO dari website anda.... Jika halaman yang terindeks kurang, maka kurang juga poin yang harusnya anda dapatkan; dan sebaliknya jikalau halaman yang terindeks berlebihan, maka poin setiap halaman juga menjadi lebih kecil alasannya pembaginya jadi lebih banyak....

Makara jikalau anda gres pertama kali belajar SEO, maka mengamati index Google yaitu salah satu hal yang harus anda pahami.

Apakah Google sanggup mengakses semua konten dan tautan?

Tidak semua yang ada di dalam halaman kita sanggup diakses oleh Google, jadi anda harus tahu apakah elemen penting dari halaman yang anda harapkan sanggup membantu SEO sanggup dilihat oleh Google.

Ada banyak jenis duduk kasus yang mengakibatkan Google tidak sanggup melihat semua isi konten di dalam website kita. Beberapa di antaranya adalah:

1. Diblokir robots.txt
2. Link tidak terbaca (broken link)
3. Memakai teknologi flash yang belum sanggup dilihat Googlebot
4. Kode yang error
5. Link dinamis yang terlalu rumit

Jika anda mau mengetahui apakah semua komponen halaman anda sanggup dilihat oleh Google, maka coba lakukan FETCH AND RENDER di Search console; lihat apakah Google sanggup merayapi semuanya atau hanya sebagian.

Atau anda sanggup juga mencari halaman anda di Google dengan operator site: tadi, dan sehabis hasil pencarian keluar, coba lihat CACHE Google dari panah kecil yang ada di setiap hasil pencarian (lihat gambar di bawah)

Bisakah Googlebot dikendalikan?

Ya, Google yaitu perusahaan yang menghargai hukum di dalam robots.txt. Makara robotnya tidak akan mengumpulkan data dari halaman-halaman yang dilarang.

Secara keseluruhan ada beberapa cara anda sanggup mengatur robot google:

1. Memakai robots.txt
2. Memasukkan meta robots di halaman
3. Menggunakan isyarat robot di header
4. Memakai peta situs
5. Memakai Google Search Console

Tapi yang paling umum dipakai yaitu robots.txt

Apa itu Robots.txt?

Ini yaitu file yang berisi hukum bagaimana seharusnya robot perayap berinteraksi di halaman web anda. Yang perlu anda ketahui adalah;... hanya alasannya website anda menggunakan robots.txt bukan berarti semua robot akan mengikuti hukum yang ada di dalamnya.

Robot dari pihak yang tidak baik tentu saja tidak akan mempedulikan hukum di dalam robots.txt ini.

Khusus Googlebot; anda sanggup mengatur halaman mana yang boleh dan tidak boleh diakses oleh Googlebot ketika tiba ke website anda. Hanya saja pembahasan robots.txt ini cukup kompleks jadi akan dibahas nanti di artikel tersendiri.

Googlebot dan Peta Situs

Peta situs atau biasa disebut sitemap yaitu cara untuk membantu google memahami struktur dari website anda.

Google menyampaikan ada beberapa kondisi di mana anda sangat perlu menggunakan peta situs...

1. Anda menciptakan website yang sangat besar
2. Website anda memiliki banyak konten tapi saling terisolasi dan tidak memiliki struktur link yang baik
3. Situs anda masih gres dan hanya sedikit backlink yang masuk; jadi Google lebih mengandalkan peta situs untuk perayapan semua halaman baru.

Tipe-Tipe Googlebot

Googlebot memiliki 9 tipe yang berbeda dengan fungsi yang berbeda pula. Kesembilan Googlebot tersebut adalah:

1. Googlebot (Google Web search)
2. Google Smartphone
3. Google Mobile (Feature phone)
4. Googlebot Images
5. Googlebot Video
6. Googlebot News
7. Google Adsense
8. Google Mobile Adsense
9. Google Adsbot (landing page quality check)

Kalau ada yang mau informasi yang lebih detilnya sanggup kunjungi halaman klarifikasi Google Crawlers.

Share this post