Cara Google Merayapi Website / Blog
Apakabar sahabat semua...? semoga anda semua ada dalam keadaan baik dan selalu berbahagia serta ada dalam lindungan tuhan yang maha kuasa. Apabila anda sedang belajar tentang website ataupun anda sedang mencaritahu bagaimana cara agar web yang anda kelola bisa mendapatkan trafik yang tinggi dan juga posisi yang bagus di google, berikut ini saya akan sedikit menjelaskan tentang bagaimana cara google merayapi seluruh bagian website atau blog anda. Berikit pembahasannya.
"Perayap" adalah istilah generik bagi program apa pun (seperti robot atau spider) yang digunakan untuk menemukan dan memindai situs web secara otomatis dengan mengikuti tautan dari satu laman web ke laman web lainnya. Perayap utama Google disebut Googlebot. Tabel ini mencantumkan informasi tentang perayap umum Google yang dapat Anda lihat di log perujuk, dan cara perayap itu harus ditentukan dalam robots.txt, tag meta robots, dan perintah HTTP X-Robots-Tag.
Perayap | Token agen pengguna | String agen pengguna penuh (seperti yang terlihat dalam file log situs web) |
Googlebot (Google Penelusuran Web) | Googlebot | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) atau (jarang digun): Googlebot/2.1 (+http://www.google.com/bot.html) |
Googlebot Berita | Googlebot-News (Googlebot) | Googlebot-News |
Googlebot Gambar | Googlebot-Image (Googlebot) | Googlebot-Image/1.0 |
Googlebot Video | Googlebot-Video (Googlebot) | Googlebot-Video/1.0 |
Google Seluler (ponsel menengah) | Googlebot-Mobile | · SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (kompatibel; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) · DoCoMo/2.0 N905i(c100;TB;W24H16) (kompatibel; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) |
Ponsel Cerdas Google | Googlebot | ?Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, seperti Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html) |
Google AdSense Seluler | Mediapartners-Google atau Mediapartners (Googlebot) | [berbagai jenis perangkat seluler] (kompatibel; Mediapartners-Google/2.1;+http://www.google.com/bot.html) |
Google AdSense | Mediapartners-Google Mediapartners (Googlebot) | Mediapartners-Google |
Pemeriksaan kualitas laman landas Google AdsBot | AdsBot-Google | AdsBot-Google (+http://www.google.com/adsbot.html) |
Perayap Google app (Digunakan untuk mengambil sumber daya untuk aplikasi seluler, mematuhi aturan robot AdsBot-Google.) | AdsBot-Google-Mobile-Apps | AdsBot-Google-Mobile-Apps |
Tag Meta Robot
Beberapa laman menggunakan beberapa tag meta robot untuk menentukan perintah bagi perayap yang berbeda, seperti ini:
Dalam hal ini, Google akan menggunakan jumlah perintah negatif, dan Googlebot akan mengikuti perintah noindex dan nofollow.
Robots.txt
Saat beberapa agen pengguna dikenali dalam file robots.txt, Google akan mengikuti yang paling spesifik. Jika ingin semua perayap Google dapat merayapi laman, Anda tidak memerlukan file robots.txt sama sekali. Jika ingin memblokir atau memungkinkan semua perayap Google mengakses beberapa konten, Anda dapat melakukannya dengan menentukan Googlebot sebagai agen-pengguna.
Misalnya, jika ingin semua laman muncul di Google Penelusuran dan iklan AdSense muncul di laman, Anda tidak memerlukan file robots.txt. Demikian pula, jika Anda ingin memblokir beberapa laman dari Google sekaligus, memblokir agen pengguna Googlebot juga akan memblokir semua agen pengguna Google lainnya.
Namun, jika Anda menginginkan kontrol yang lebih mendetail, Anda dapat memperoleh yang lebih spesifik. Misalnya, Anda ingin semua laman muncul di Google Penelusuran, namun tidak ingin gambar dalam direktori pribadi Anda dirayapi. Dalam hal ini, gunakan robots.txt untuk melarang agen pengguna Googlebot
Comments
Post a Comment