Technology

Cara Mencegah Google Mengindeks Bagian dari Website Anda

 

   

Dalam membuat suatu website, mungkin ada folder / file yang menjadi engine atau bagian private (admin) dimana hanya diakses oleh pemilik website tsb. Untuk mencegah pihak luar mengetahui lokasi file tersebut, Anda bisa mencegah google agar tidak mendaftarkan url, folder, maupun file yang terdapat pada admin suatu website dengan beberapa cara, seperti di bawah ini :

1. Melalui script HTML

Salah satu cara yang paling mudah adalah dengan menambahkan script di dalam file index pada admin website Anda. Tambahkan script berikut:

<meta name=”robots” content=”noindex, nofollow”>

Pada bagian head file index, sehingga menjadi:

<html>

  <head>

    <meta name=”robots” content=”noindex, nofollow”>

  </head>

  <body>

  </body>

</html>

Maka secara otomatis Robot milik Google akan melewati folder admin setelah membaca meta yang ditujukan pada robot agar “tidak mengindeks” dan “tidak mengikuti” link – link yang ada pada admin.

2. Melalui konfigurasi .htaccess

Adapun cara lain untuk mencegah robot mengindeks bagian admin dari website, yaitu dengan menambahkan file .htaccess pada folder admin dengan konfigurasi sebagai berikut:

<Files ~ “\.(html|php)$”>

  Header set X-Robots-Tag “noindex”

</Files>

Script di atas memiliki arti untuk setiap file berekstensi html ataupun php tidak akan diindeks oleh Google. Apabila Anda ingin semua file yang ada pada admin tidak diindeks oleh Google, maka Anda dapat menambah ekstensi – ekstensi yang menurut Anda file tsb hanya digunakan untuk kepentingan admin. Cara di atas sebenarnya mirip dengan cara menambahkan meta pada file index admin.

Selain cara di atas, berikut cara lain yang digunakan untuk mencegah google mengindeks bagian admin, sbb :

RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]

RewriteCond %{HTTP_USER_AGENT} Googlebot

RewriteRule ^.*$ “http\:\/\/namadomain\.com\/\/admin” [R=301,L]

Script di atas memiliki arti untuk setiap Robot pengindeks milik Google ataupun AltaVista apabila mengakses “http://namadomain.com/admin” akan mendapatkan respon 301/tidak ditemukan. Sehingga Google berhenti mengakses lokasi tsb.

3. Melalui file robots.txt

Robots.txt ? Teks untuk robot ? ya, ini merupakan salah satu file yang digunakan Search Engine, termasuk Google, untuk mendapatkan rule saat mengindeks suatu website. Sehingga robot akan diberitahu apakah lokasi yang ditambahkan boleh diakses atau tidak. Untuk konfigurasi file robots.txt, Anda bisa melihat contoh di bawah ini:

User-agent: *

Allow: /

Disallow: /admin

Sitemap: <link sitemap domain anda>

Berikut penjelasan dari konfigurasi di atas:   

  • User-agent : diisi bintang, maksudnya agar semua robot dipanggil secara bersamaan.
  • Allow             : diisi / , agar robot yang dipanggil boleh mengakses semua folder
  • Dissallow    : diisi admin, agar robot yang dipanggil tidak bisa mengakses lokasi admin. Pencegahan ini tetap berjalan meskipun sisi Allow tidak bernilai ataupun bernilai “/”.
  • Sitemap        : diisi lokasi link sitemap milik website anda, sitemap juga bisa digunakan untuk menentukan lokasi – lokasi mana yang boleh diakses oleh robot.

Baca juga:

14 Trik Pemrograman Baru ala HTML5

Optimasi Kode Anda untuk Meningkatkan Performa Aplikasi Berbasis PHP – Bagian 3

10 Framework PHP untuk Para Developer Website

           

Artikel Terkait

2 komentar

  • 20 October 2014 - pukul 12:23

    thanks artikelnya

  • 7 October 2017 - pukul 20:26

    Semoga serach engine lain juga tidak mengindex dengan kode tersebut

Berikan Komentar

Your email address will not be published. Required fields are marked *