undercover.co.id – Robots.txt: Sebuah Tindakan Preventif dari Pengindeksan , Pembuatan situs di internet memiliki tujuan tertentu bagi pemiliknya. Baik itu pada segi bisnis, maupun dalam segi personal branding.
Tentu saja, dalam meraih tujuan tersebut diperlukan sebuah optimasi pada situs web. Apapun tujuannya, tanpa terkecuali.
Sebab, bagaimana bisa suatu situs web dapat memperoleh peluang yang lebih besar untuk meraih tujuan di internet jika tidak mengutamkan optimasi?
Optimasi yang dimaksud yakni SEO.
Pasalnya, mesin pencari punya suatu bot guna melaksanakan perayapan dan pengindeksan.
Dua kegiatan tersebut dilakukan terhadap segala situs web yang beredar di dunia internet.
Gunanya ialah demi menunjukkan daftar hasil pencarian kepada penggunanya di suatu pada keyword tertentu.
Crawling dan indexing sangat berguna bagi situs web yang ingin mendapatkan posisi menguntungkan di hasil pencarian.
Namun, kedua hal di atas bisa saja menjadi bumerang.
Alih-alih mendapatkan posisi bagus, nyatanya malah mendapatkan posisi sama sekali tidak menguntungkan. Bahkan barangkali menurun dari yang sebelumnya.
Tetap tenang, karena masalah di atas bisa diantisipasi oleh pemanfaatan Robots.txt.
Bagaimana bisa Robots.txt Bisa Menyelesaikan Masalah?
Bagaimana bisa index yang hasil dari crawl menjadi bumerang bagi situs web?
Bukankah kedua hal itu mampu menyebabkan posisi bagus?
Robot dari mesin pencari bekerja secara sistematis.
Ia hanya mengerjakan sesuai instruksi yang telah ditentukan.
Alhasil, ia tidak mengetahui mana yang diindeks dan mana yang tidak. Instruksi bersifat mutlak.
Jika terjadi pengindeksan terhadap bagian yang bisa menjatuhkan posisi pemeringkatan, tentu akan menjadi bumerang.
Situs anda terancam posisi yang telah diperoleh sebelumnya
Oleh sebab itu, diperlukan file bernama Robots.txt tadi.
Sederhananya, Robot.txt ini adalah instruksi yang berbentuk file.
Instruksi tersebut berisi perizinan crawl dan index suatu halaman. Dan seperti yang dijelaskan sebelumnya, robot akan mematuhinya.
Lalu, apakah hal tersebut berguna? Tentu saja. Tetapi, belum tentu membutuhkan pengaturan langsung ke file tersebut.
Pasalnya, file instruksi tersebut sudah tersemat otomatis atau default di control panel halaman web.
Di sisi lain, Robot.txt menghasilkan efek bagus secara kondisional
Di bawah ini penjabaran poin-poin sebagai insight betapa urgent-nya Robots.txt bagi situs di internet.
1. Meniadakan pengindeksan suatu elemen
Anda pasti telah merencanakan sebuah strategi dalam melakukan pemasaran di halaman web.
Ambillah sebuah contoh, seperti sedang menjalankan sebuah campaign dan belum boleh diketahui oleh siapapun.
Dan hal itu juga berlaku pada mesin pencarian.
Belum waktunya orang-orang boleh menemukan dan melihat halaman campaign tersebut.
Alih-alih dikunjungi orang, tentunya Anda tidak mau campaign tersebut bocor ke publik padahal belum waktunya diumumkan.
Di sinilah Robots.txt bisa sangat penting berperan.
Perannya adalah, seperti yang dikatakan sebelumnya, menghalau kegiatan crawl dan mengindeksnya terhadap suatu halaman.
Tak hanya berlaku di strategi pemasaran, perihal lainnya pun bisa memanfaatkan peran Robots.txt ini.
2. Menginstruksikan batas pengindeksan elemen situs
Kedua kegiatan robot yang dilakukan ternyata tidak cuman kepada page di situs web.
Melainkan juga terhadap data file atau elemen yang menjadi bagiannya.
Elemen yang dimaksud adalah file multimedia.
Berbagai file multimedia seperti gambar atau dokumen yang terdapat di dalam situs web juga akan terindeks.
Tidak bisa dipungkiri, beberapa file multimedia yang bersifat rahasia.
Atau bahasa lainnya, tidak diinginkan bocor dan sebagai hal yang dikonsumsi publik pengguna internet.
Di sinilah peran penting Robots.txt lainnya.
Dilansir dari Backlinko.com, bahwa file ini merupakan komponen yang sangat berguna.
Memerintahkan robot untuk menjalankan crawling dan indexing pada page tertentu saja.
3. Mengefisienkan kegiatan crawl robot mesin pencari
Crawling yang dilakukan mempengaruhi crawl budget.
Bukan berupa pembayaran yang diberikan, melainkan jumlah halaman yang di-crawling dalam satu waktu.
Dan selanjutnya akan diindeks.
Sederhananya, robot mesin pencari menjalan kegiatan crawling situs web pada suatu waktu secara lengkap dan menyeluruh.
Ambil contoh, halaman di situs web terdapat 50 page, dan robot akan crawling dan indexing semua halaman itu.
Sedangkan, bagi Anda, yang mesti di-crawl itu hanyalah 30 atau 40 halaman saja. Hal inilah yang menyia-nyiakan crawl budget.
Maka dari itu, untuk mengantisipasinya dibutuhkan Robot.txt.
Tujuannya supaya proses crawling berjalan secara efisien.
Memproduksi file Robots.txt
Sejatinya, file ini telah terintegrasi dalam situs web secara otomatis.
Hal ini bisa Anda cek saat melakukan akses melalui alamat situs web.
Cara mengaksesnya cukup sederhana dengan menuju situs Anda ditambah dengan Robots.txt di URL.
Sebagai contoh alamat situs Anda adalah “situsanda.com”, maka URL-nya adalah:
situsanda.com/robots.txt
Tampilan browser selanjutnya menunjukkan isi yang contohnya bertuliskan:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content
Dalam membaca isi file di atas cukup mudah.
Tanda bintang (*) setelah “user-agent” menunjukkan kalau file ini berlaku bagi seluruh robot crawl.
Kemudian, file ini menginstruksikan untuk tidak melangsungkan crawl dan index halaman.
Halaman admin dan halaman konten adalah yang tidak diizinkan terkena crawl.
Sederhana memang, namun sangat berfungsi besar bagi situs web.
Contoh instruksi di atas ialah salah satu contoh yang paling dasar.
Bisa saja di masa depan, situs web Anda mungkin membutuhkan instruksi lebih banyak.
Sehingga memerlukan perancangan seterusnya secara kondisional.
baca juga
1. Merancang Robots.txt dengan plugin
Memproduksi file robot dapat dikerjakan dengan memanfaatkan fitur di plugin CMS situs web.
Apalagi kalau memakai CMS populer seperti WordPress.
Kemudian, plugin yang populer digunakan seperti Yoast SEO atau All in One SEO , dan Rankmath .
Kedua jenis plugin ini bisa membantu Anda dengan mudah dan simpel saat memproduksi file robot.
Simpel dan mudah karena Anda hanya perlu mengikuti perihal yang mesti dikerjakan sesuai instruksi plugin itu.
2. Merancang Robots.txt non-plugin
Sisi lain saat memproduksi Robots.txt dengan plugin CMS situs web, file robot juga bisa Anda atur dengan membuatnya sendiri.
Caranya terbilang simple. Anda cukup memproduksi file robot dengan bantuan software note dari sistem operasi perangkat Anda.
Dengan membuat isi yang sesuai kehendak Anda, selanjutnya Anda bisa mengupload dan memasukkan file tersebut ke server hosting.
Biasanya file ini langsung masuk ke cPanel dan overwrite file Robots.txt yang telah ada sebelumnya.
Akhir Kata
Robot.txt mempunyai efek positif atau sangat bagus untuk Anda. Apalagi kalau punya situs web besar.
Banyak page yang telah diproduksi, namun tiada semuanya perlu untuk tampak di hasil pencarian.
Atau strategi pemasaran yang sedang dirancang dan belum sepatutnya khalayak umum mengetahuinya.
Terlalu berkorban rasanya jika suatu halaman masih belum sempurna, tetapi sudah terindeks oleh mesin pencari.
Tentu sangat penting memanfaatkan file robot tersebut, di untuk melindungi posisi di hasil pencarian yang sudah menguntungkan.