Cara Setting Robots TXT sesuai SEO di WordPress

Baiklah, kali ini kita akan membahas cara mengoptimalkan file robots.txt untuk meningkatkan SEO pada wordpress.

File Robots.txt berfungsi untuk memberi tahu mesin pencari cara merayapi blog web Anda, dan tentu saja menjadi salah satu alat SEO yang sangat kuat.

Pada artikel ini, saya akan menunjukkan cara membuat file robots.txt yang sempurna untuk meningkatkan SEO blog Anda.

Apa itu file robots.txt?

Robots.txt adalah file teks yang bisa dibuat pemilik blog web untuk memberi tahu bot mesin pencari cara merayapi dan mengindeks halaman di blog mereka.

Biasanya disimpan di direktori root yang juga dikenal sebagai folder utama blog web Anda. Format dasar untuk file robots.txt terlihat seperti ini:


User-agent: [nama user-agent]

Disallow: [URL yang tidak perlu dijelajahi]

User-agent: [nama user-agent]

Allow: [URL yang dapat dijelajahi]

Sitemap: [URL dari XML Sitemap Anda]

Anda dapat menuliskan beberapa baris perintah untuk membolehkan atau melarang URL tertentu untuk dijelajahi oleh robot mesin pencari dan menambahkan beberapa peta blog (sitemap).

Jika Anda tidak melarang suatu URL, maka bot mesin pencari menganggap bahwa mereka diizinkan untuk menjelajahinya.

Berikut ini contoh file robots.txt:


User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Sitemap: https://contoh.com/sitemap_index.xml

Pada file robots.txt di atas, saya telah mengizinkan mesin pencari untuk merayapi dan mengindeks file dalam folder unggahan  (uploads) WordPress saya.

Lalu, saya melarang bot pencarian untuk menjelajahi dan mengindeks folder plugin dan admin WordPress.

Kemudian, saya menyediakan URL sitemap XML saya.

Apakah Anda Membutuhkan File Robots.txt untuk Blog WordPress Anda?

Jika Anda tidak memiliki file robots.txt, mesin pencari akan tetap merayapi dan mengindeks blog Anda.

Namun, Anda tidak akan dapat memberi tahu mesin pencari halaman atau folder mana yang tidak boleh mereka jelajahi.

Ini tidak akan terlalu penting ketika Anda baru memulai sebuah blog dan tidak memiliki banyak konten.

Namun begitu blog Anda tumbuh dan Anda memiliki banyak konten, maka Anda seharusnya memiliki kontrol yang lebih baik tentang bagaimana blog Anda dirayapi dan diindeks.

Inilah sebabnya.

Robot mesin pencari memiliki kuota perayapan untuk setiap blog.

Artinya, robot mesin pencari akan merayapi sejumlah halaman tertentu, selama waktu perayapan tertentu.

Jika mereka tidak selesai merayapi semua halaman di blog Anda, maka mereka akan kembali dan akan melanjutkan merayapi di waktu berikutnya.

Ini tentu saja akan memperlambat laju pengindeksan blog Anda.

Anda dapat memperbaikinya dengan melarang robot mesin pencari untuk mencoba merayapi halaman yang tidak perlu seperti halaman admin WordPress, folder plugin dan tema.

Dengan melarang perayapan ke halaman yang tidak perlu, Anda menghemat kuota perayapan Anda.

Ini membantu mesin pencari merayapi lebih banyak halaman di blog Anda dan mengindeksnya secepat mungkin.

Alasan lain yang tepat untuk menggunakan file robots.txt adalah ketika Anda ingin menghentikan mesin pencari untuk mengindeks sutau posting atau halaman khusus di blog Anda.

Tentu saja, ini bukan cara paling aman untuk menyembunyikan konten dari masyarakat umum, tetapi ini akan membantu mencegah halaman tersebut muncul di hasil pencarian.

Seperti Apa Tampilan File Robots.txt Yang Ideal?

Banyak blog populer menggunakan file robots.txt yang sangat sederhana. Konten mereka dapat bervariasi, tergantung pada kebutuhan blog tertentu:


User-agent: *

Disallow:

Sitemap: http://www.contoh.com/post-sitemap.xml

Sitemap: http://www.contoh.com/page-sitemap.xml

File robots.txt ini memungkinkan semua bot untuk mengindeks semua konten dan memberikan mereka tautan ke sitemap XML blog.

Untuk situs WordPress, saya merekomendasikan aturan berikut dalam file robots.txt:


User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: http://www.contoh.com/post-sitemap.xml

Sitemap: http://www.contoh.com/page-sitemap.xml

Perintah dalam file ini akan memberi tahu robot mesin pencari untuk mengindeks semua gambar dan file WordPress.

Perintah ini juga akan melarang robot mesin pencari untuk mengindeks file plugin WordPress, area admin WordPress, file readme WordPress, dan tautan afiliasi.

Dengan menambahkan sitemap situs ke file robots.txt, Anda memudahkan Google bot untuk menemukan semua halaman di situs Anda.

Sekarang Anda tahu seperti apa bentuk file robots.txt yang ideal, mari kita lihat bagaimana Anda dapat membuat file robots.txt di WordPress.

Bagaimana cara membuat file Robots.txt di WordPress?

Ada dua cara untuk membuat file robots.txt di WordPress. Anda dapat memilih metode yang paling sesuai untuk Anda.

Metode 1: Mengedit File Robots.txt Menggunakan Yoast SEO

Jika Anda menggunakan plugin Yoast SEO, plugin ini memiliki fasilitas generator file robots.txt.

Anda dapat menggunakannya untuk membuat dan mengedit file robots.txt langsung dari area admin WordPress Anda.

Cukup buka halaman SEO »Tools di admin WordPress Anda dan klik tautan File Editor.

Di halaman berikutnya, halaman SEO Yoast akan menampilkan file robots.txt Anda yang sudah ada.

Jika Anda tidak memiliki file robots.txt, maka Yoast SEO akan membuatkan file robots.txt untuk Anda.

Secara default, pembuat file robots.txt Yoast SEO akan menambahkan aturan berikut ke file robots.txt Anda:


User-agent: *

Disallow: /

Segera hapus teks ini, karena akan memblokir semua mesin pencari dari merayapi situs Anda.

Setelah menghapus teks default, Anda dapat melanjutkan dan menambahkan aturan robots.txt Anda sendiri. Saya sarankan untuk menggunakan format robots.txt yang ideal yang saya bagikan di atas.

Setelah selesai, jangan lupa klik tombol ‘Save changes to robots.txt’ untuk menyimpan perubahan Anda.

Metode 2. Edit file Robots.txt Secara Manual Menggunakan CPanel

Untuk metode ini, Anda harus masuk terlebih dahulu ke CPanel untuk mengedit file robots.txt.

Setelah masuk, Anda dapat melihat file robots.txt di folder root blog web Anda, biasanya di folder ‘public_html’.

Jika belum ada, Anda bisa menambahkan file baru dengan mengklik logo ‘+File >> Create New File’ beri nama file ‘robots.txt’.

File baru ‘robots.txt’ akan dibuat, tentu saja file ini masih kosong, jadi silahkan edit untuk mengetik perintah yang Anda inginkan di dalam fie tersebut.

Robots.txt adalah file teks biasa, yang berarti Anda dapat mengunduhnya ke komputer dan mengeditnya menggunakan editor teks biasa seperti Notepad atau TextEdit.

Setelah menyimpan perubahan, Anda dapat mengunggahnya kembali ke folder root blog Anda.

Bagaimana Cara Menguji File Robots.txt Anda?

Setelah Anda membuat file robots.txt Anda, ujilah menggunakan alat tester robots.txt.

Ada banyak alat penguji robots.txt di luar sana, tetapi saya sarankan untuk menggunakan yang ada di dalam Google Search Console.

Cukup masuk ke akun Google Search Console Anda,

Alat ini akan secara otomatis mengambil file robots.txt blog Anda dan menyoroti kesalahan dan peringatan jika ditemukan.

Kesimpulan

Tujuan mengoptimalkan file robots.txt Anda adalah untuk mencegah mesin pencari merayapi halaman yang tidak perlu untuk dilihat umum.

Misalnya, halaman di folder wp-plugins Anda atau halaman di folder admin WordPress Anda.

Sebuah mitos umum di antara para pakar SEO adalah bahwa memblokir kategori WordPress, tag, dan halaman arsip akan meningkatkan tingkat perayapan dan menghasilkan pengindeksan yang lebih cepat dan peringkat yang lebih tinggi.

Ini tidak benar. Itu juga melanggar pedoman webmaster Google.

Saya menyarankan Anda mengikuti format robots.txt di atas untuk membuat file robots.txt untuk blog Anda.

Saya harap artikel ini membantu Anda mempelajari cara mengoptimalkan file WordPress robots.txt Anda untuk menghasilkan peringkat SEO yang baik.

Artikel Lainnya

8 Komentar

  1. Q&A

    Terimakasih, sangat membantu awalnya saya kesulitan mencari cara agar ini bisa teratasi.

    Sudah coba setting plugin masih tidak bisa, akhirnya upload file manual dan alhamdulillah robots txt bisa terbaca di indeks lightouse github

    Balas
  2. Orubie

    Asslm, Mau tanya Suhu, Kalau di robots itu sitemapnya boleh banyak gak?

    Suwun

    Balas
    • hervansin

      Pake 1 sitemap aja suhu 🙂

      Balas
  3. Putra

    Mantao admin jangan lupa mampir juga di Artical ilmu

    Balas
  4. DEBM Blog

    Bagus, lengkap penjelasannya. Halaman dan artikel saya banyak yang “Dikecualikan” gara-gara belum edit robots.txt nya, dan masih keadaan settingan default.

    Terima kasih

    Balas
  5. Andrew

    halo bang , saya mau bertanya ..
    seandainya membuat robot.txt namun menggunakan plugin selain Yoast apakah bisa .
    contoh , saya menggunakan All in one SEO pack ..
    termakasih sebelumnya ..

    Balas
    • hervansin

      Bisa mas

      Balas

Kirim Komentar

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

Situs ini menggunakan Akismet untuk mengurangi spam. Pelajari bagaimana data komentar Anda diproses.

0