Apakah Anda ingin mengoptimalkan file robots.txt WordPress Anda? Tidak yakin mengapa dan bagaimana file robots.txt penting untuk SEO anda? Kami telah membuatmu tertutup. Pada artikel ini, kami akan menunjukkan cara mengoptimalkan robots.txt WordPress Anda untuk SEO dan membantu Anda memahami pentingnya file robots.txt.
Baru-baru ini, pengguna bertanya kepada kami apakah mereka memerlukan file robots.txt dan apa pentingnya? File robots.txt situs Anda memainkan peran penting dalam keseluruhan kinerja SEO situs Anda. Ini pada dasarnya memungkinkan Anda untuk berkomunikasi dengan mesin pencari dan membiarkan mereka mengetahui bagian mana dari situs Anda yang harus mereka indekskan.
Apakah saya benar-benar membutuhkan file Robots.txt?
Tidak adanya file robots.txt tidak akan menghentikan mesin pencari merayapi dan mengindeks situs Anda. Namun, sangat disarankan agar Anda membuatnya. Jika Anda ingin mengirimkan sitemap XML situs Anda ke mesin pencari, maka di sinilah search engine akan mencari sitemap XML Anda kecuali Anda telah menentukannya di Google Webmaster Tools.
Kami sangat menyarankan agar jika Anda tidak memiliki file robots.txt di situs Anda, maka Anda segera membuatnya.
Dimana file Robots.txt itu? Cara membuat file Robots.txt?
File robots.txt biasanya berada di folder akar situs Anda. Anda perlu terhubung ke situs Anda menggunakan klien FTP atau dengan menggunakan manajer file cPanel untuk melihatnya.
Ini sama seperti file teks biasa, dan Anda bisa membukanya dengan editor teks biasa seperti Notepad.
Jika Anda tidak memiliki file robots.txt di direktori akar situs Anda, Anda dapat selalu membuatnya. Yang perlu Anda lakukan adalah membuat file teks baru di komputer Anda dan menyimpannya sebagai robots.txt. Selanjutnya, cukup unggah ke folder akar situs Anda.
Bagaimana cara menggunakan file Robots.txt?
Format untuk file robots.txt sebenarnya cukup sederhana. Baris pertama biasanya memberi nama agen pengguna. Agen pengguna sebenarnya adalah nama bot pencarian yang ingin Anda ajak berkomunikasi. Misalnya, Googlebot atau Bingbot. Anda bisa menggunakan asterisk * untuk menginstruksikan semua bot.
Baris berikutnya berikut dengan Izinkan atau Larang instruksi untuk mesin pencari, jadi mereka tahu bagian mana yang Anda inginkan untuk diindeks, dan yang mana yang tidak ingin diindeks.
Lihat contoh file robots.txt:
Agen pengguna: * Izinkan: / wp-content / uploads / Disallow: / wp-content / plugins / Larang: /readme.html
Dalam file robots.txt contoh ini untuk WordPress, kami telah menginstruksikan semua bot untuk mengindeks direktori pengunggahan gambar kami.
Dalam dua baris berikutnya kita telah melarang mereka untuk mengindeks direktori plugin WordPress kita dan file readme.html.
Mengoptimalkan File Robots.txt untuk SEO
Dalam panduan untuk webmaster, Google menyarankan agar webmaster tidak menggunakan file robots.txt untuk menyembunyikan konten berkualitas rendah. Jika Anda berpikir untuk menggunakan file robots.txt agar Google tidak mengindeks kategori, tanggal, dan halaman arsip lainnya, maka itu mungkin bukan pilihan yang bijak.
Ingat, tujuan robots.txt adalah menginstruksikan bot apa yang harus dilakukan dengan konten yang mereka jelajahi di situs Anda. Tidak berhenti bot merayapi situs Anda.
Ada plugin WordPress lainnya yang memungkinkan Anda menambahkan tag meta seperti nofollow dan noindex di halaman arsip Anda. Plugin SEO WordPress juga memungkinkan Anda melakukan ini. Kami tidak mengatakan bahwa Anda harus memiliki halaman arsip Anda deindexed, tapi jika Anda ingin melakukannya, maka itulah cara yang tepat untuk melakukannya.
Anda tidak perlu menambahkan halaman login WordPress, direktori admin, atau halaman registrasi ke robots.txt karena halaman login dan registrasi memiliki tag noindex yang ditambahkan sebagai meta tag oleh WordPress.
Sebaiknya larang file readme.html di file robots.txt Anda. File readme ini bisa digunakan oleh seseorang yang mencoba mengetahui versi WordPress yang Anda gunakan. Jika ini adalah individu, maka mereka dapat dengan mudah mengakses file dengan hanya browsing ke sana.
Di sisi lain jika seseorang menjalankan permintaan jahat untuk menemukan situs WordPress menggunakan versi tertentu, maka tag larangan ini dapat melindungi Anda dari serangan massal tersebut.
Anda juga dapat melarang direktori plugin WordPress Anda. Ini akan memperkuat keamanan situs Anda jika seseorang mencari plugin rentan tertentu untuk dieksploitasi karena serangan massal.
Menambahkan Peta Situs XML Anda ke File Robots.txt
Jika Anda menggunakan plugin Yoast WordPress SEO atau beberapa plugin lain untuk menghasilkan peta situs XML Anda, plugin Anda akan mencoba menambahkan secara otomatis baris terkait peta situs Anda ke file robots.txt.
Namun jika gagal, maka plugin Anda akan menunjukkan link ke Peta Situs XML Anda yang dapat Anda tambahkan ke file robots.txt Anda secara manual seperti ini:
Peta Situs: https://www.example.com/post-sitemap.xml Peta Situs: https://www.example.com/page-sitemap.xml
Apa File Robots.txt yang Ideal Harus Diketahui?
Jujur saja, banyak blog populer menggunakan file robots.txt yang sangat sederhana. Isinya bervariasi, tergantung kebutuhan dari situs tertentu:
Agen pengguna: * Melarang: Peta Situs: https://www.example.com/post-sitemap.xml Peta Situs: https://www.example.com/page-sitemap.xml
File robots.txt ini hanya memberi tahu semua bot untuk mengindeks semua konten dan menyediakan tautan ke sitemap XML situs.
situs
Agen pengguna: * Izinkan: /? Display = wide Izinkan: / wp-content / uploads / Disallow: / wp-content / plugins / Larang: /readme.html Larang: / rujuk / Peta Situs: https://www.site.com/post-sitemap.xml Peta Situs: https://www.site.com/page-sitemap.xml Peta Situs: https://www.site.com/deals-sitemap.xml Peta Situs: https://www.site.com/hosting-sitemap.xml