# robots.txt for https://kecid.org # Last updated: 2025-07-25 # Tujuan: Mengatur akses bot ke situs untuk perlindungan dan SEO # 1. Izinkan semua crawler untuk mengakses hampir semua bagian User-agent: * Disallow: /wp-admin/ Disallow: /wp-login.php Disallow: /cgi-bin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ Disallow: /tag/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: /author/ Disallow: /*?s= # blokir hasil pencarian internal Disallow: /*?attachment_id= # Izinkan akses ke admin-ajax.php Allow: /wp-admin/admin-ajax.php # 2. Blokir crawler yang dikenal sebagai spam atau berat User-agent: MJ12bot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: DotBot Disallow: / User-agent: GenomeCrawlerd Disallow: / # 3. Sitemap lokasi (penting untuk SEO) Sitemap: https://kecid.org/sitemap.xml # 4. Arahkan ke halaman error jika ada crawler yang mencoba mengakses area sensitif # (Ini bisa ditangani lewat server config, hanya dokumentasi di sini) # 5. Tambahan opsional (jika Anda menggunakan plugin SEO seperti RankMath atau Yoast) # Allow: /wp-content/uploads/ # Allow: /wp-content/themes/ # Allow: /wp-content/plugins/ # 6. Tambahan opsional jika pakai Google Ads/Bing Ads atau AMP # User-agent: AdsBot-Google # Allow: / # User-agent: Googlebot-Mobile # Allow: / # 7. Blokir hasil pencarian dinamis Disallow: /?s= Disallow: /*&orderby= Disallow: /*&order=