Teknik SEO Rehberi: Robots.txt, Sitemap ve Canonical Doğru Kullanımı
· PoolByte
Teknik SEO'da üç farklı soruyu ayırmak gerekir: Arama motoru sayfayı ziyaret edebiliyor mu, sayfa arama sonuçlarına alınabilir mi ve benzer URL'ler arasında hangi adres tercih ediliyor? Robots.txt, sitemap, canonical ve noindex bu sorulara farklı biçimlerde katkı sağlar. Bir ayarı diğerinin yerine kullanmak, görünürlük sorununu çözmek yerine büyütebilir.
Bir blog yazısının HTTPS adresi, HTTP sürümü, farklı alan adı biçimi ve kampanya parametresiyle çoğaldığını düşünün. Hepsinin aynı içeriği göstermesi, arama motoruna hangi adresi tercih ettiğinizi açıkça bildirdiğiniz anlamına gelmez. Önce yayınlamak istediğiniz kalıcı URL düzenini belirleyin.
Robots.txt taramayı düzenler
Robots.txt, kurallara uyan tarayıcıların hangi yolları ziyaret edebileceğini belirtir. Bir güvenlik duvarı veya özel dosya erişim kontrolü değildir. Bir URL'yi burada engellemek, o URL'nin başka bağlantılardan keşfedilip arama sonucunda görünmesini her durumda önlemez.
Özellikle siteyi oluşturan CSS ve JavaScript dosyalarını gelişigüzel engellemeyin. Arama motorunun sayfanın görünür içeriğini anlaması zorlaşabilir. Yönetim alanını korumak için asıl yöntem kimlik doğrulama ve yetkilendirmedir; robots dosyasına yolu yazmak koruma sağlamaz.
Aşağıdaki örnek, bütün taramaya izin verilen bir site için sade başlangıçtır:
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xmlexample.com yerine kendi kalıcı alan adınızı kullanın. Bu örnek bütün siteler için hazır bir politika değildir. Gerçek URL yapısına ve ihtiyaçlara göre kuralları değerlendirin; yayından sonra robots dosyasının erişilebilirliğini doğrulayın.
Noindex farklı bir karar verir
Bir sayfanın arama sonuçlarına alınmasını istemiyorsanız destekleyen arama motorları için noindex kullanılabilir. Google'ın bu yönergeyi görebilmesi için sayfayı tarayabilmesi gerekir. Aynı sayfayı robots dosyasıyla engelleyip noindex'in yine görüleceğini varsaymayın.
Test ortamları ve kişiye özel sayfalar ayrıca erişim kontrolüyle korunmalıdır. Noindex özel veriyi gizleyen bir güvenlik mekanizması değildir. Staging rehberindeki ayrım, test kopyasının yanlışlıkla yayımlanmasını önlemenize yardımcı olur.
Üretime geçiş sırasında testten kalan noindex'i kontrol edin. Ana sayfa, kategori ve önemli hizmet sayfalarının görünürlük kararı ayrı ayrı belli olsun. Tek bir genel ayar, bütün içerik türleri için doğru sonucu vermeyebilir.
Sitemap keşfi kolaylaştırır
Sitemap, arama motorlarına sitenizdeki URL'leri ve uygun ek bilgileri sunar. Bütün adreslerin taranmasını veya indekslenmesini garanti etmez. Önemli sayfaların site içinden anlaşılır bağlantılarla ulaşılabilir olması da gerekir; sitemap zayıf gezinme yapısının yerine geçmez.
Listeye tercih edilen, erişilebilir ve indekslenmesini istediğiniz URL'leri ekleyin. Silinmiş sayfalar, hata yanıtları ve gereksiz parametre varyasyonları haritayı kirletebilir. Son değişiklik bilgisini yalnızca anlamlı içerik değiştiğinde güncelleyin; bütün tarihleri sürekli bugüne çekmek doğru bir bakım yöntemi değildir.
Küçük bir örnek kontrolü yapın: son yayımlanan üç yazı haritada var mı, URL'ler HTTPS mi ve açıldığında doğru sayfa geliyor mu? Ardından mevcut içeriklerle karşılaştırın. Harita oluşturuluyor diye her yeni yazının otomatik dahil edildiğini varsaymayın.
Canonical tercih ettiğiniz sürümü belirtir
Canonical, birbirinin kopyası veya çok benzeri sayfalarda tercih edilen URL'yi belirtmek için kullanılan güçlü bir sinyaldir. Yönlendirme ve sitemap gibi diğer sinyallerle tutarlı çalışması gerekir. Google farklı bir adresi de tercih edebilir; canonical kesin emir olarak düşünülmemelidir.
Bir içerik kalıcı olarak taşındıysa uygun yönlendirme, kullanıcıyı da yeni adrese götürür. Canonical ise ziyaretçinin tarayıcı adresini otomatik değiştirmez. Aynı amaca hizmet ediyor gibi görünseler de kullanıldıkları durum farklıdır. Birbirinden tamamen farklı yazıları yalnızca benzer anahtar kelime taşıyor diye tek URL'ye canonical yapmayın.
Sayfalama, filtreleme ve dil sürümlerinde karar içerik yapısına bağlıdır. Her parametreli adresi düşünmeden ana sayfaya bağlamak, yararlı içeriğin sinyallerini karıştırabilir. Hangi sayfanın aynı içerik, hangisinin ayrı ihtiyaca cevap olduğunu önce editoryal olarak belirleyin.
Tutarsız sinyalleri tek örnek üzerinde bulun
Varsayımsal bir rehber için kalıcı adresiniz https://example.com/blog/rehber olsun. İç bağlantılar bu adresi kullanırken sitemap HTTP sürümünü, canonical başka bir slugı ve yönlendirme üçüncü adresi gösteriyorsa sistem tutarsızdır.
- Tercih ettiğiniz kalıcı URL'yi yazın.
- İlgili URL'nin gerçek durum kodunu kontrol edin.
- Canonical değerini oluşturulmuş sayfa içinde doğrulayın.
- Sitemap kaydıyla karşılaştırın.
- İç bağlantıların aynı adrese gittiğini kontrol edin.
- Robots ve noindex kararlarını birlikte değerlendirin.
- Varsa Search Console URL incelemesinde görülen sonucu okuyun.
Bu işlem için bütün siteyi bir kerede değiştirmek zorunda değilsiniz. Önce önemli hizmetler ve temsilî sayfa türleri üzerinde tutarlılığı kurun; sonra kapsamı genişletin.
Teknik düzeni faydalı içerikle tamamlayın
Doğru robots dosyası, okunmayan bir yazıyı değerli hale getirmez. Kullanıcının sorusuna cevap veren içerik, anlaşılır başlık ve ilgili iç bağlantılar gerekir. Web hosting ve alan adı gibi hizmet sayfalarına, gerçekten karar vermeye yardımcı oldukları yerde bağlantı verin.
Yanlış HTTP yanıtlarını da izleyin. 404 ve sunucu hataları rehberi, hata sayfasının gerçek kodunu doğrulamaya yardımcı olur. Görsel yükleme ve etkileşim sorunları için Core Web Vitals rehberine başvurabilirsiniz.
Sık sorulan sorular
Sitemap göndermek Google'da ilk sırayı sağlar mı?
Hayır. Sitemap keşif aracıdır; tarama, indeksleme veya sıralama garantisi değildir.
Her sayfada aynı canonical kullanılabilir mi?
Farklı içeriği olan sayfalara aynı hedefi vermek doğru bir genel çözüm değildir. Tercih kararı sayfanın içeriği ve URL ilişkisine göre verilmelidir.
Bir değişikliği ne zaman başarılı saymalıyım?
Doğru yanıtı, tutarlı URL sinyallerini ve ilgili raporları doğrulayın. Arama motoru tarafındaki görünümün anında değişeceğini varsaymayın; yapılan değişiklikleri tarihleyip takip edin.