Webmaster
Tasarım Dersleri
Kullanıcı girişi
Kimler çevrimiçi
Son yorumlar
- tamadır teşekkür ederim :)
2 weeks 1 gün önce - CVP:arkadaşım sen iyi niyetimi
2 weeks 1 gün önce - arkadaşım sen iyi niyetimi
2 weeks 2 days önce - CVP:şu cevabınn
2 weeks 2 days önce - şu cevabınn
2 weeks 3 days önce - CVP:Makaleniz hakkında
2 weeks 3 days önce - Makaleniz hakkında
2 weeks 3 days önce - oldukça güzel görünüyor. Bİz
3 weeks 2 days önce - sanal kontör
3 weeks 6 days önce - Cozum bulundu mu?
5 weeks 5 days önce
Etiket bulutu
Robots.txt Dosyası Kullanım Robotları Yölendirme Kontrol
Robots.txt Dosyası
Kullanım Robotları Yölendirme Kontrol
Robots.txt dosyası arama motorları ve örümceklere sitenizdeki
dosya ve klasörleri gezip kayıt etmeleri için izin veren ya da
engelleyen dosyadır. Dosya kendi başına normal bir text dosyasından
farksızdır ve basit şekilde Notepad ile hazırlanabilir.
Anasayfanızın ya da sitenizin bulunduğu ana klasöre koyulmalıdır.
Neden robots.txt dosyasına ihtiyacım var?
Tüm önemli arama motorları, sitenize girer girmez öncelikli olarak
bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne,
örümceklerin girmesini istemiyorsanız ya da girmelerini engellemek
istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman
için yararlıdır. Çünkü bu dosya örümcekler için bir karşılama
dosyası, menü gibi görev yapar.
Neden örümcekleri engellemek isteyebilirim?
1. Site henüz tamamlanmamış olabilir. Ya da henüz tam oalrak
bitmemiş sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da
sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.
2. Şifrelemeye gerek duymadığınız ama yine de sizin için özel olan
bir içeriğe ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun
arama motorları tarafından kayıt edilmesini ve aramalarda çıkmasını
istemeyebilirsiniz.
3. Hata sayfalarının, cgi-bin gibi klasörlerin ya da teşekkür
ettiğiniz, içinde sadece "tamam" gibi kısa mesajlar bulundurduğunuz
dosya ve klasörlerinizin kayıt edilmesi kimsenin işine
yaramayacaktır.
4. Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların
aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski
doğurabilir.
5. Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan
zararlı örümceklerden robots.txt dosyası aracılığıyla
kurtulabilirsiniz.
Robots.txt dosyası oluşturmak
Robots.txt dosyasını herhangi bir text editor ya da notepad ile
oluşturabilirsiniz. Temelde içeriği şu şekildedir :
User-Agent: [Örümcek ya da Bot ismi]
Disallow: [Klasör ya da Dosya ismi]
Robots.txt ile belirli bir dosyayı belirli bir bottan korumak
Mesela "Haberler" diye bir bölüm oluşturuyorsunuz ve henüz
tamamlanmadan robotların gelip kayıt etmesini istemiyorsunuz. Bu
durumda, hedef tüm robotlar olduğu için özellikle robot ismi
belirtmek yerine yıldız işareti "*" kullanmalısınız. Bu tüm
robotları kapsayacaktır.
User-Agent: *
Disallow: /haberler/
Koruduğunuz bölüm isminin başına ve sonuna slah işareti "/" koymanız
o klasördeki tüm dosyaları kapsayacaktır.
Tüm robotlara kayıt izni vermek
Hedefimiz yine tüm robotlar olduğu için yıldız "*" işareti
kullanarak Disallow bölümünü boş bırakıyoruz.
User-agent: *
Disallow:
Tüm robotları dosya ve klasörlerinizden uzak tutmak
Yukarıdaki koda çok benzeyen ama ufak bir değişikliği olan bir kod
ile tüm robotları dosya ve kalsörlerinizden uzak tutabilir, kayıt
etmelerini engelleyebilirsiniz.
User-agent: *
Disallow: /
Robots.txt ile birden fazla klasör engellemek
Ayarları dikkatli bir şekilde yapmalısınız. Yoksa istemediğiniz
dosya ve klasörleri kayıt ettirebilir, istediklerinizi
engelleyebilirsiniz. Diyelim ki "cgi-bin" klasörünüzün içindeki bazı
dosyaların kayıt edilmesini istemiyorsunuz.
User-agent: *
Disallow: /cgi-bin/
Disallow: /_borders/
Disallow: /_derived/
Disallow: /_fpclass/
Disallow: /_overlay/
Disallow: /_private/
Disallow: /_themes/
Disallow: /_vti_bin/
Disallow: /_vti_cnf/
Disallow: /_vti_log/
Disallow: /_vti_map/
Disallow: /_vti_pvt/
Disallow: /_vti_txt/
Her klasör için ayrı bir komut yazmak en verimlisidir.
Sadece Altavista örümceğinin girmesini istemediğimiz klasörümüze,
Altavista robotunun ismi olan Scooter ı ekliyoruz.
User-Agent: Scooter
Disallow: /
Google'ın resim dosyalarımızdan uzak durmasını istiyorsak :
User-Agent: Googlebot-Image
Disallow: /images/
Eğer dosyalarınız "images" klasöründe değil ve dağınık olarak
değişik yerlerdeyse o zaman :
User-Agent: Googlebot-Image
Disallow: /
Anket
Son Konular
2012-03-22 19:47 - Geliştirdiğin kodları satmak ister misin
2012-02-12 23:21 - SMF forumu vbulletin foruma aktarmak
2011-12-14 21:50 - Motorlu araçlar otomobil vergisi sorgulama
2011-12-14 21:47 - Sorgulamalar
2011-12-11 14:33 - Ben az önce ne arayacaktım
2011-09-10 22:51 - DSLR Fotograf Makinası sınıflandırması
2011-09-09 17:33 - ‘Crop Factor’ Nedir, hakkında bilgi
2011-09-09 17:30 - Fotograf Rehberi
2011-08-20 21:30 - Samsung LEDTV'lerde .SRF ve XFS süprizi
2011-08-19 00:45 - 2011 yılının web tasarım trendleri
2011-04-09 20:18 - Alan adları gerçek isim sahiplerine verilecek!
2011-01-13 01:43 - SEO İçin Dikkat Edilmesi Gereken Hususlar
2011-01-13 01:42 - Meta tag SEO Optimization
2011-01-13 01:41 - Google Adsense Hakkında Detaylı Bilgi
2011-01-13 01:40 - Soru Ve Cevaplar ile Google Adsense
2011-01-13 01:39 - Arama motoru Google ve Pagerank
2011-01-13 01:38 - Seo Sözlüğü
2011-01-13 01:37 - Google Arama Özellikleri
2011-01-13 01:36 - Adsense Reklam Yerleşimi
2011-01-13 01:35 - Robots.txt Dosyası Kullanım Robotları Yölendirme Kontrol
2011-01-13 01:34 - Sitenizin Google ve Web deki Yeri
2011-01-13 01:33 - Arama Motoru Bilgi ve İpuçları
2011-01-13 01:31 - Arama Motorları Teknikleri
2011-01-13 01:29 - Google Pagerank Detaylı Anlatım
2011-01-13 01:27 - Sitenize Ziyaretçiler En Çok Hangi Kelimeler İle Gelmiş
2011-01-13 01:25 - Pagerank Nedir?
2011-01-13 01:19 - Fireworks Shadow and Glow
2011-01-13 01:18 - Fireworks Sharpen
2011-01-13 01:16 - Fireworks Other
2011-01-13 01:13 - Fireworks Blur
2011-01-13 01:09 - Fireworks Bevel and Emboss
2011-01-13 01:05 - Fireworks Adjust Color
2011-01-13 01:03 - Fireworks Save as Style
2011-01-13 00:58 - Fireworks Text Menüsü
2011-01-13 00:54 - Fireworks Select Menüsü
2011-01-13 00:54 - Fireworks Modify Menüsü
2011-01-13 00:51 - Fireworks View Menüsü
2011-01-13 00:18 - Fireworks Edit Menüsü
2011-01-13 00:16 - Fireworks File Menüsü
2011-01-13 00:05 - İnternet - Web Tarayıcılar (Browser)
2011-01-13 00:04 - İnternet - Web Server Yazılımları
2011-01-13 00:03 - İnternet ve Web İlişkisi
2011-01-13 00:02 - İnternette Kullanılan Protokoller
2011-01-13 00:01 - İnternet - World Wide Web (WWW) Nedir?
2011-01-13 00:00 - İnternet - URL nedir?
2011-01-12 23:43 - İnternet Backorder Nedir?
2011-01-12 23:34 - İnternet - Virüs Nedir?
2011-01-12 23:32 - İnternet Paypal nedir? Nasıl Kullanılır?
2011-01-12 23:31 - İnternet - DNS Nedir?
Günün Konuları
Facebook . SEO . Arama motoru . seo nedir . SEO sanatı . harddisk kullanımı . yerli arama motoru . Tayfun Acarer . Bilgi Teknolojileri ve İletişim Kurumu . Anaposta Projesi . Web siteleri . link değişimi . hizmet . çalıntı içerik . Facebook üyelik iptali . facebook üyelik . hesap silme . facebook hesabı . twitter namaz . twitter ezan . twitter namaz vakitleri . ezan vakti . namaz vakitleri . watt hesaplaması . pc ne kadar yakar . elektirik hesaplaması . fatura . elektirik . Fake mail . sahte elektronik posta . internet suçları . fake email . php GMT . time zone . gmdate nedir . gmmktime nedir . gmdate hakkında bilgi . php de tarih . dmoz . dmoza yeni eklenen siteler . dmozdan silinen siteler . dmoz yöneticileri . dmoza nasıl site eklenir . püf noktalar . PHP DOUBLE . PHP FLOAT . Toplama hatası . Twitter api . Canonical . Canonical Url . drupal dil sorunu . drupal türkçe sorunu . drupal türkçe . drupal yardım . Seonun tanımı . Google de yukarıda çıkmak . Seo Tarihi . süreklilik . Arama motoru optimize . Neden SEO . SEO Nasıl Yapılır . ziyaretçi nasıl kazanılır . kontör sitesi . kontör . turkcell kontör . vodafone kontör . avea kontör . ucuz kontör . Alexa . alexa hakkında bilgi . alexa raporları . alexa nasıl kullanılır . alexa ne işe yarar . alexa bilgi . alan adı . site adresi . web site adresi . domain satan yerler . elektrik hesaplaması . elektrik .














Yeni yorum gönder