File - beállítás és irányelvek megtiltják indexelés oldalak

Robots.txt - Ez a szolgáltatás a fájl, amely arra szolgál, mint egy ajánlást, hogy korlátozza a hozzáférést a webes dokumentumok a keresőmotorok. Ebben a cikkben fogjuk megvitatni beállítás robots.txt, leírás és útmutató kidolgozására a népszerű CMS.

Miért van szükség robots.txt

Amint azt említettük - a robots.txt fájlt, akkor a hozzáférés korlátozására a keresőrobotok számára, hogy a dokumentumok, azaz a mi közvetlenül befolyásolják az indexelés az oldalon. Leggyakrabban zárva indexelés:

  • Hivatalos fájlok és mappák CMS
  • ismétlődések
  • Dokumentumok, amelyek nem hordoznak előnyöket a felhasználó számára
  • Nem egyedi oldalak

Tekintsünk egy konkrét példát:

Online boltja cipő és rájött, az egyik legnépszerűbb CMS, ami nem a legjobb módszer. Azt lehet mondani, rögtön, hogy kiadja a keresési oldalon, oldalszámozás, bevásárlókosár, néhány kurzor fájlok, stb Mindez lesz a páros és szolgáltatási fájlok használhatatlanok a felhasználónak. Következésképpen ezeket kell fedezni, indexálás, és ha van még „News” rész az copy-paste különböző érdekes cikkeket helyszínek a versenytársak - és akkor úgy gondolja, hogy nem szükséges, csak közel.

Robots.txt irányelvek és szabályok konfiguráció

User-agent. Ez a felhívás egy adott kereső robot vagy minden robotot. Ha az előírt konkrét neve a robot, például «YandexMedia», az általános irányelvek felhasználói ügynök nem használják azt. Példa az írás:

Tiltása / engedélyezése. Ez letiltása / engedélyezése indexelés egy adott dokumentum vagy részben. Az, hogy az írás nem számít, de az irányelv 2. és ugyanolyan prefix, elsőbbséget élveznek «engedélyezése». Olvasás lánctalpas előtag hossza, a legkisebbtől a legnagyobbig. Ha meg kell tiltani az indexelés az oldalt - csak adja meg a relatív elérési útvonalát (Letiltás: / blog / post-1).

A reguláris kifejezések * és $. A csillag azt jelenti, bármilyen karaktersor (beleértve az üres). A dollár jel azt jelenti, megszakítást. Felhasználási példák:

Sitemap irányelv. Ha a webhely (sitemap.xml) kártya -, akkor a robots.txt jelezni kell, az alábbiak szerint:

Irányelv Host. Mint tudják, az oldalon van egy tükör (olvasni, hogyan kell ragasztani a tükör helyén). Ez a szabály meghatározza a keresési bot a fő tükör az életed. Arra utal, hogy a Yandex. Ha van egy tükör nélküli WWW, írunk:

Crawl-delay. Meghatározza lefoglalják (másodpercben) között ugrik bot a dokumentumok. Előírt miután az irányelv tiltása / engedélyezése.

Clean-param. Ez meghatározza a keresési bot, ami nem kell letölteni további ismétlődő adatokat (munkamenet-azonosítók, hivatkozó felhasználó). Felírni Clean-param legyen dinamikus oldalak:

A legfontosabb szabály: robots.txt kell kisbetűkkel és hazugság a gyökere a helyén. Példa fájl szerkezete:

Robotok meta tag és hogyan írják

Ez a lehetőség figyelembe veszi a tilalmat oldalak jobb kereső Google. Yandex egyformán jól figyelembe veszi mind.

Bármelyik oldalon lehet regisztrálni a tag következő:

Helyes robots.txt fájl népszerű CMS

Robots.txt például a WordPress

Alább látható az én verzióm egy Seo blog.

Utilities mappát és fájlok bármilyen CMS megpróbálom becsukom, mert Nem akarom, hogy esik az index (bár a keresők már, és így nem veszik, de ez nem lesz rosszabb).

Takarmány (takarmány) zárva van, mivel a Ez a részleges vagy teljes ismétlődő oldalakat.

Címkék bezárásához, ha nem használja, vagy lustaság, optimalizáljuk őket.

Példák más CMS

Ahhoz, hogy töltse le a megfelelő robotok a megfelelő CMS, egyszerűen kattintson a megfelelő linkre.

Hogyan lehet ellenőrizni a helyességét fájlművelet

A robots.txt elemzése a Yandex Webmaster - itt.

Crawl késleltetése

Figyelünk, és állítsa be, ha szükséges.

Népszerű kérdések robots.txt

Hogyan zárjuk az oldalt indexelt?

Hogyan lehet megelőzni indexelése oldalon?

Hogyan tudom megakadályozni, hogy az indexelés tükör?

Tárolni zárás költségeit helyezése (kosár)?

Van egy weboldal nélkül CMS, akár azt kell robotok?

  • Igen, hogy meghatározza a fogadó és Sitemap. Ha több példányban - amely helyzet alapján zárja be őket.

Más kérdés, hogy nem találja a választ. Hálás lennék a véleményére. Hadd emlékeztessem önöket, hogy a helyszínen - nem egy blog, és a helyén egy kis ingatlanügynökség.

Site WordPress korrigálva a robotok ajánlásainak megfelelően és példák különböző helyszíneken. Valamint más irányelvek és ezek a következők:
Disallow: / wp-includes /
Disallow: / wp-content / plugins /
Disallow: / wp-content / themes /

Ellenőrizze az oldalak Google webmaster, lásd „-ban Googlebot». Ezzel robors oldalak jelennek meg, csak szöveget, vagyis a hely olyan, mint egy félig szövet. Egy fénykép, design, design elemek, táblázatok, stb nem látható. Azt jelzi, hogy blokkolja ezeket az elemeket annak köszönhető, hogy a következő irányelveket:
Disallow: / wp-includes /
Disallow: / wp-content / plugins /
Disallow: / wp-content / themes /

Ebben az összefüggésben a kérdést. Ennek így kell lennie, hogy az oldal úgy néz ki, mint egy csonka a keresőmotorok? Vagy ez is leminősített az eredményeket keresők annak a ténynek köszönhető, hogy úgy néz ki, a szemükben hibás? Ha az utóbbi igaz, akkor mit kell tenni, hogy orvosolja a helyzetet?

Szergej K. hozzá a robotok:
Engedélyezés: / wp-content / feltöltések / * / * /

A többi - az SS nem nézett a helyszínen, mint a normál felhasználók.

Köszönöm szépen, római, akik válaszoltak a kérésemet. És fogok tenni, ahogy tanácsot.

Köszönöm a tanulságos cikket. Most már tudom, hogy az én hely volt rossz robots.txt fájlt. Ezért kérjük, hogy tisztázza az alábbiakat:

Ha szükséges, melyek ezek?
Köszi előre.