Helyes - indexelés site management
Robots.txt - fájl kerül a gyökér könyvtárban az oldalon. C segítségével ellenőrzés következik be a keresőmotor pókok látogató a helyszínen. Mint minden program kereső robotjai vannak téve bizonyos előírásoknak. Néha meg kell győződnie arról, hogy a keresőmotorok nem index bizonyos szakaszain az oldalon, vagy éppen ellenkezőleg, az index az adott oldalakat.
A robots.txt fájl mondja meg a keresőprogramok, hogy index, és mi nem. Ez lehet nagy előny a későbbi optimalizálás és helyszíni promóció.
Hogyan hozzunk létre egy robots.txt fájlt
User-agent
User-agent - a kereső robot, amely a leírt utasításokat a robots.txt fájlban. Ha ezt az irányelvet hiányzik, úgy tekinthető, hogy a hozzáférést a webhely szakaszok nem korlátozott.
A Yandex a következő robotok, amelyek meghatározott User-agent értelmében:
A Google a következő lapolvasók:
User-agent kezelt összes kereső pókok, hogy kell kinéznie:
Letiltása és engedélyezése
Letiltani indexelése egyes részein az oldal használja az irányelv tiltása.
Tiltása: / # tilos indexelése az egész oldalon
Tiltása: / kép # -dohányzás részén kép indexelés és az oldal image.html
Tiltása: /page1.php # page1.php tilos indexelni az oldalt
Annak érdekében, hogy szkennelés egy adott webhely területen, akkor használja az Allow
Tiltása: / kép # tilos indexelés / kép és /image.html. de
Engedélyezés: / kép / katalógus # hagyjuk image / katalógus indexelése alfejezet
Nem engedélyezett üres sortöréseket között User-agent, engedélyezése és tiltása.
Abban az esetben, a konfliktus tiltása és engedélyezése, előnyben részesítjük engedélyezése.
Különleges karakterek * és $
Tiltás vagy Engedélyezés irányelvek megadhat speciális karakterek „*” és „$”.
Disallow: / kép $ # blokk indexelése csak / kép
Tiltása: / kép * $ # a 'Disallow: / kép' - megtiltja és / kép és /image.html
Ha az internetes ingatlan egy oldaltérkép - sitemap.xml. és azt szeretné, hogy a keresőprogramok tudja róla, adja meg a robots.txt fájl elérési útját a webhely térképet, akkor a Webhelytérkép irányelvet. Ha több hely térképek - megadhatja mindet.
Sitemap: //site1.com/sitemap1.xml
Sitemap: //site1.com/sitemap2.xml
Ha a robots.txt fájl utasításokat tartalmaz több bejárók, a Webhelytérkép irányelv lehetséges regisztrálni csak egyszer s mindenkorra, akkor valahogy így néz ki:
Letiltás: /about.html
Sitemap: //site1.com/sitemap1.xml
Ha a webhely egy másik tükör, például egy domain www vagy www nélkül, speciális robot zerkalischik talál egy tükröt, és alkotnak egy csoportot, és a keresési eredmények azt mutatják, csak az egyiket. Annak érdekében, hogy a robotunk azokat a fő tükör, használja a fogadó irányelv - által támogatott Yandex.
Host - nem garantálja a 100% -os helyes választás az elsődleges tükör, de mégis, a kereső meg fogja vizsgálni ezt az állítást.
A kompatibilitás a robots.txt fájlt a robotok a keresők, amelyek nem támogatják az irányelv címe, add meg a szabályokat a csoport után azonnal engedélyezze vagy tiltsa.
User-agent: Yandex
Engedélyezés: /
A robots.txt fájl tartalmazhat csak 1 fogadó. Ha lesz egy pár keresők figyelembe véve csak az elsőt.
Crawl-delay
Ha a szerver be van töltve, és nem felel meg valamennyi kérelmet - használja az irányelv Crawl-delay. Ez meghatározza az időintervallum vége között egy scan és az oldal elejére beolvasását.
Crawl-delay, valamint Host, hozzáadjuk a csoport utasításokat, kezdve User-Agent után engedélyezze vagy tiltsa.
Crawl-delay: 3 # timeout 3 másodpercig
Clean-param
Például, ha van, a következő oldalon:
www.site.com/dir/file.php?ref=site1file_id= 123
www.site.com/dir/file.php?ref=site2file_id= 123
www.site.com/dir/file.php?ref=site3file_id= 123
Dinamikus paraméterek «ref =» pályán honlapok forrásokat, ahonnan az átmenet történik, és nem változtatja meg a tartalmát az oldal.
Ha a robots.txt fájlt írni a következőket:
Clean-param: ref /dir/file.php
Clean-param-Vízválasztó irányelv megállapította bárhol robots.txt. Ha több robot fogja vizsgálni az összes irányelvek Clean-param.
A robots.txt ellenőrzése
Hogy ellenőrizze a robots.txt fájlt, használja a szolgáltatást a keresőmotorok. Ki más tudják, hogy a munka utasításokat a robots.txt helyesen.
Robots.txt elemző Yandex néz ki.
A robots.txt ellenőrzése Google:
- Menj a Google webmaster panel.
- Válassza ki a helyszínen van szüksége, keresse fel a menüpont állapota - Blokkolt URL-t.
- Válassza ki a „Check robots.txt».
- Majd másolja a tartalmát a robots.txt fájlt, és helyezze el a megfelelő mezőbe.
- Mi az az URL, hogy ellenőrizze.
- A User Agent listából válassza ki a Google robotok kívánt szkennert.
Hogyan hozzunk létre egy Sitemap XML
Nofollow attribútumot és tag Noindex
Címkék HTML formázás