webhely létrehozása
Előfordulhat, hogy egy webmester lehet, hogy lezárja az indexálás az oldalon. Ez a probléma könnyen megoldható egy robots.txt fájl segítségével. Lehet, hogy kérdezze: „És mi webmesterek zárásakor a portál indexelni a robotok?” Az oldalak vannak zárva, hogy ne rossz indexelés robotok keresők, vagy hogy elkerüljék a kereső szűrők (igen, ez történik), mivel az nem egyedi ... tartalom, és gyakrabban, hogy lezárja az indexelése különböző típusú szemetet a CMS mint például a páros oldalakon. admin, a téma oforleniya.
robots.txt fájl - egy szöveges fájl található a gyökér könyvtárban hosting, amelyben konkrét intézkedéseket rögzíti az oldalak, blog bejegyzések, képek, stb
Keresőrobotok amikor közeledik a helyszínen azonnal keres egy robots.txt fájlt, és tekintse meg az utasításokat a fájl bal webmaster keresőmotorok.
robots.txt fájl utasítások
A robots.txt fájl két alapvető utasításokat: «User-agent» és «ne engedélyezze», amelynek révén, és leírta, hogy a keresőmotor pókok az index, és mit, hogy kihagyja. Egyes keresők is támogatják a további utasításokat. Például a kereső «Yandex» használ «Host» utasítást újra.
Nézzük részletesen az egyes utasítások és feljegyzések teszik webmesterek utánuk a robots.txt fájlban
Utasítás fájl robots.txt «User-agent»
Ez az utasítás meghatározza olyan keresési robotok, hogy a tilalom, vagy lehetővé teszik index oldalak (katalógus). Ha azt akarjuk, hogy a tilalom vagy lehetővé teszik az indexelés az összes robotot, a következő bejegyzés kerül a robots.txt fájlban:
robots.txt «tiltása» Reszelő utasítás
Ha tesz egy „/”, ez lesz a tilalmat minden könyvtárat és erőforrás oldalakon.
Ha így van, a tilalom indexelése az egész könyvtárat «/ kép /«, vagyis minden könyvtárra.
Ha egy ilyen rekord a tilalmat indexel egy adott oldal «/page1-small.htm«
Ha nem akarsz, hogy a tilalmat minden olyan oldalon, vagy könyvtárak, üres helyet hagyhat írni:
Az egyik legfontosabb szabály a megfelelő nyilvántartás a robots.txt fájl szabályainak - minden új utasítást írt egy új sort.
Yandex utasítást robots.txt «Host» fájlt
Yandex utasításfájl robors.txt «Crawl-delay»
Ez az utasítás robots.txt meghatározza a minimális másodpercben a kérések között, hogy töltse le a helyszínen oldalak indexelése robotok (használt terhelésének csökkentése a szerveren).
Utasítás fájl robots.txt «látogatás idejű»
Ez a megállapítás arra utal robots.txt bejárók letöltés ideje oldalak indexelve (1:00-03:45 GMT).
Véleményem egy nagyon hasznos dolog! Például, hogy néhány változtatást, majd pritopal egyik botok - „nem egy meghívott vendég”, és minden evett a megfelelő (nem a jobb oldalon) ... változásokat. Tudod, nem jó. Ezért gondoskodjék arról, hogy ez a szabály a hajók számára a szükséges időkeretet látogatók.
Példák robots.txt fájlt.
Minden bejárók hely teljes mértékben hozzáférhető a indexelés.
Minden webes robotok az oldalon tilos az indexelés katalógusok »/ images /. / Buttons /. / Témák / «
A robots.txt fájl WordPress blog:
A robots.txt fájl Joomla:
A robots.txt fájl Drupal:
A robots.txt fájl MODx Evo.
robot.txt fájl MODx Revo.
Oldal optimalizált mobil eszközök által WPSmart Mobile