Jak blokovat vyhledávače (s ilustracemi)

Vyhledávače jsou vybaveny roboty (Web Spiders nebo Bots), které skenují a indexové webové stránky. Pokud je vaše webové stránky nebo stránka ve vývoji nebo obsahuje nežádoucí obsah, roboty mohou být zakázány skenovat a indexovat vaše webové stránky. Naučte se zablokovat celé stránky, stránky a odkazy pomocí souboru roboty.Txt nebo konkrétní stránky a odkazy pomocí tagů html . Přečtěte si, abyste zjistili, jak zakázat přístup k obsahu určitým robotům.

Kroky

Metoda 1 z 2:

Zamknout vyhledávače pomocí souboru roboty.Txt

jeden. Podívejte se na soubor roboty.Txt. Soubor roboty.Txt je jednoduchý textový soubor nebo soubor ASCII, který vypráví webové pavouci vyhledávačů, ke kterým části webu mohou přistupovat. Soubory a složky uvedené v souboru roboty.Txt, nelze naskenovat a indexovat vyhledávacími roboty. Použijte soubor roboty.Txt, pokud:

Chcete skrýt určitý obsah z vyhledávačů;
Jste v procesu vývoje stránky a nejsou připraveni pro skenování a indexování stránek pavouci vyhledávačů;
Chcete omezit přístup k autoritativním robotu.

2. Vytvořte a uložte soubor roboty.Txt. Chcete-li vytvořit soubor, otevřete obvyklý textový editor nebo editor kódu. Uložte soubor jako roboty.Txt. Název souboru musí být napsáno s malými písmeny.

Nezapomeňte přidat "S" na konci.

Při uložení souboru vyberte příponu ".Txt ". Pokud používáte aplikaci Word, vyberte možnost "Obyčejný text".

3. Vytvořit soubor roboty.Txt s bezpodmínečným zakázáním. Bezpodmínečným zakázáním Směrnice vám umožní blokovat vyhledávací roboty všech hlavních vyhledávačů, čímž se vyhnete skenováním a indexováním webu. Do textového souboru přidejte následující řádky:

Uživatelská agenta: * Zakázat: /

Použijte bezpodmínečnou zakázku v souboru robotů.Txt je silný, nedoporučuje se. Když bot, například bingbot, zvažuje tento soubor, nebude indexovat vaše stránky a vyhledávač jej nezobrazuje.

Uživatelská agenti (Uživatelské agenti) - Toto je další název webových pavouků nebo vyhledávacích robotů.

*: Asterisk znamená, že kód se vztahuje na všechna uživatelská agenta.

Zakázat: /: Ďábel neznamená, že celé místo je uzavřeno pro roboty.

čtyři. Vytvořit soubor roboty.Txt s podmíněnou směrnicí Alow. Místo blokování všech botů zvažte blokování přístupu specifických pavouků do určitých částí místa. Hlavními příkazy Povolit podmíněnou směrnici zahrnují ::

Blokování betonu Bot: Vyměňte hvězdičku vedle Uživatelský agent na GoogleBot, GoogleBot-News, GoogleBot-image, bingbot nebo Teoma.

Blokování katalogu nebo jeho obsahu:

Uživatelská agenta: * Zakázat: / Ukázkový adresář /

Blokování webové stránky:

Uživatelská agenta: * Zakázat: / private_file.Html

Blokování obrazu:

Uživatelská agenta: GoogleBot-imagedislow: / Images_Mypicture.jpg

Blokovat všechny snímky:

Uživatelský agent: GoogleBot-imagedislow: /

Blokování samostatného formátu souboru:

Uživatelská agenta: * Zakázat: / p *.jpg $

Pět. Uspokojit roboty pro indexování a skenování vašich stránek. Mnoho lidí nejen neblokuje, ale naopak, uvítá pozornost pavouků vyhledávačů na své stránky tak, že je zcela indexován. K dosažení tohoto cíle může být tři způsoby. Za prvé, můžete odmítnout vytvořit soubor roboty.Txt. Pokud robot nenajde soubor roboty.Txt, bude i nadále skenovat a indexovat celý web. Za druhé, můžete vytvořit prázdný soubor roboty.Txt. Robot najde soubor roboty.Txt uvidí, že je prázdná a bude pokračovat ve skenování a indexu webu. Konečně můžete vytvořit soubor roboty.Txt s bezpodmínečnou směrnicí rozlišení pomocí kódu:

Uživatelská agenta: * Zakázat:

Když bot, například GoogleBot, zvažuje tento soubor, může volně navštívit celé webové stránky na volné noze.

Uživatelská agenti (Uživatelské agenti) - Toto je další název webových pavouků nebo vyhledávacích robotů.

*: Asterisk znamená, že kód se vztahuje na všechna uživatelská agenta.

Zakázat: Prázdné Zakázat příkaz znamená všechny soubory a složky jsou k dispozici.

6. Uložte textový soubor v kořenovém adresáři domény. Po úpravě souboru roboty.Txt uložit změny. Vložte soubor v kořenovém adresáři webu. Například, pokud máte doménu Youdomain.Com, Umístěte soubor roboty.Txt na adrese Youdomain.COM / roboty.Txt.

Metoda 2 z 2:

Zamknout vyhledávače Metegie

jeden. Podívejte se na roboty HTML Metalate. Metoperové roboty umožňuje programátorům nastavit parametry pro boty nebo pavouky pro vyhledávače. S pomocí těchto značek jsou BOTS zakázány indexovat a skenovat celé místo nebo oddělené části. Můžete je také použít k blokování specifického pavouka vyhledávače z indexování obsahu. Tyto značky jsou uvedeny v záhlaví souboru HTML.

Tato metoda je běžně používána programátory, kteří nemají přístup do kořenového adresáře webu.

2. Zakázat přístup k botům na jednu stránku. Stránka indexování a / nebo přihlášení na stránce na stránce můžete zakázat všechny roboty. Tato značka se obvykle používá, když je místo ve vývoji. Po dokončení stránky se důrazně doporučuje odstranit tuto značku. Pokud odebráte značku, stránka nebude indexována nebo k dispozici pro vyhledávání prostřednictvím vyhledávačů.

Zakažte boty pro indexování stránky a přesuňte se na některou z odkazů:

 Jméno = "Roboty" obsah = "noindex, nofollow">

Zakázat všechny roboty pro indexování stránky:

 Jméno = "Roboty" obsah = "noindex">

Zakázalo všechny boty jít na odkazy na stránce:

 Jméno = "Roboty" obsah = "Nofollow">

3. Nechte roboty indexovat stránku, ale nechodí do svých odkazů. Pokud povolíte botům indexovat stránku, bude indexován. Pokud zakázaní pavouci zapnout odkazy, tak, jak odkaz z této stránky k ostatním bude blokováno. Vložte následující kódový řádek v názvu:

 Jméno = "Roboti" Content = "Rejstřík, Nofollow">

4. Povolit pavouci vyhledávačů přes odkazy, ale nestanoví stránku. Pokud povolíte, aby byly roboty přesunuty na odkazy, odkazy cesty z této stránky do ostatních zůstane otevřené. Pokud zakážete roboty pro indexování stránky, nezobrazí se v indexu. Vložte následující kódový řádek v názvu:

 Jméno = "Roboty" Content = "noindex, následovat">

Pět. Blokovat odchozí spojení. Chcete-li skrýt jeden odkaz na stránce, položte značku Rel Uvnitř odkazu tagu . Použijte tuto značku pro blokování odkazů na jiných stránkách, které vedou ke konkrétní stránce, kterou chcete blokovat.

 href ="Youdomain.Html" Rel ="Nofollow">Vložte odkaz na uzamčenou stránku

6. Blokovat specifický vyhledávací pavouk. Místo blokování přístupu na stránku pro všechny roboty nastavte zákaz skenování a indexování stránky pouze pro jeden bot. Chcete-li to udělat, nahraďte slovo "roboty" v názvu metatheg konkrétní bot. Příklady: GoogleBot, GoogleBot-News, GoogleBot-image, bingbot a Teoma.

 Jméno = "Bingbot" obsah = "noindex, nofollow">

7. Zlepšit roboty pro skenování a indexování stránky. Pokud se chcete ujistit, že stránka bude indexována, a odkazy budou přepnout, přidejte rozlišení Meta tag "roboty" do záhlaví. Použijte následující kód:

 Jméno = "Roboty" Content = "Index, následovat">