Cum să închizi site-ul de la indexarea în roboți.txt: instrucțiuni și orientări

Munca unui optimizator SEO este foarte extinsă. Începătorii sunt sfătuiți să își noteze algoritmul de optimizare pentru a nu omite niciun pas. În caz contrar, promovarea va fi dificil de numit un succes, deoarece site-ul va eșua în mod constant și erorile vor trebui corectate pentru o lungă perioadă de timp.

Una dintre etapele de optimizare este de a lucra cu roboții.txt. Fiecare resursă ar trebui să aibă acest document, pentru că fără el va fi mai dificil să facă față optimizării. Acesta îndeplinește mai multe funcții pe care va trebui să le înțelegeți.

ajutor pentru roboți

roboți.Un txt este un document de text simplu pe care îl puteți vizualiza în Blocul de notițe standard. Când îl creați, trebuie să setați codificarea UTF-8. Fișierul funcționează cu protocoalele http, https și FTP.

Acest document este un asistent pentru crawlerele motoarelor de căutare. Dacă nu știți, fiecare sistem folosește "păianjeni" care navighează rapid pe World Wide Web pentru a furniza site-uri relevante la cererile utilizatorilor. Acești roboți trebuie să aibă acces la datele privind resursele, aceasta este ceea ce roboții.txt.

Trebuie să trimiteți un document robots pentru ca "păianjenii" să găsească calea.txt în directorul rădăcină. Pentru a verifica dacă site-ul are acest fișier, introduceți "https://site" în bara de adrese a browserului dumneavoastră.com.ua/roboți.txt". În loc de "site.com."ua" vă solicită să introduceți resursa pe care o doriți.

Funcțiile documentului

Roboți de fișiere.txt oferă mai multe tipuri de informații pentru crawlerele motoarelor de căutare. Acesta poate acorda acces parțial pentru a permite unui spider să parcurgă anumite elemente specifice ale unei resurse. Accesul complet vă permite să verificați toate paginile disponibile. O interdicție generală împiedică roboții să inițieze chiar și verificarea și părăsesc site-ul.

După ce vizitează resursa, "păianjenii" vor primi un răspuns corespunzător la cerere. Pot exista mai multe, în funcție de informațiile din roboți.txt. De exemplu, dacă scanarea a fost efectuată cu succes, robotul va primi codul 2xx.

Este posibil ca site-ul să fi fost configurat pentru a redirecționa o pagină către alta. În acest caz, robotul primește codul 3xx. Dacă acest cod este întâlnit de mai multe ori, spiderul îl va urmări până când va primi un alt răspuns. Deși, de regulă, folosește doar 5 încercări. În caz contrar, apare un popular mesaj de eroare 404.

Dacă răspunsul este 4xx, înseamnă că robotului i se permite să parcurgă întregul conținut al site-ului. Dar, în cazul unui cod 5xx, verificarea se poate opri complet, deoarece indică adesea erori temporare ale serverului.

Pentru ce sunt roboții?.txt?

După cum probabil ați ghicit, acest fișier este ghidul robotului către rădăcina site-ului. În prezent, este utilizat pentru a limita parțial accesul la conținut nedorit:

• pagini cu informații personale ale utilizatorilor;
• site-uri oglindă;
• rezultatele motoarelor de căutare;
• formulare pentru transmiterea datelor etc.

Dacă nu există un fișier robots în rădăcina site-ului.txt, robotul va scana absolut tot conținutul. În consecință, datele nedorite pot apărea în rezultate, ceea ce înseamnă că atât dumneavoastră, cât și site-ul puteți suferi. Dacă roboții.txt există instrucțiuni specifice, astfel încât "păianjenul" să le urmeze și să producă informațiile dorite de proprietarul resursei.

Lucrul cu un fișier

Pentru a utiliza roboți.txt pentru a închide site-ul de la indexare, trebuie să vă dați seama cum să creați acest fișier. Pentru a face acest lucru, urmați instrucțiunile:

1. Creați un document în Notepad sau Notepad++.
2. Setați extensia de fișier ".txt".
3. Introduceți datele și comenzile necesare.
4. Salvați documentul și încărcați-l la rădăcina site-ului.

După cum puteți vedea, la unul dintre pași trebuie să setați comenzile pentru roboți. Acestea sunt de două tipuri: allow (permite) și deny (refuză). Unele optimizatoare pot specifica, de asemenea, viteza de eludare, gazdă și link la harta paginii de resurse.

Pentru a începe cu roboții.txt și să închidă complet site-ul de la indexare, este de asemenea necesar să se înțeleagă simbolurile utilizate. De exemplu, puteți utiliza "/" într-un document care indică faptul că site-ul este selectat în întregime. Dacă se utilizează "*", este necesară o secvență de caractere. Acest lucru vă va permite să specificați un anumit dosar pe care îl puteți scana sau nu.

Caracteristică a motoarelor de căutare bots

"Păianjeni" la motoare de căutare sunt diferite, așa că, dacă lucrați pentru mai multe motoare de căutare în același timp, înseamnă că va trebui să țineți cont de acest aspect. Numele lor sunt diferite, ceea ce înseamnă că, dacă doriți să vă adresați unui anumit robot, va trebui să specificați numele acestuia: "User Agent: Yandex" (fără ghilimele).

Dacă doriți să setați directive pentru toate motoarele de căutare, atunci trebuie să utilizați comanda: "User Agent: *" (fără ghilimele). Pentru a face lucrurile cum trebuie cu roboții.txt pentru a vă bloca site-ul să nu fie indexat, trebuie să învățați specificul motoarelor de căutare populare.

Faptul este că cele mai populare motoare de căutare Yandex și Google au mai mulți roboți. fiecare dintre ele este dedicată propriilor sarcini. Yandex Bot și Googlebot, de exemplu, sunt principalii "păianjeni" care parcurg site-ul. Cunoscând toți roboții, va fi mai ușor să ajustați mai bine indexarea resurselor dvs.

Exemple

Deci, cu roboți.txt pentru a închide site-ul de la indexare pot fi comenzi simple, principalul lucru - să înțeleagă, ceea ce este necesar în special. De exemplu, dacă doriți ca robotul Google să nu se apropie de resursa dvs., trebuie să îi dați o comandă corespunzătoare. Acesta va arăta astfel: "User-agent: Googlebot Disallow: /" (fără ghilimele).

Acum trebuie să aflăm ce conține această comandă și cum funcționează. Deci, "user-agent" este folosit pentru a se adresa direct unuia dintre roboți. Apoi specificăm care dintre ele, în cazul nostru este Google. Disallow" trebuie să înceapă pe o linie nouă și să împiedice accesul roboților la site. Caracterul slash în acest caz indică faptul că toate paginile din resursă sunt selectate pentru executarea comenzii.

În roboți.txt interzicerea indexării pentru toate motoarele de căutare se poate face cu o simplă comandă: "User-agent: * Disallow: /" (fără ghilimele). Simbolul asterisc în acest caz înseamnă că toți roboții de căutare. Această comandă este de obicei necesară pentru a opri indexarea site-ului și pentru a începe orice lucrare radicală asupra acestuia care ar putea afecta optimizarea.

În cazul în care resursa este mare și are multe pagini, există adesea informații de proprietate, care fie nu este de dorit să fie dezvăluite, fie pot afecta negativ promovarea. În acest caz, este necesar să înțelegem, cum se închide pagina de la indexarea în roboți.txt.

Puteți ascunde fie un dosar, fie un fișier. În primul caz, trebuie să începeți din nou prin a vă adresa unui anumit robot sau tuturor, așa că utilizați comanda "User-agent", iar mai jos, specificați comanda "Disallow" pentru un anumit dosar. Aceasta va arăta după cum urmează: "Disallow: /folder/" (fără ghilimele). Acest lucru va ascunde întregul dosar. Dacă există un fișier important pe care doriți să îl afișați, trebuie să scrieți comanda de mai jos: "Allow: /folder/file.php" (fără ghilimele).

Verificați fișierul

Dacă se utilizează roboți.txt pentru a închide site-ul de la indexare ați reușit, dar nu știți dacă toate directivele dvs. au funcționat corect, puteți verifica.

Mai întâi trebuie să verificați din nou locația documentului. Amintiți-vă că trebuie să fie în folderul rădăcină exclusiv. Dacă intră într-un subfolder, nu va funcționa. Apoi, deschideți browserul și tastați următoarea adresă: "http://вашсайт. com/robots.txt" (fără ghilimele). Dacă browserul dvs. web afișează o eroare, înseamnă că fișierul se află în locul greșit.

Puteți verifica directivele în instrumente speciale pe care le folosesc aproape toți webmasterii. Este vorba despre produsele Google și Yandex. De exemplu, Google Search Console are o bară de instrumente în care deschideți "Scan" și apoi rulați "Check robots file tool".txt". Copiați toate datele din document în fereastră și începeți scanarea. Exact aceeași verificare poate fi făcută în "Yandex.Webmaster".