Każdy, kto zajmuje się pozycjonowaniem, wie, co należy zrobić, aby wyszukiwarki chętniej zaindeksowały określoną witrynę. Czasami jednak z różnych powodów chcemy zablokować indeksowanie. Zwykle chcemy to zrobić tylko dla wybranej podstrony lub określonych zasobów lub plików. W wyjątkowych przypadkach może być konieczne zablokowanie indeksowania na całym serwisie. Zwykle chcesz wykluczyć określoną stronę lub jej część z indeksu. Oznacza to, że istnieją zduplikowane treści lub że opublikowana treść jest poufna. Warto wiedzieć, że istnieje co najmniej kilka metod blokowania indeksowania. Niektóre z nich opisujemy w tym artykule.
Co to jest Googlebot?
Googlebot to robot wyszukiwania Google (dawniej częściej nazywany pająkiem), który przemierza zakamarki internetu i skanuje domeny. Podąża za linkami, przechodząc z jednej strony na drugą, tworząc sieć współzależnych domen (stąd link pająka). Tak mogłaby się zacząć przeciętna historia fantasy.
Chociaż Googlebot dąży do podboju niezbadanych wód (witryn), jego głównym celem jest przetworzenie zebranych informacji i umieszczenie ich w głównym indeksie wyszukiwarki. Generalnie w wynikach wyszukiwania. Googlebot wyszukuje nowe treści i aktualizuje stare treści zarówno na komputerach stacjonarnych, jak i urządzeniach mobilnych.
To od Googlebota zależy, czy Twoja domena będzie widoczna w wyszukiwarce i wykorzysta cały jej potencjał.
Jak często Google indeksuje strony?
Problem z całą sytuacją z indeksowaniem polega na tym, że jest tak wiele stron internetowych. Google ma ograniczone zasoby obliczeniowe. Mówiąc prościej, wyszukiwarka nie jest dobra w „zapamiętywaniu” treści stron internetowych.
Podczas optymalizacji kosztów Google z wyprzedzeniem ocenia adresy, które można zindeksować, i nadaje priorytet poszczególnym zasobom lub stronom. Niektóre domeny są częściej odwiedzane i indeksowane, inne czekają miesiącami, aż robot je odwiedzi i sprawdzi zawartość.
Usuń blokowanie indeksowania w pliku robots.txt
Czy Google nie indeksuje całej witryny? Może to być spowodowane zablokowaniem indeksowania w pliku robots.txt.
Aby sprawdzić ten problem, wejdź na twoja_domena.pl/robots.txt i poszukaj jednego z tych dwóch fragmentów kodu:
Co to jest tag nofollow?
Dodanie tagu nofollow do strony internetowej uniemożliwia wyszukiwarkom indeksowanie linków na tej stronie. Oznacza to również, że żadne uprawnienia do strony nie są przekazywane do żadnego linku na tej stronie.
Wszystkie linki na stronie z instrukcją „nofollow” są zatem ignorowane przez Google i inne wyszukiwarki.