Indeksowanie strony w Google

Tomasz Ramotowski

Cześć! w dzisiejszym odcinku porozmawiamy o indeksowaniu w Google. Co zrobić, żeby strona pojawiła się w indeksie wyszukiwarki? Czy Twoje podstrony, nowe treści są zauważane przez Google? I w końcu czy linki, które dodajesz do strony, są indeksowane? O tym w dzisiejszym odcinku. Zaczynamy!

W pierwszej kolejności musimy odpowiedzieć sobie na pytanie – czym w ogóle jest indeksowanie w Google. Często w internecie napotykam się na wątpliwości, problemy typu:”stworzyłem nową stronę internetową i nigdzie jej nie ma”, „nie mogę znaleźć swojej strony internetowej w wyszukiwarce Google”. To żeby strona pojawiła się w indeksie Google i wyświetlała w wynikach wyszukiwania, uzależnione jest od wizyty robotów Google na Twojej stronie, czyli tzw. Googlebota. Jeżeli strona została odwiedzona przez Googlebota, robot nie napotkał na różnego rodzaju problemy, blokujące go przed przeanalizowaniem strony to strona powinna zostać zaindeksowana i wyświetlać się w wynikach wyszukiwania. W praktyce czasami wygląda to nieco inaczej i Google jak na złość czasami indeksuje to czego nie chcemy, a czasami nie chce zaindeksować tego, na czym nam zależy. Dlatego temat indeksowania strony jest bardzo istotny.

Zagadnienie indeksowania w Google możemy podzielić zasadniczo na dwie grupy: indeksowanie wewnętrzne – czyli to, co dotyczy bezpośrednio danej strony internetowej, którą pozycjonujemy: jej podstrony, obrazy itd. Oraz indeksowanie zewnętrzne – czyli wszelkiego rodzaju linki z innych stron, prowadzące do naszej strony. Niestety samo dodanie linka nie gwarantuje, że Google w ogóle go „zobaczy”.

Jak sprawdzić czy strona jest zaindeksowana w Google?

Żeby wejść mocniej w temat indeksacji wewnętrznej, strona najpierw musi w ogóle pojawić się w wynikach wyszukiwania. Aby sprawdzić, czy strona wyświetla się w Google, wejdź w adres wyszukiwarki i wpisz komendę site:adrestwojejstrony.pl. Jeżeli pojawią się wyniki, widzisz adres swojej strony internetowej, to oznacza to, że jest ona zaindeksowana. Jeżeli nie zobaczysz nic, oznacza to, że Twoja strona nie została jeszcze dodana do indeksu Google. 

Przyczyny takiego stanu rzeczy mogą być różne. Jedną z najczęstszych, które spotykam, jest blokada indeksacji w kodzie strony poprzez tag „noindex”. Często stosuje się taką blokadę, gdy pracuje się nad nową stroną internetową czy poprawia się obecną i nie chcemy, aby strona zbyt szybko pojawiła się w wynikach wyszukiwania. Zdarza się, że wykonawca takiej strony zapomni, po jej przeniesieniu, ją po prostu usunąć. Wówczas wystarczy skasować z kodu fragment o noindex, a strona po jakimś czasie pojawi się w wynikach wyszukiwania. 

Ile trwa indeksowanie strony w Google?

No właśnie, jeżeli mówimy już o czasie, to kolejnym często pojawiającym się pytaniem jest to „ile trwa indeksowanie strony w Google”. Są różne metody oczekiwania – można czekać i nic nie robić, ponieważ roboty wyszukiwarki Google codziennie przeczesują internet w poszukiwaniu nowych informacji, wpisów itd. Co jakiś czas Google przegląda serwery DNS w poszukiwaniu nowych zarejestrowanych domen. W końcu trafi też na Twoją. W tym przypadku średni czas oczekiwania to ok. 30 dni.

Drugi sposób, który powinien przyśpieszyć indeksację Twojej strony to zadbanie o to, aby zwiększyć prawdopodobieństwo trafienia robota na Twoją stronę. Jak można to zrobić? Roboty Google przemieszczają się poprzez linki, przeczesując internet, w poszukiwaniu nowych treści. A więc musisz zadbać o to, aby pojawiły się linki prowadzące do Twojej strony. Jest wiele miejsc w internecie, gdzie możesz zostawić linka do Twojej strony, np. fora internetowe, blogi (np. w sekcji komentarzy), może jakiś link od partnera, z którym współpracujesz. Możliwości jest mnóstwo. Średni czas oczekiwania na zaindeksowanie Twojej strony powinien się skrócić i wynosić nawet kilka godzin czy kilka dni a wszystko zależy od tego, jak często roboty odwiedzają stronę, na której umieściłeś link prowadzący do Ciebie. Jeżeli ten link będzie pochodził ze strony słabej jakości, która np. również jest nowa i jeszcze nie zaindeksowana jak Twoja to raczej niewiele to pomoże. Ale jak uda Ci się zdobyć linka z bardziej wartościowego miejsca, które jest odwiedzane przez roboty wyszukiwarki, to do zaindeksowania strony może dojść znacznie szybciej.

Trzecia metoda to skorzystanie z narzędzi Google dla Webmasterów, które nazywa się obecnie Google Search Console.

Google Search Console sam w sobie daje dużo możliwości wspierających indeksowanie strony w Google. Możesz wgrać mapę witryny w formacie XML i w ten sposób wskazać wyszukiwarce podstrony swojego serwisu. Możesz bezpośrednio wysłać prośbę o zaindeksowanie danego adresu URL, np. po dodaniu nowego wpisu na bloga. Możesz sprawdzić, czy z danym adresem URL jest wszystko w porządku i może być on w ogóle zaindeksowany. Z Google Search Console warto korzystać na bieżąco i monitorować kondycję swojej strony internetowej. 

Indeksacja wewnętrzna

Przechodząc do indeksacji wewnętrznej, bardzo ważne jest to, aby dbać o indeksowanie rzeczy ważnych i nie indeksować rzeczy zbędnych, niskiej jakości. Jest to ważne zwłaszcza dla dużych, rozbudowanych stron internetowych, np. dla sklepów z wieloma produktami. W sklepach internetowych często występuje problem z tzw. duplicate content, czyli powielaniem treści. Zjawisko to występuje wtedy, gdy te same lub bardzo zbliżone treści występują pod tymi samymi adresami URL, np. w wyniku sortowania produktów czy wyświetlania tej samej ściany tekstu na każdej podstronie z danej kategorii. 

Sam problem z duplicate content to temat bardzo złożony i zostanie omówiony z innym materiale, ale jednym ze sposobów walki z nim jest właśnie niedopuszczanie do indeksowania zduplikowanych podstron. 

Inny często występujący problem to tzw. thin content, czyli ubogie, niewartościowe treści. Mamy z tym do czynienia np. gdy na stronie występują bardzo skromne opisy produktów, które zawierają wyłącznie kilka danych technicznych i tyle lub treści są bardzo ubogie, zawierają różnego rodzaju błędy, gramatyczne, ortograficzne itd.

Wspominam o duplicate i thin content z kilku powodów. Po pierwsze są to sytuacje problematyczne same w sobie i mogą negatywnie wpływać na pozycjonowanie strony. Po drugie musimy je rozpatrywać również w kategorii crawl budget, czyli budżetu indeksowania.

Budżet indeksowania – crawl budget

Crawl budżet to w uproszczeniu ilość podstron, które może zaindeksować Googlebot podczas jednej wizyty. Tak, ta ilość jest niestety ograniczona. Roboty Google każdego dnia muszą przeskanować miliardy podstron. W różnym celu: szukają nowych treści, sprawdzają czy zaindeksowane treści są dalej tam, gdzie były, szukają zmian w obrębie strony itd. Łatwo można się domyślić, że takie działanie pochłania ogromne moce obliczeniowe. Aby znaleźć złoty środek pomiędzy efektywnością działania Googlebota a ilością potrzebnej do tego mocy obliczeniowej, Google nałożyło pewne limity. 

Jeżeli na Twojej stronie będzie problem z duplicate i thin content, będzie mnóstwo podstron słabej jakości to nie dość, że samo to będzie negatywnie wpływać na widoczność Twojego serwisu to jeszcze może pojawić się problem z indeksowaniem części podstron. Googlebot będzie marnował czas i energię na skakanie po bezwartościowych adresach URL i może mieć problem z odnalezieniem tych wartościowych. Dlatego pozycjonowanie strony wymaga jej technicznej optymalizacji również pod kątem indeksowania w Google.

W kontekście crawl budget uważaj na:
duplikację treści,
treści słabej jakości, które nie powinny w ogóle wyświetlać się w Google,
miękkie błędy 404 – zwracanie przez serwer kodu 200 na stronach, które nie istnieją zamiast zwracać kod 404,
szybkość ładowania strony – im dłuższa, tym bardziej nadwyrężysz budżet indeksowania.
Więcej na temat crawl budget w następnych materiałach.

Skoro wiemy już, że roboty Google mają ograniczone zasoby i są w stanie jednorazowo przeanalizować tylko część podstron, to od razu nasuwa nam się, a przynajmniej powinna 😉 jedna myśl. Co zrobić, żeby Googlebot częściej odwiedzał naszą stronę. Bo skoro ma ograniczone zasoby, a nam zależy na szybkiej i sprawnej indeksacji, to częstsze odwiedziny niejako rozwiązują problem. Na pewno pozytywnie na częstotliwość odwiedzin Googlebota wpływa regularna publikacja zwłaszcza wysokiej jakości treści. Łatwo zobaczyć prawidłowość, że w przypadku zaniedbanych stron czy takich, na których nowe treści pojawiają się niezwykle rzadko, więcej czasu zajmuje, zanim zostaną one zauważone przez Google. W przypadku serwisów, w których publikacje są regularne, czasami nawet po kilku minutach nowe treści są już w indeksie. Odwiedziny googlebota możemy wywołać także niejako ręcznie, wykorzystując do tego narzędzie Google Search Console. W zakładce sprawdzanie adresu URL wklejamy np. link do nowego artykułu i wybieramy – poproś o zaindeksowanie.

Warto w kontekście robotów wyszukiwarek i indeksowania tego, co jest na stronie internetowej, wspomnieć o pliku robots.txt, który umieszcza się w katalogu głównym domeny, tak aby był dostępny pod adresem: adresstrony.pl/robots.txt. Plik ten jest zbiorem reguł i wytycznych dla robotów. Różnych robotów, ponieważ w internecie jest ich znacznie więcej niż tylko Googlebot. Możemy tam wskazywać robotom, poszczególnym lub wszystkim co powinno, a co nie powinno być indeksowane. Wytyczne Google w zakresie tworzenia pliku robots.txt znajdziesz pod tym linkiem. Co musisz pamiętać to to, że w tym pliku są wyłącznie wytyczne i mogą zostać one zignorowane. Np. mimo zablokowania podstron w pliku robots.txt mogą one być dalej indeksowane bez pobierania. Dlatego skuteczniejszym sposobem blokowania indeksacji określonych podstron jest stosowanie tagu noindex lub zablokowanie dostępu do treści prywatnych hasłem. UWAGA – jednoczesne zastosowanie blokady w robots.txt i umieszczenie na podstronie tagu noindex może spowodować, że robot zablokowany plikiem robots.txt nie zauważy tagu noindex i umieści stronę w indeksie. Wesoło, prawda? 🙂

Ok, wiemy już jak sprawdzić, czy nasza strona została zaindeksowana w Google, jak przyspieszyć jej indeksacje i na jakie problemy powinniśmy zwrócić szczególną uwagę, aby usprawnić sam jej proces. Przejdźmy teraz do indeksacji zewnętrznej, czyli analizy tego, czy Google widzi linki do Twojej strony.

Indeksacja zewnętrzna

Aby Google zauważyło link do Twojej strony, musi trafić na stronę, na której tego linka umieszczono. Innymi słowy, Googlebot musi wejść na daną podstronę i zauważyć link do Twojej. Niestety te same problemy, o których wspominałem w dzisiejszym wpisie, mogą rzecz jasna dotyczyć nie tylko Twojej strony internetowej, ale i każdej innej. Niskiej jakości strony, strony zawierające tysiące bezwartościowych podstron, duplikacja treści, strony z zablokowaną indeksacją, to wszystko znajdziesz w internecie. Umieszczanie tam linków do Twoich treści może być kompetnie bezwartościowe, ponieważ Google może ich nigdy nie zauważyć. 

Jeżeli umieszczasz linka na podstronie, która już jest zaindeksowana, a wiesz o tym, bo np. sprawdziłeś tę podstronę komendą site, to niejako jeden problem Ci odpada. Ale nie wiadomo jak często Google tę podstronę odwiedza. Może być tak, że na podstronie wieki nic się nie zmieniło i Googlebot bywa tam niezwykle rzadko, o ile w ogóle, aby nie marnować zasobów. Kiedy Googlebot był ostatni raz na danej podstronie, sprawdzić możesz komendą „cache:adresurl”. Jeżeli zobaczysz, że robot Google odwiedził tę podstronę po raz ostatni rok temu, to możesz założyć, że sam z siebie prędko na tę podstronę nie wróci i szybko Twojego linka nie zauważy. Trzeba mu wtedy w tym pomóc. Możesz np. dopalić podstronę z linkiem, pozyskując do niej inne linki. Wtedy działamy w podobny sposób jak w przypadku przyśpieszania indeksowania własnej strony – zwiększamy prawdopodobieństwo tego, że Googlebot trafi na jakiś link i przyjdzie do nas. Skorzystać możesz również z różnych indexerów. Indexery to programy dostępne na rynku, których zadaniem jest wspomaganie indeksacji adresów URL. Niezależnie od tego, na jaką strategię się zdecydujesz pamiętaj, że to jest czyjaś strona i niekoniecznie dobrym rozwiązaniem będzie realizowanie swoich celów za wszelką cenę jak np. dodanie setek spamowych linków tylko po to, żeby Google zauważyło gdzieś Twojego linka. Staraj się to zrobić w sposób mało inwazyjny.

Jeżeli umieszczasz linka w taki sposób, że na stronie powstaje nowa podstrona, np. publikujesz gdzieś artykuł czy tworzysz nowy profil na forum, to w pierwszej kolejności warto sprawdzić, czy tego typu podstrony w ogóle się w tym serwisie indeksują. Czasami administratorzy wiedząc, że wiele osób zakłada konta lub dodaje treści tylko po to, aby pozyskać linka, blokuje ich indeksowanie. Jeżeli indeksacja nie jest zablokowana, kontroluj co się dzieje, i czy Googlebot po jakimś czasie zaindeksował to, co zostało dodane. Jeżeli nic się nie dzieje, możesz skorzystać z wcześniejszych rozwiązań. Pamiętaj, mało inwazyjnie!

To czy Google zaindeksowało jakieś linki prowadzące do Twojej strony możesz sprawdzić, np ręcznie korzystając z komendy site albo np. w programie Google Search Console w zakładce linki do Twojej witryny. Widząc serwisy, które się tam pojawią, masz pewność, że Google zauważyło i zaindeksowało linki. Niestety Google standardowo nie ułatwia nam pracy i nie pokazuje wszystkich danych lub pokazuje je z dużym opóźnieniem. Zatem linki mogą być zaindeksowane mimo, że nie zobaczysz ich w Google Search Console. 

Warto tutaj dodać trochę poboczną kwestię. Na rynku istnieją różnego rodzaju programy do analizy linków przychodzących. Programy jak dobre by nie były, nie są wyszukiwarką Google. Wykorzystują swoje roboty do wyszukiwania linków i roboty te można zablokować, nie blokując Googlebota. Spora część pozycjonerów, jeżeli korzysta z zaplecza pozycjonerskiego, blokuje je lub jego część przed robotami programów do analizy linków, tak żeby konkurencja tych linków nie widziała. Także może dojść do takiej sytuacji, że programy te nie pokazują nic, a do strony prowadzi mnóstwo linków. Może to zadziałać również w drugi sposób – programy pokażą, że linki są mimo, że Google jeszcze ich nie zauważyło lub nie pokazuje ich w Google Search Console. Dlatego najprawdziwsze dane pokazuje Google Search Console, ponieważ pokaże także linki z miejsc, które blokują wszystkie inne programy, ale niestety nie pokazuje wszystkich danych. Do analizy profilu linków zawsze warto skorzystać z różnych narzędzi, tak aby zebrać jak najwięcej linków.

Podsumowując, omówiliśmy dzisiaj bardzo ważny temat – indeksowanie stron w Google. Wiesz już, że indeksację możemy podzielić na wewnętrzną – związaną ze strukturą strony internetowej i zewnętrzną – związaną z indeksowaniem linków prowadzących do naszej strony z innych stron internetowych. Wiesz, że zwłaszcza w przypadku dużych serwisów trzeba dbać o budżet indeksowania. Uważać należy także na duplicate i thin content, również pod kątem indeksacji nie tylko samego pozycjonowania. Indeksację możemy wspierać na wiele różnych sposobów – przede wszystkim optymalizując stronę i nie utrudniając robotom Google roboty, ale także pozyskując linki czy wykorzystując zewnętrzne programy, np. indexery. Mam nadzieję, że temat Cię zainteresował i chcesz dowiedzieć się więcej. Jeżeli tak to zapraszam do zasubskrybowania i śledzenia kanału. Do zobaczenia, cześć!


O autorze

Tomasz Ramotowski
Cześć! Nazywam się Tomasz Ramotowski. Od ponad 7 lat zajmuję się marketingiem internetowym z naciskiem na pozycjonowanie stron, kampanie Google Ads (do niedawna Google AdWords) oraz analitykę. Pracuję z małymi i średnimi firmami w Polsce oraz za granicą. Jeżeli chcesz zwiększyć sprzedaż swoich produktów i usług, zapraszam do kontaktu!

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Przeczytaj także

Jak samemu pozycjonować stronę w Google? 5 kroków do zwiększenia widoczności!

5 kroków do zwiększenia widoczności Twojej strony w wyszukiwarce Google, które możesz zrobić sam.

Jak dodać stronę do wyszukiwarki Google – Tutorial Google Search Console

Z artykułu dowiesz się jak dodać stronę do wyszukiwarki Google z wykorzystaniem Google Search Console i jak usprawnić proces jej indeksacji.

5 najczęstszych błędów w SEO i co z nimi zrobić

Z artykułu dowiesz się z jakimi pięcioma najczęstszymi błędami w SEO się spotykam i jak możesz je rozwiązać.

Analityka internetowa, czyli co z tą stroną? [VIDEO + TRANSKRYPCJA]

Analityka internetowa to jeden z najważniejszych tematów w marketingu. Z wpisu dowiesz się co w ogóle można mierzyć na stronie i jak to robić?

Tomasz Ramotowski

Zapisz się do newslettera