SCROLL

Robots.txt a SEO

Roboty Google skanuj─ů miliony stron internetowych szukaj─ůc informacji warto┼Ťciowych dla os├│b wyszukuj─ůcych dan─ů fraz─Ö. Aby u┼éatwi─ç Google dotarcie do tre┼Ťci na Twojej stronie stosuje si─Ö pliki robots.txt. Czym s─ů pliki robots.txt i jak si─Ö je u┼╝ywa?

Plik robots.txt ÔÇô czym jest, co zawiera i gdzie si─Ö znajduje?

Plik robots.txt jest to plik, kt├│ry zawiera proste instrukcje dla robot├│w Google skanuj─ůcych Twoj─ů domen─Ö, zezwalaj─ůc lub blokuj─ůc dost─Öp do pewnych obszar├│w strony. Mog─ů znajdowa─ç si─Ö tam adresy, kt├│re s─ů wykluczone z indeksowania. W ten spos├│b, taki plik blokuje dost─Öp do stron, kt├│re Twoim zdaniem nie s─ů wa┼╝ne z punktu widzenia wyszukiwania. Ma to szczeg├│lne znaczenie je┼Ťli chodzi o du┼╝e i skomplikowane strony, gdzie cz─Ö┼Ť─ç podstron mo┼╝e by─ç nieistotna pod k─ůtem SEO. Takie ograniczenia pomagaj─ů zoptymalizowa─ç tzw. crawl budget.

Aby plik dzia┼éa┼é poprawnie musi zawiera─ç kilka wa┼╝nych element├│w. Pierwszym z nich jest user-agent. Definiuje on robota wyszukiwarki, w zale┼╝no┼Ťci na jakim systemie on dzia┼éa. Jest to pierwszy wiersz ka┼╝dej regu┼éy. U┼╝ycie ÔÇ×* ÔÇŁ powoduje, ┼╝e regu┼éa odnosi si─Ö do wszystkich robot├│w Google.

Kolejnymi elementami s─ů dyrektywy allow i disallow. Pod tymi regu┼éami znajduj─ů si─Ö informacje dla robot├│w, czy mog─ů wej┼Ť─ç na dany adres URL i go zeskanowa─ç. Domy┼Ťlnie maj─ů one pozwolenie na odwiedzenie wszystkich adres├│w. Dlatego te┼╝, regu┼éa Disallow przekazuje robotom Google informacje, kt├│re katalogi lub strony domeny g┼é├│wnej nie powinny by─ç indeksowane. Natomiast Allow stosuje si─Ö, aby doda─ç wyj─ůtki. Je┼Ťli u┼╝ywaj─ůc Disallow blokujesz dost─Öp do jakiego┼Ť katalogu, to za pomoc─ů Allow mo┼╝esz pozwoli─ç robotowi na zeskanowanie jakiego┼Ť pliku z zablokowanego wcze┼Ťniej katalogu. Drug─ů mo┼╝liwo┼Ťci─ů jest dodanie wyj─ůtku je┼Ťli chodzi o konkretnego robota. Mo┼╝esz zablokowa─ç wszystkie roboty Google opr├│cz tego, kt├│rego wybierzesz i pozwolisz mu na dost─Öp.

Ostatni─ů dyrektyw─ů, kt├│r─ů zawiera plik robots.txt jest mapa strony. Jest to element opcjonalny, dzi─Öki kt├│remu mo┼╝esz wskaza─ç lokalizacj─Ö pliku sitemap.xml.

Plik robots.txt powinien znajdowa─ç si─Ö pod adresem twojadomena.pl/robots.txt. Dla przyk┼éadu u nas znajduje si─Ö pod adresem https://adshock.pl/robots.txt. Je┼Ťli chcesz sprawdzi─ç czy taki plik istnieje na Twojej stronie, wystarczy, ┼╝e dopiszesz do w┼éasnej domeny /robots.txt.

Generowanie pliku robots.txt

Na stworzenie tego rodzaju pliku istnieje kilka sposob├│w. Oto one:

  1. Statyczny plik

Jest to najpopularniejsza metoda na stworzenie pliku. Tworzysz plik z rozszerzeniem .txt i umieszczasz go na serwerze. Metoda ta wymaga znajomo┼Ťci wszystkich element├│w zwi─ůzanych z dzia┼éaniem pliku, poniewa┼╝ wszystkie je dodajesz r─Öcznie.

  1. Generator pliku

Drugim sposobem na stworzenie pliku robots.txt jest generator takich plik├│w. Jest to dobre rozwi─ůzanie, je┼Ťli nie znasz dok┼éadnej sk┼éadni pliku. Podajesz wy┼é─ůcznie adresy URL i/lub roboty, kt├│re chcesz zablokowa─ç oraz ewentualnie map─Ö strony w formacie .xml.

  1. Dynamiczny plik

Ostatnim ze sposob├│w jest stworzenie pliku za pomoc─ů strony, kt├│rej ten plik dotyczy. Mo┼╝esz go wygenerowa─ç automatycznie z poziomu systemu CMS. Dodatkowo przy aktualizacji, nie musisz pami─Öta─ç o jego edycji. Je┼Ťli wy┼é─ůczysz indeksowanie jakiej┼Ť podstrony, to Tw├│j system mo┼╝e automatycznie doda─ç regu┼é─Ö do pliku robots.txt.

Podsumowanie

Plik robots.txt ma wielkie znaczenie przy strategii indeksowania, zw┼éaszcza przy stronach rozbudowanych, maj─ůcych wiele adres├│w URL. Je┼Ťli nie chcesz, aby roboty Google indeksowa┼éy strony, kt├│re posiadaj─ů nisk─ů warto┼Ť─ç tre┼Ťci, stw├│rz taki plik. Pami─Ötaj, ┼╝eby wszystkie elementy pliku by┼éy dobrze zaplanowane, a pomo┼╝e to zapanowa─ç nad robotami Google i dzia┼éania SEO b─Öd─ů skuteczniejsze.