roboty wyszukiwarek, zwane czasem roboty, są wykorzystywane przez wyszukiwarki internetowe, aby zebrać informacje na temat stron internetowych i indywidualnych stron internetowych. Trzeba Wyszukiwarki informacje ze wszystkich witryn i stron; w przeciwnym razie nie wiem, co strony, aby wyświetlić w odpowiedzi na zapytania lub z czym priorytetem. Największa
roboty wyszukiwarek przedzierać się przez Internet i tworzyć kolejki witryn sieci Web w celu przeprowadzenia dalszych badań. Jako konkretne witryny sieci Web zostanie objęta pająk, pająk czyta się przez cały tekst, hiperłącza, meta tagi (meta tagi są specjalnie sformatowane słów kluczowych wstawianych do strony sieci Web w sposób przeznaczony dla pająka znaleźć i użyć) i kod , Korzystając z tych informacji, pająk zapewnia profil do wyszukiwarki. Pająk następnie gromadzi dodatkowe informacje, wykonując hiperłącza na stronie internetowej, co daje lepsze gromadzenie danych na temat tych stron. To jest powód, że o linki na swojej stronie internetowej - i nawet lepiej, innych stron internetowych z linkami do Ciebie. - Jest tak przydatne w coraz witryny sieci Web znaleźć przez wyszukiwarki Największa
Pająki mają cztery podstawowe tryby zbierania informacji. Jeden rodzaj pająka jest używany tylko do tworzenia kolejki stron WWW mają być przeszukiwane przez inne pająki. Ten pająk, pracuje w trybie "wyboru", jest priorytetowe, które strony przejść i sprawdzając, czy starsza wersja strony została już pobrana. Drugi tryb to pająk zaprojektowany specjalnie, aby przejść na strony, które zostały już przeszukane przez pająka. Ten tryb jest nazywany "ponowne odwiedziny." Niektóre wyszukiwarki są zaniepokojeni, że strona została zbyt dokładnie przeszukiwane przez inne pająki, więc użyć trybu pająk zwany "grzeczność", która ogranicza przeszukiwania przepracowanych stron. Wreszcie "zrównoleglanie" pozwala pająk koordynacji swoich działań gromadzenia danych z innymi roboty, które są pełzające na tej samej stronie. Największa