Google utrzymywała minimalistyczny interfejs do swojej wyszukiwarki. W przeciwieństwie do tego, wielu z jego konkurentów włączyło wyszukiwarkę do portalu internetowego. W rzeczywistości, wyszukiwarka Google stała się tak popularna, że pojawiły się silniki spoofowe takie jak Mystery Seeker.
Strony internetowe – pozycjonowanie czy płatna reklama?
Do 2000 roku, Yahoo! świadczył usługi wyszukiwania w oparciu o wyszukiwarkę Inktomi. Yahoo! nabyła Inktomi w 2002 r. oraz Overture (które były własnością AlltheWeb i AltaVista) w 2003 r. Yahoo! wyszukiwarka Google została uruchomiona do roku 2004, kiedy to uruchomiła własną wyszukiwarkę opartą na połączonych technologiach akwizycji.
Microsoft po raz pierwszy uruchomił MSN Search jesienią 1998 roku, korzystając z wyników wyszukiwania Inktomi. Na początku 1999 roku witryna zaczęła wyświetlać listy z Looksmart’ a, w połączeniu z wynikami Inktomi. W 1999 r. MSN Search korzystał z wyników z AltaVista przez krótki czas. W 2004 roku Microsoft rozpoczął przejście na własną technologię wyszukiwania, wyposażoną we własną gąsienicę internetową (zwaną msnbot). W oparciu o wiedzę o wyszukiwarkach tworzy profesjonalne strony internetowe Gogler.
Jak przygotować stronę www do pozycjonowania?
Zmieniona markowa wyszukiwarka Microsoft Bing została uruchomiona 1 czerwca 2009 roku. 29 lipca 2009 roku, Yahoo! i Microsoft sfinalizował transakcję, w której Yahoo! Wyszukiwanie byłoby wspomagane technologią Microsoft Bing.
Wyszukiwarka utrzymuje następujące procesy w czasie zbliżonym do rzeczywistego:
- wykrywanie internetowe,
- indeksowanie,
- wyszukiwanie.
Wyszukiwarki internetowe uzyskują informacje poprzez przeszukiwanie stron internetowych. Pająk sprawdza, czy adresowany do niego standardowy plik robots. txt, przed wysłaniem pewnych informacji jest indeksowany w zależności od wielu czynników, takich jak tytuły, zawartość strony, JavaScript, Kaskadowe arkusze stylów (CSS), nagłówki, czego dowodem jest standardowy znacznik HTML zawartości informacyjnej, lub jego metadane w metadanych HTML.
Ze względu na nieskończoną ilość stron internetowych, pułapki pająków, spamu i innych wymagań prawdziwej sieci, gąsienice zamiast tego stosują politykę pełzania do ustalenia, kiedy pełzanie witryny należy uznać za wystarczające. Niektóre stanowiska są badane wyczerpująco, podczas gdy inne są prześwietlane tylko częściowo.