Saturs
Interneta meklētāji, piemēram, Google, Yahoo un Bing, atrod informāciju, izmantojot saites un vietnes kartes citām tīmekļa vietnēm. Šīs meklētājprogrammas var atrast dažas neskaidras informācijas un iekļaut tās savā indeksā, un šāda veida meklēšanas tehnoloģijai ir priekšrocības un trūkumi lietotājiem.
Iekšējās tīkla lapas
Iekšējās tīkla lapas ir lapas tīmekļa vietnēs, kurām ir vajadzīgs daudz klikšķu, kas lietotājam ir redzams. Šīs lapas var būt produkti, saturs vai meklēšanas datu bāze, ko meklētājprogrammas parasti nevar izsekot. Šāda veida tehnoloģijas priekšrocība, kas novērš meklētājprogrammu indeksēšanu, ir tāda, ka tīmekļa vietņu īpašniekiem var būt produkti, pirkumi, informācija un citas svarīgas saites, kas iekļautas meklētājprogrammu indeksā. Tas tīmekļa vietnes īpašniekam nodrošina lielāku redzamību internetā.
Personiskā informācija
Viens no meklētājprogrammas trūkumiem, kas pārmeklē, ir personas informācijas indeksēšana neatkarīgi no privātuma. Informāciju, piemēram, drošības numurus, finanšu datus vai ģeogrāfiskās atrašanās vietas, var indeksēt, pat ja tā ir ievietota personīgā tīmekļa vietnē. Meklētāji nodrošināja lietotājiem iespēju bloķēt kādu indeksu informāciju, izmantojot failu ar nosaukumu "robots.txt". Piemēram, meklētājprogrammas, piemēram, Google, ļauj lietotājiem noņemt URL pēc tam, kad vietnes īpašnieks ir noņēmis aizskarošu informāciju, kas tiek dzēsta no indeksa.
Automatizācija
Tīmekļa vietņu īpašnieki var indeksēt savas lapas, atstājot dažas saites citā tīmekļa vietnē vai pat savā vietnē. Šo praksi sauc par "backlinking". Tīmekļa vietne, kas izmanto šo funkciju, tiek automātiski izsekota meklētājprogrammām, kas pēc tam var kartēt un indeksēt tīmekļa vietni. Tas atvieglo tīmekļa vietņu īpašnieku situāciju, jo tiem nav jāiesniedz domēna vārds meklētājprogrammām. Indeksa automatizācija atvieglo interneta lasītājiem meklēšanu.
