Fil-ħin ta 'l-Internet u teknoloġiji tal-kompjuter huwa importanti ħafna għal kull sid sit li n-nies jistgħu jsibu paġni tiegħu mill-biljuni ta' ħaddieħor. Hemm ħafna mezzi kif tista ' "għajnuna" Tiftix magni (ex. Google, Yahoo, Ask.com, MSN eċċ) għall-indiċi tal-paġni sit skond il-lokalità tagħhom fuq is-sit, id-data ta' l-aġġornament l-aħħar, ir-rata tar-riffriskar u l-importanza relattiv għall-paġni oħra fuq is-sit. Hekk li l-magna tat-tiftix jista 'indiċi is-sit aktar intelliġenti. Din il-paġna kienet maħluqa għall-protokoll Sitemaps, li ma jiggarantix li paġni web tiegħek definittivament se jiġu indiċjati, iżda tipprovdi ħjiel għall crawlers web li jagħmlu xogħol aħjar filwaqt crawling sit tiegħek.
