2016. gadā Google apstrādāja 3,2 triljonus meklēšanas vaicājumu, tomēr meklēšanas dzinēja sniegtie rezultāti veidoja tikai nelielu daļu no tiešsaistē pieejamā satura. Liela daļa tiešsaistē pieejamās informācijas meklētājprogrammām nav pieejama, tāpēc, lai atrastu šīs slēptās lapas, jums jāizmanto īpaši rīki vai pašiem jāizmeklē vietnes. Šī slēptā informācija, kas pazīstama kā dziļais tīmeklis, līdz pat 5000 reižu pārsniedz to, kas pieejama, izmantojot parastās meklēšanas metodes.
Slēptā satura veidi
Vietņu slēptās lapas ietilpst kategorijās, kas apraksta, kāpēc tās paliek neredzamas meklētājprogrammām.
Daži no tiem ir dinamisks saturs, kas tiek piegādāts tikai tad, kad apmeklētājs vietnei, kas izmanto datu bāzē balstītu kodu mērķtiecīgu rezultātu parādīšanai, izsniedz īpašu pieprasījumu. Piemēram, šajās lapās varētu būt iepirkšanās rezultāti, pamatojoties uz īpašām produktu kritēriju kombinācijām. Meklētājprogrammas nav paredzētas, lai izsekotu un uzglabātu šajās datu bāzēs saglabāto informāciju. Lai atrastu šīs lapas, jums jādodas uz vietni un jāmeklē konkrētā informācija, kuru meklējat, vai jāizmanto uz datu bāzi orientēts meklēšanas pakalpojums, piemēram, Bright Planet.
Dažās lapās nav saites, kas tās savieno ar avotiem, kuros meklēt. Šajā kategorijā var iekļaut pagaidu resursus, piemēram, vairākas nepietiekami attīstītu vietņu versijas, kā arī slikti izstrādātas vietnes. Piemēram, ja kāds izveidoja tīmekļa lapu un augšupielādēja to vietnes serverī, bet nespēja pievienot saiti uz to pašreizējās vietnes lapās, neviens nezinātu, ka tā atrodas, ieskaitot meklētājprogrammas.
Vēl vairākām lapām ir nepieciešami pieteikšanās akreditācijas dati, lai tās skatītu vai sasniegtu, piemēram, abonēšanas vietnes. Tīmekļa dizaineri lapas un vietņu sadaļas nosaka kā ierobežotas meklētājprogrammām, efektīvi novēršot to atrašanu, izmantojot parastos līdzekļus. Lai piekļūtu šīm lapām, parasti jums ir jāizveido konts, pirms jums tiks dota atļauja tām piekļūt.
Robots.txt failu izmantošana
Meklētājprogrammas pārmeklē vietnes lapas un indeksē tās saturu, lai tas varētu parādīties, atbildot uz jautājumiem. Kad vietnes īpašniece vēlas izslēgt dažas sava domēna daļas no šīm indeksēšanas procedūrām, viņa pievieno šo direktoriju vai lapu adreses īpašam teksta failam ar nosaukumu robots.txt, kas glabājas savas vietnes saknē. Tā kā lielākajā daļā vietņu ir iekļauts robotu fails neatkarīgi no tā, vai tie tam pievieno kādus izslēgšanas gadījumus, tā satura parādīšanai varat izmantot dokumenta paredzamo nosaukumu.
Ja pārlūkprogrammas atrašanās vietas rindā ierakstāt “[domain name] /robots.txt” bez pēdiņām, aizstājot “[domain name]” ar vietnes adresi, robotu faila saturs bieži tiek parādīts pārlūkprogrammas logā pēc nospiežat taustiņu "Enter". Ieraksti, kas ievadīti ar “disallow” vai “nofollow”, attēlo vietnes daļas, kuras joprojām nav pieejamas, izmantojot meklētājprogrammu.
Dari mājas lapu uzlaušanu
Papildus robot.txt failiem bieži varat atrast citādi slēptu saturu, tīmekļa pārlūkprogrammā ierakstot tīmekļa adreses noteiktām lapām un mapēm. Piemēram, ja apskatījāt mākslinieka vietni un pamanījāt, ka katrā lapā tiek izmantota tā pati nosaukšanas kārtība, piemēram, gallery1.html, gallery2.html, gallery4.html, tad, iespējams, varēsit atrast slēptu galeriju, ierakstot lapu. gallery3.html. " savā tīmekļa pārlūkprogrammā.
Līdzīgi, ja redzat, ka vietne lapu kārtošanai izmanto mapes, piemēram, example.com/content/page1.html, ja mape ir “/ content”, iespējams, varēsit apskatīt pašu mapi, ierakstot vietni un mapi , bez tīmekļa pārlūkprogrammas lapas, piemēram, “example.com/content/”. Ja piekļuve mapei nav atspējota, iespējams, varēsit pārlūkot tajā ietvertās lapas, kā arī lapas jebkurā apakšmapē, lai atrastu slēpto saturu.
