Kaip rasti paslėptus tinklalapio puslapius

2016 metais „Google“ apdorijo daugiau nei 3,2 trilijono paieškos užklausų, tačiau paieškos sistema pateikė tik dalį prieinamo turinio internete. Daug informacijos internete nėra pasiekiama paieškos variklių, todėl reikia naudoti specialias priemones arba patys tyrinėti svetaines, norint rasti šiuos paslėptus puslapius. Ši „gilioji žiniatinklio“ (deep web) dalis sudaro iki 5 000 kartų daugiau turinio, nei galima rasti tradicinėmis paieškos technikomis.

Paslėpto turinio tipai

Svetainių paslėpti puslapiai skirstomi į kelias kategorijas, kurios paaiškina, kodėl jie nematomi paieškos varikliams.

Dinaminis turinys

Dinaminis turinys generuojamas tik tuo atveju, kai lankytojas pateikia konkretų užklausą, o svetainė naudoja duomenų bazę, kad parodytų tikslinius rezultatus – pavyzdžiui, prekių paieška pagal specifines savybes. Paieškos varikliai negali indeksuoti duomenų bazėse saugomų įrašų, todėl norint rasti šiuos puslapius, reikia patiems naršyti svetainę arba naudoti specialias duomenų bazėms skirtas paieškos priemones.

Neišsamios nuorodos

Kai puslapiai neturi nuorodų iš kitų svetainės skyrių, jie lieka nepastebėti. Tai gali būti laikinai skelbiamų svetainių versijos, nebaigtos projekto dalys arba netinkamai sukurti puslapiai, kurių savininkas nepateikė nuorodos pagrindiniame meniu. Tokie puslapiai nebus indeksuoti ir nebus matomi paieškos rezultatų.

Prisijungimo reikalaujantis turinys

Kai kurios svetainės (pvz., prenumeratorių portalai) reikalauja prisijungimo duomenų. Svetainės administratoriai tiesiogiai nurodo, kad šie puslapiai neturėtų būti indeksuojami, todėl jie yra nepasiekiami per įprastą paiešką. Norint juos peržiūrėti, būtina susikurti paskyrą ir gauti atitinkamus leidimus.

Robots.txt failų naudojimas

Paieškos varikliai naršo svetainės puslapius ir indeksuoja turinį. Jei svetainės savininkas nori išskirti tam tikras sritis iš indeksavimo, jis įrašo jų adresus į tekstinį failą robots.txt, kuris laikomas svetainės šakniniame kataloge. Kadangi beveik visos svetainės turi šį failą, jo turinį galima peržiūrėti tiesiog įvedus naršyklės adreso juostoje https://example.com/robots.txt.

Failo įrašai, prasidedantys Disallow: arba Noindex:, nurodo, kurie katalogai ar puslapiai yra uždrausti paieškos varikliams.

Savarankiškas svetainių tyrimas (DIY)

Be robots.txt, dažnai galima rasti paslėptą turinį tiesiog spėliodami puslapių ir katalogų pavadinimus. Pavyzdžiui, jei menininko svetainėje matote puslapius gallery1.html, gallery2.html, gallery4.html, galite bandyti atverti gallery3.html ir pamatyti, ar egzistuoja paslėpta galerija.

Taip pat, jei svetainė naudoja katalogus, pvz., example.com/content/page1.html, galite įvesti tiesiog example.com/content/. Jei katalogas nėra apsaugotas, naršyklėje bus rodomas katalogo turinys ir galėsite peržiūrėti visus jo puslapius bei subkatalogus, ieškodami paslėptų failų.