Kaip rasti paslėptus tinklalapių puslapius

2016 m. „Google“ tvarkė daugiau nei 3,2 trilijonus paieškos užklausų, tačiau rezultatai, kuriuos pateikė paieškos sistema, sudarė tik dalį turimo turinio internete. Didžioji dalis internete esančios informacijos nėra prieinama paieškos sistemoms, todėl, norėdami rasti šiuos paslėptus puslapius, turite naudoti specialias priemones arba ištirti svetaines. Ši paslėpta informacija, žinoma kaip gilus žiniatinklis, sudaro iki 5000 kartų daugiau nei galima naudoti naudojant įprastas paieškos technologijas.

Paslėpto turinio tipai

Svetainių paslėpti puslapiai patenka į kategorijos, kuriose aprašoma, kodėl jie lieka nematomi paieškos sistemoms.

Kai kurie yra dinamiškas turinys, aptarnaujami tik tada, kai lankytojas pateikia konkrečią užklausą svetainėje, kurioje naudojamas duomenų bazės kodas, kad pateiktų taikomus rezultatus. Pavyzdžiui, šie puslapiai gali apimti prekybos rezultatus, paremtus konkrečiais produktų kriterijų deriniais. Paieškos sistemos nėra skirtos sekti ir saugoti šiose duomenų bazėse saugomą informaciją. Norėdami rasti šiuos puslapius, turėtumėte eiti į svetainę ir ieškoti konkrečios informacijos, kurios ieškote, arba naudoti į duomenų bazę orientuotą paieškos paslaugą, pvz., Bright Planet.

Kai kuriuose puslapiuose nėra nuorodų prijunkite juos prie paieškos šaltinių. Laikinieji ištekliai, pvz., Daugelio nepakankamai išsivysčiusių svetainių versijos, gali patekti į šią kategoriją, kaip ir prastai sukurtos svetainės. Pvz., Jei kas nors sukūrė tinklalapį ir įkėlė jį į svetainės serverį, bet nepavyko į jį įtraukti nuorodos į dabartinius svetainės puslapius, niekas nežino, kad jis buvo, įskaitant paieškos sistemas.

Dar daugiau puslapių reikalauja prisijungimo kredencialų, kuriuos norite peržiūrėti ar pasiekti, pvz., Prenumeratos svetaines. Žiniatinklio dizaineriai nurodo puslapius ir svetainių dalis kaip paieškos ribas, veiksmingai pašalindami juos nuo įprastinių būdų. Jei norite pasiekti šiuos puslapius, paprastai turite sukurti paskyrą prieš jums suteikiant leidimą jiems pasiekti.

„Robots.txt“ failų naudojimas

Paieškos varikliai nuskaito per svetainės puslapius ir indeksuokite jo turinį, kad jis galėtų pasirodyti atsakant į užklausas. Kai svetainės savininkas nori išbraukti kai kurias savo domeno dalis iš šių indeksavimo procedūrų, ji prideda šių katalogų ar puslapių adresus į specialų tekstinį failą pavadinimu robots.txt, saugomą jos svetainės šaknyje. Kadangi daugelyje svetainių yra robotų failas, neatsižvelgiant į tai, ar jame yra jokių išimčių, galite naudoti nuspėjamą dokumento pavadinimą, kad būtų rodomas jo turinys.

Jei įvedate „[domeno vardas] /robots.txt“ be kabučių į naršyklės vietos eilutę, pakeičiant „[domeno vardą]“ su svetainės adresu, robotų failo turinys dažnai pasirodo naršyklės lange po to, kai paspausite klavišą „Enter“. Įrašai, įvesti su „neleisti“ arba „nofollow“, yra svetainės dalys, kurios lieka nepasiekiamos per paieškos variklį.

Svetainės įsilaužimas į kompiuterį

„robot.txt“ failams dažnai galite rasti kitaip paslėptą turinį, įvesdami žiniatinklio adresus tam tikriems jūsų naršyklės puslapiams ir aplankams. Pvz., Jei žiūrėjote į menininko svetainę ir pastebėjote, kad kiekvienas puslapis naudoja tą pačią pavadinimo konvenciją, pvz., Galerijos1.html, gallery2.html, gallery4.html - tada galite rasti paslėptą galeriją įvesdami puslapį „ gallery3.html. " Jūsų interneto naršyklėje.

Panašiai, jei matote, kad svetainė naudoja aplankus, skirtus puslapių tvarkymui, pvz., pavyzdys.lt/content/page1.html, su „/turinys“ yra aplankas - tada galbūt galėsite pačiam aplankui peržiūrėti, įvesdami svetainę ir aplanką, be puslapio, pvz., „example.com/content/“ savo žiniatinklio naršyklėje. Jei prieiga prie aplanko nebuvo išjungta, gali būti, kad galėsite naršyti puslapiuose, kuriuose yra, taip pat puslapiuose, esančiuose bet kuriuose poaplankiuose, rasti paslėptą turinį.

URL:https://lt.whycomputer.com/internetas/100412760.html