Podstata neviditeľného,resp. hĺbkového webu spočíva v tom, že súčasné fulltextové vyhľadávacienástroje veľa informácii na webe nedokážu nájsť, teda informácie sú pre neneviditeľné.
Pojem nevideteľný web saobjavuje v odbornej literatúre približne okolo roku 1999, keď sa prišlo nato, že prieskumové stroje nedokážu (vzhľadom na technické obmedzenia) alebonechcú zahrnúť do svojho indexu. Často sa používajú aj synonymné termínyhĺbkový web alebo tmavý internet.
K vytváraniuneviditeľného webu vedú nasledujúce dôvody:
- Prieskumové stroje nedokážu indexovať dynamicky sa meniace stránky (informácie sa generujú z databázy)
- Prístup na niektoré stránky je chránený heslom.
- Na pripojenie sa do online katalógov sa musíme zalogovať a až potom máme prístup k ďalším generovaným informáciám.
- Niektoré prieskumové stroje neindexujú rámce, obrázkové mapy a pod.
- Veľa prieskumových strojov má obmedzenie na počet indexovaných stránok z určitej domény. Preto väčšinou neexistujú domény, ktoré ponúkajú bezplatné vystavovanie stránok. Preto ak chceme mať istotu, aby bola stránka indexovaná prieskumovými strojmi, výhodnejšie je mať svoju vlastnú doménu.
- Väčšina prieskumových strojov preferuje indexovanie populárnych stránok. Stránky, na ktoré vedie iba málo spojení, majú pomerne malú šancu dostať sa do indexu prieskumových strojov.
Aký obsah nájdeme v neviditeľnom webe
Prieskumové stroje saneustále zdokonaľujú a zlepšujú svoje funkčné možnosti. Znamená to, že čoje neviditeľné dnes, môže byť viditeľné už o niekoľko mesiacov.
Prieskumový stroj môžemedefinovať ako systém, ktorý na základe kľúčového slova naformulovanéhopoužívateľom hľadá v databáze alebo indexe a používateľovi oznámivýsledok. Dôležitou časťou prieskumového stroja je robot, ktorý prehľadáva webs cieľom nájsť dokument a zároveň všetky dokumenty, ktoré tentodokument cituje. Robot je vybavený určitou umelou inteligenciou, aby dokázalreagovať na rôzne situácie, ktoré ho môžu stretnúť.
Ak na stránku nevedúžiadne spojenia, robot stránku nenájde. Tieto tzv. odpojené stránky predstavujúaž 22 % súčasného internetu a tvoria to, čomu hovoríme skutočný neviditeľný web.
Neviditeľné stránkya môžu dostať do indexu fulltextových vyhľadávačov dvoma spôsobmi:
- Ak sa z niektorej pripojenej stránky do webu urobí odkaz na odpojenú stránku, robot ju sledovaním spojenia nájde a dodá do svojho indexu
- Ak sa využije formulár na dodanie URL adresy, ktorý má vo svojej schránke zakomponovaných väčšina vyhľadávacích nástrojov
Mnohéz prieskumových strojov ako AltaVista, Google, HotBot už dnes dokážu nájsťaj iné ako textové súbory (video, audio, obrázky a pod.), ale možnostivyhľadávania sú väčšinou iba veľmi obmedzené. Dnes môžeme ešte ťažko formulovaťpožiadavku typu nájdi mi obraz, ktorý sa podobá na Monu Lízu a pod. Čižestránky, ktoré obsahujú prevažne video, audio, obrázky a málo textu, sú tiežpre prieskumové stroje neviditeľné.
