Všeobecné informácie.

V súčasnosti internet spája stovky miliónov serverov, na ktorých sa nachádzajú miliardy rôznych stránok a jednotlivé súbory obsahujúce rôzne druhy informácií. Toto je obrovské úložisko informácií. Existuje mnoho spôsobov vyhľadávania informácií na internete.

Vyhľadajte známu adresu. Potrebné adresy sú prevzaté z adresárov. Ak poznáte adresu, stačí ju zadať do panela s adresou v Prehliadači.

www.gov.ru je serverom ruských štátnych orgánov.

Konštrukcia adresy používateľom. Ak poznáte systém vytvárania adresy na internete, môžete pri hľadaní webových stránok vytvárať adresy.

K kľúčovému slovu musí byť pridaná tematická alebo geografická doména (názov spoločnosti, podniku, organizácie alebo jednoduché podstatné meno v angličtine) a musí byť zahrnutá intuícia.

Adresy komerčných webových stránok:

www.cnn.com (CNN World News),

www.sony.com (firma SONY),

www.mtv.com (Hudobné správy MTV).

Adresy vzdelávacích inštitúcií:

www.ntu.edu (Americká národná univerzita).

Adresy regionálnych serverov:

www.poland.net (Poľsko),

www.israil.net (Izrael).

Internetové vyhľadávače

Na vyhľadávanie informácií na internete boli vyvinuté špeciálne systémy na vyhľadávanie informácií. Vyhľadávače majú spoločnú adresu a zobrazujú sa ako webová stránka obsahujúca špeciálne nástroje na organizáciu vyhľadávania (hľadaný reťazec, adresár predmetu, odkazy). Ak chcete zavolať vyhľadávač, zadajte jeho adresu do panela s adresou v prehliadači.

Podľa spôsobu organizácie informácií sa systémy na vyhľadávanie informácií delia na dva typy: klasifikáciu (mazače) a slovník.

Rubikátory (klasifikátory) sú vyhľadávače, ktoré používajú hierarchickú (stromovú) organizáciu informácií. Pri vyhľadávaní informácií používateľ prezerá tematické nadpisy a postupne zužuje vyhľadávacie pole (napríklad ak potrebujete nájsť význam slova, najskôr musíte v klasifikátore nájsť slovník a potom nájsť požadované slovo. v ňom).

Vyhľadávače slovníkov sú výkonné automatické hardvérové ​​a softvérové ​​systémy. S ich pomocou sa zobrazujú (skenujú) informácie na internete. Údaje o umiestnení týchto alebo týchto informácií sa zadávajú do špeciálnych indexov referenčných kníh. V reakcii na dopyt sa vykoná vyhľadávanie podľa reťazca dotazu. Vďaka tomu sa používateľovi ponúknu adresy (URL), na ktorých sa hľadané slovo alebo skupina slov v čase skenovania našli. Výberom ktoréhokoľvek z navrhovaných odkazov na adresy URL môžete prejsť na nájdený dokument. Väčšina moderných vyhľadávacích nástrojov je zmiešaná.

Najznámejšie a najobľúbenejšie vyhľadávače:

www.aport.ru www.yahoo.com www.rambler.ru www.yandex.ru www.altavista.com www.google.com

Existujú systémy špecializujúce sa na vyhľadávanie informačných zdrojov v rôznych oblastiach.

Vyhľadávanie ľudí na internete:

www.whowhere.ru ww. bigfoot.com

Vyhľadávanie diskusných skupín (Usenet):

www.dejanews.com

Vyhľadávače tém:

Vyhľadajte softvér:

Hľadať v archívoch súborov:

http: // ftpseach. city.ru, http: // ftpsearch. licos.com

Adresáre (tematické zbierky odkazov s anotáciami):

http://www.atrus.ru

Efektívne vyhľadávanie informácií možno často vykonať pomocou regionálnych adresárov - špecializovaných serverov obsahujúcich údaje o podnikoch alebo webových zdrojov mesta alebo regiónu. Napríklad pre Petrohrad sa takýto adresár nachádza na adrese http://www.spb.ru.

Zoznam IPS možno nájsť na www.monk. newmail.ru

Podrobnejší zoznam vyhľadávacích nástrojov a adresárov je uvedený v tabuľke. 3.2.

Požiadajte o pravidlá vykonania

V každom vyhľadávacom nástroji môžete v sekcii Pomocníka získať informácie o tom, ako hľadať, ako zostaviť reťazec dotazu. Nasledujú informácie o typickom „priemernom“ dotazovacom jazyku.

Jednoduchá požiadavka.

Zadajte jedno slovo definujúce tému vášho hľadania. Napríklad do vyhľadávača Rambler.ru stačí zadať: automatické.

Existujú dokumenty obsahujúce slová uvedené v žiadosti. Uznávajú sa všetky formy slov v ruskom jazyku, prípad písmen sa spravidla ignoruje.

V dotaze môžete použiť znak „*“ alebo „?“. Podpísať „?“ jeden znak je nahradený kľúčovým slovom, ktoré je možné nahradiť ľubovoľným písmenom, a znak „*“ je postupnosťou znakov.

Napríklad dotaz automatický * vám umožní nájsť dokumenty, ktoré obsahujú slová automatický, automatický atď.

Komplexná požiadavka.

Pre získanie konkrétnejších informácií je často potrebné kombinovať kľúčové slová. V tomto prípade sa používajú ďalšie prepojovacie slová, funkcie, operátory, symboly, kombinácie operátorov oddelené zátvorkami.

Napríklad dotaz hudba & (beatles | beatles) znamená, že používateľ hľadá dokumenty obsahujúce slová hudba a beatles alebo hudba a beatles.

Tabuľka 3.1 zobrazuje pravidlá pre generovanie dotazov prijaté v systéme Aport (http://www.aport.ru).

Tabuľka 3.1

Operátory generovania dotazov

Prevádzkovateľ	Synonymá	Komentár
A	A &	Vyhľadávanie nájde dokumenty obsahujúce obe kľúčové slová. Nemusíte to písať. Napríklad dopyt: informatika a učebnica je ekvivalentný s učebnicou informatiky
ALEBO	ALEBO |	Hľadajú sa dokumenty, v ktorých sa súčasne používa ktorékoľvek z uvedených slov alebo obidve slová
NIE	NIE - ~	Vyhľadávanie je obmedzené na dokumenty, ktoré neobsahujú slovo uvedené za operátorom
" "	" "	Dvojité alebo jednoduché úvodzovky vám umožňujú nájsť frázu
Dátum =	dátum: dátum =	Vyhľadávanie je obmedzené na dokumenty, ktoré spadajú do zadaného rozsahu dátumov. Príklad 1. Dátum meny = 01/02 / 2002-01 / 03/2002. Na základe tejto žiadosti budú vydané dokumenty obsahujúce slovo „mena“, ktoré majú dátum od 1. februára 2002 do 1. marca 2002. Príklad 2. dátum = 01/03/2002 mena Príklad 3. dátum:<02/03/2002 валюта

Tabuľka 3.2

Zoznam vyhľadávacích nástrojov a adresárov

Adresa	Popis
www.excite.com	Vyhľadávač s recenziami stránok a sprievodcami
www.alta-vista.com	Vyhľadávací server, k dispozícii sú možnosti pokročilého vyhľadávania
www.hotbot.com	Vyhľadať server
www.poland.net www.israil.net	Regionálne vyhľadávacie servery v Poľsku a Izraeli
www.ifoseek.com	Vyhľadávač (ľahko použiteľný)
www.ipl.org	Knižnica Internet Publik, verejná knižnica prevádzkovaná v rámci projektu World Village
www.wisewire.com	WiseWire - vyhľadávanie umelej inteligencie
www.webcrawler.com	WebCrawler - vyhľadávací nástroj, jednoduché použitie
www.yahoo.com	Webový adresár a rozhranie na prístup k fulltextovému vyhľadávaniu na serveri AltaVista
www.aport.ru	Aport - vyhľadávací server v ruskom jazyku
www.yandex.ru	Yandex - ruský vyhľadávací server
www.rambler.ru	Rambler - vyhľadávací server v ruskom jazyku
Zdroje online pomoci
www.yellow.com	Zlaté stránky internetu
mních. newmail.ru	Vyhľadávače rôznych profilov
www.top200.ru	Najlepších 200 webových stránok
www.allru.net
www.ru	Katalóg ruských internetových zdrojov
www.allru.net/z09. htm	Vzdelávacie zdroje
www.students.ru	Server ruských študentov
www.cdo.ru/index_new. asp	Centrum dištančného vzdelávania
www.open. ac. uk	Otvorená univerzita vo Veľkej Británii
www.ntu.edu	Americká národná univerzita
www.translate.ru	Elektronický prekladač textu
www.pomorsu.ru/guide. library.html	Zoznam odkazov na sieťové knižnice
www.elibrary.ru	Vedecká elektronická knižnica
www.citforum.ru	Digitálna knižnica
www.infamed.com/psy	Psychologické testy
www.pokoleniye.ru	Internetová federácia pre vzdelávanie na internete
www.metod. narod.ru	Vzdelávacie zdroje
www.spb. osi.ru/ic/distant	Dištančné vzdelávanie na internete
www.examen.ru	Skúšky a testy
www.kbsu.ru/~book/	Učebnica informatiky
Mega. km.ru	Encyklopédie a slovníky

Vyhľadávanie informácií na internete: úskalia

Problémy, ktoré neležia na povrchu, sa často prejavia iba „s odstupom času“ po dokončení určitej etapy vyhliadkovej práce a prípadne na základe jej výsledkov už bolo prijaté určité rozhodnutie. Čo bráni tomu, aby bola situácia transparentná od samého začiatku prevádzky toho alebo onoho systému na získavanie informácií (ISS)? Odpoveď je celkom jednoduchá: nedostatok komplexných informácií tohto druhu na strane vývojára. Priamym dôsledkom toho je nepresnosť prijatých údajov a ich nekontrolovaná strata. Je zriedkavé nájsť na webe vyhľadávací nástroj, ktorý nemá niektoré „nedokumentované“ funkcie. Zdá sa, že používateľ nepotrebuje toľko informácií, konkrétne:

ako je plnenie databázy ISS a aký je jej objem;

úplná škála možností systému v jazykoch vyhľadávania;

hlavné črty prezentácie výsledkov vyhľadávania, v prvom rade algoritmus na hodnotenie záznamov zo zoznamu odpovedí na vyhľadávací dotaz.

Bohužiaľ, zdrojom takýchto informácií zvyčajne nie je dokument dostupný na domovskej stránke vyhľadávača, ale publikácie jednotlivých autorov roztrúsené po webe, knihy a počítačové časopisy. Dôvody tohto stavu vecí zjavne možno pripísať nielen nedbanlivosti vývojára, ale aj faktoru zvanému marketingová politika. Jednoducho povedané, poskytnutie najkompletnejších informácií o sebe vyhľadávaču nemusí mať vždy pozitívny vplyv na jeho hodnotenie. Napriek tomu je v niektorých prípadoch používateľ celkom schopný prevziať kontrolu nad situáciou. Často je možné pomocou testovania zistiť zvláštnosti práce vybranej vyhľadávacej služby. Konštrukcia špeciálnych testovacích dotazov, ktoré rýchlo objasnia presne ten aspekt fungovania systému, ktorý je najdôležitejší pre aktuálnu úlohu, sa v mnohých prípadoch ukazuje ako nenáročný. Našu diskusiu budeme venovať tomu, ako sa vyhnúť problémom pri práci s IPS. Známe internetové vyhľadávače budú považované za príklady na ilustráciu prezentácie.

Pamäť počítača obsahuje informácie uložené ako dátový tok. Informácie môžu byť logicky usporiadané do súborov so záznamami v súboroch a jednotlivými položkami v záznamoch. Keď sú súbory takto usporiadané v databáze, každý záznam obsahuje identifikačný štítok alebo kľúč. Môže to byť číselný kód, meno alebo dátum.

Pri hľadaní záznamu počítač priamo alebo postupne, v závislosti od spôsobu uloženia údajov, zavolá dátové položky a skontroluje, či obsahujú správny kľúč. Ak sú údaje uložené na páske, sú súbory usporiadané postupne; ak sú údaje uložené na disku alebo pevnom disku, je k nim možný priamy alebo následný prístup.

Program na vyhľadávanie základných informácií. Keď kláves otvorí záznam, počítač naskenuje pamäť a zobrazí záznam.

Údaje uložené na magnetických diskoch

Stopy na magnetickom disku ukladajú nielen údaje, ale aj dátové adresy, vďaka čomu má počítač priamy prístup k informáciám. Pri hovore na obrázku nižšie sú dátové adresy zaznamenané v oblasti počítania a obsah kľúčových prvkov v oblasti klávesov.

Vyhľadávací program sa zapne po zadaní kľúča. V súboroch s priamou organizáciou vyhľadávací program zistí adresu údajov z kľúča, prijme informácie a nariadi operačnému systému, aby údaje prečítal.

Obrazovka vyhľadávania informácií umožňuje operátorovi získať informácie jednoduchým výberom položky z ponuky bez použitia klávesu.

HDD pozostáva z niekoľkých okrúhlych dosiek zostavených na jednej osi. Valec je tvorený dráhami, z ktorých každá zaujíma na každej doske rovnakú polohu. Valce sú očíslované zvonka dovnútra a dráhy valcov sú očíslované zhora nadol. Teda adresa jednej dátovej položky bude valec xx, track yy.

Ako prebieha vyhľadávanie

1. Sekvenčné vyhľadávanie.

Počítač skenuje údaje v presnom poradí. Čím väčšie je množstvo údajov, tým nižšia je účinnosť tejto metódy.

2. Priame vyhľadávanie.

Umiestnenie požadovaných údajov sa zistí pomocou klávesu. Preto musia byť údaje uložené v oblasti kľúčov.

3. Dvojité vyhľadávanie.

Údaje by mali byť usporiadané v rovnakom poradí ako kľúče. Vyhľadávanie začína kontrolou stredných údajov, aby sa určilo, či sa požadované údaje nachádzajú pod horným alebo spodným klávesom. To zúži hľadanie na polovicu.

Vyhľadávanie informácií na internete sa vykonáva dvoma hlavnými spôsobmi - pomocou adresárov (nazývaných tiež adresáre) a pomocou vyhľadávacích nástrojov.

Adresáre poskytujú kontextové vyhľadávanie štruktúrovaného prehliadania, zatiaľ čo vyhľadávacie nástroje, ako naznačuje ich názov, neposkytujú kontext, ale nachádzajú konkrétne slová alebo frázy.

Adresáre môžu byť ako obsah knihy a vyhľadávacie nástroje sú ako vecný register.

Vyhľadávače často kombinujú vyhľadávací nástroj aj adresáre.

Jasne to vidno na príklade prvej stránky Yandexu, kde je pod vyhľadávacím panelom umiestnený zoznam adresárov, ktoré umožňujú používateľovi spresniť dopyt, keď sa dostane hlbšie do každého z nich.

Vzhľadom na skutočnosť, že princíp organizácie adresárov je zrozumiteľný pre každého, kto použil knižničný katalóg - a medzi čitateľmi takýchto kníh, dovolíme si predpokladať, že drvivá väčšina - sa nebudeme pozastavovať nad technikou práce s adresármi a bude venovať väčšiu pozornosť práci s vyhľadávačmi. Na konci rozhovoru o adresároch uvedieme príklad „reťazca“, pozdĺž ktorého sa hľadá v adresári Yandex: Obchod> Reklama> Internetová reklama.

Všetky vyhľadávače pracujú podľa rovnakého algoritmu a sú založené na rovnakých princípoch. Rozdiely medzi nimi vznikajú iba na úrovni technickej implementácie týchto zásad v práci.

Aby sme pochopili, ako funguje vyhľadávací nástroj, skúsme otázku rozdeliť na dve časti: na čom je vyhľadávanie založené a ako je implementované.

Na čom je hľadanie založené

Všetky vyhľadávače sú založené na troch základných operátoroch, ktoré sú základom booleovskej algebry (nazýva sa tiež booleovská logika alebo booleovská logika).

Jedná sa o logické operátory „AND“, „OR“ a „NOT“. Fungujú nasledovne.

1. Logické „AND“. Ak je v dotaze operátor AND medzi dvoma slovami, potom vyhľadaním nájdete iba dokumenty, ktoré obsahujú obe slová. Ak napríklad hľadáte psa A Mačku, nájde sa dokument obsahujúci vetu „Pes prenasledoval mačku“ dokumenty pozostávajúce z textu „Mačka odpočívala“ alebo „Psie jedlo“ neuvidíme.

2. Logické „ALEBO“. Ak je medzi slovami operátor ALEBO, výsledkom vyhľadávania budú dokumenty obsahujúce aspoň jedno z týchto slov.

Ak neurobíme špeciálne obmedzujúce výhrady, potom sa nájdu aj materiály, v ktorých sú obidve tieto slová.

Na požiadanie psa alebo Mačky dostaneme dokumenty vylúčené z predchádzajúcej žiadosti a obsahujúce text „Mačka odpočívala“ alebo "psie žrádlo", ako aj materiál s návrhom „Pes prenasledoval mačku.“

3. Logické „NIE“. Ak dva predchádzajúce operátory opísali slová, ktoré chcete zahrnúť do dotazu, operátor NOT vylúči slová z dotazu. Používatelia, ktorí sa s operátormi dotazov stretnú prvýkrát, často vyjadrujú prekvapenie: hovoria, nie je to jednoduchšie a už vôbec nie zahrnúť do dotazu nepotrebné slovo? Prečo zaviesť ďalšieho operátora? Bohužiaľ nie. Nie je to jednoduchšie.

V skutočnosti, aby sme pochopili dôležitosť logického operátora NOT, je rozumné pamätať na to, že náš dopyt nevytvára na internete nič nové. Lovíme iba to, čo potrebujeme, z existujúceho obrovského, ale stále konečného radu. V takom prípade je potrebné obmedziť informačný odpad. Odrezali sme to pomocou operátora „NIE“. Žiaľ, nie je na nás, aby sme sa rozhodli, či tento odpad uvidíme v SERP. Takže napríklad na základe žiadosti o informácie o hrebeni strechy sa vždy objavia informačné odpadky vo forme dokumentov o malom hrboľatom koni, krasokorčuľovaní, hokeji, koňoch atď. Bez logického „NIE“ sa nezaobídete.

Pozrime sa na niekoľko príkladov toho, ako funguje logický operátor NOT.

Ak hľadáte psa, NIE mačku, nájde sa dokument obsahujúci text "psie žrádlo", a tu sú dokumenty so slovami „Mačka odpočívala“ alebo „Pes prenasledoval mačku“ a dokonca „Krmivo pre psy a mačky“ bude z vydania vylúčený.

Často sa stretávame s trochu zložitejšou verziou dotazu, ktorý obsahuje všetky alebo takmer všetky vyššie uvedené operátory. V tomto prípade je lepšie použiť prvok, ako sú zátvorky. Konzoly umožňujú oddeliť slová dotazu rovnakého typu od ostatných. Samotný prekladač je navyše vizuálne oveľa pohodlnejšie rozlišovať medzi jednotlivými fragmentmi požiadavky. Nebudeme príliš teoretizovať o zátvorkách, ale jednoducho ukážeme, ako tento prvok funguje na konkrétnych príkladoch. Podľa nášho názoru to objasní, ako a na čo sa zátvorky používajú.

Požiadajte teda o nadýchané AND (psy ALEBO mačky)

vám umožní získať dokumenty týkajúce sa tak nadýchaných psov, ako aj nadýchaných mačiek - samostatne alebo spoločne. V tomto prípade sa zátvorky „otvárajú“ podľa obvyklých aritmetických pravidiel pre vynášanie spoločného faktora z hranatej zátvorky (pre tých, ktorí nemajú radi matematiku, sa ponáhľame povedať, že sa do nej ďalej nebudeme venovať). Žiadosť je však nadýchaná A (psy ALEBO mačky) NIE (psy A Mačky)

vydá dokumenty, v ktorých sa píše o nadýchaných psoch alebo nadýchaných mačkách, ale nebude obsahovať texty, kde budú súčasne spomenuté mačky aj psy.

Ešte raz opakujeme, všetky dnešné vyhľadávače fungujú na základe analýzy týchto troch operátorov, aj keď nuansy ich písania v rôznych vyhľadávačoch sa môžu líšiť.

Ako je vyhľadávanie implementované

Každý plnohodnotný vyhľadávací nástroj má svojho vlastného personálu robotov alebo pavúkov. Tiež sa im hovorí crawler a pavúk. Jedná sa o programy, ktoré preskakujú zo stránky na stránku a skenujú texty na nich bez toho, aby sa ponorili do ich obsahu. Potom odhodia dokumenty na servery svojich pánov a prejdú na ďalšie stránky. Ako pavúk určí, kam má ísť? Nájde takzvaný hypertextový odkaz (ten, ktorý pri umiestnení kurzora nad ktorý má kurzor formu otvorenej dlane a po kliknutí na ktorý dôjde k prechodu na inú stránku) a sleduje ho. To je dôvod, prečo, ak na stránku nevedie žiadny odkaz, pavúk na ňu tiež nepríde. Výnimkou je situácia, keď vlastník stránky o tom bude ručne informovať vyhľadávací nástroj vyplnením špeciálneho formulára na webovej stránke vyhľadávača.

Na serveri vyhľadávacieho nástroja je text rozdelený na samostatné slová, každému z nich sú priradené súradnice, ktoré sa potom zadajú do tabuľky servera spolu s odkazom na internetovú adresu, na ktorú bol text v čase zverejnenia navštívil ho pavúk.

Samotný vyhľadávač je veľká lokálna sieť pozostávajúca z výkonných počítačov s obrovským množstvom diskovej pamäte. Tieto stroje sú rozdelené do podskupín (nazývaných klastre), medzi ktoré sú distribuované informácie zhromaždené pavúkmi.

Keď vyhľadávač dostane požiadavku, hľadá odpoveď v svojej tabuľke, nie na internete.

Je dôležité pochopiť, ako sa pavúk rozhoduje, ako často by mal navštíviť konkrétnu stránku. Tento algoritmus vyzerá približne nasledovne. Po práci so stránkou sa na ňu pavúk vráti napríklad po dvoch týždňoch. A ak vidí, že nedošlo k žiadnym zmenám, plánuje ďalšiu návštevu po dlhšom období - povedzme o mesiac. A ak ani potom neobjaví nič nové, potom sa sem vráti ešte neskôr, o mesiac a pol alebo dva.

Preto sa často stáva, že vyhľadávací nástroj poskytne na požiadanie výsledok a pokus prejsť na stránku pomocou prijatého odkazu je neúčinný - s najväčšou pravdepodobnosťou žiadna stránka jednoducho neexistuje na tom istom mieste, ale pavúk nie ho dlho navštevoval, a preto vyhľadávací nástroj, ktorý systém nevie o jeho odstránení.

Celý komplex procesov opísaných vyššie sa nazýva indexovanie.

História vývoja vyhľadávacích nástrojov

Dejiny vývoja vyhľadávacích nástrojov sú podľa nášho názoru najkompletnejšie predstavené v knihe „The Invisible Internet“ od renomovaných odborníkov v oblasti neviditeľného internetu Chrisa Shermana a Harryho Pricea.

Do polovice 60. rokov bolo počítačov málo. Izolovaní jeden od druhého si nemohli vymieňať informácie.

V roku 1962 profesor Licklider z poprednej americkej technickej univerzity - Massachusetts Institute of Technology - sformuloval koncept globálnej počítačovej siete „Galactic Network“. Túto myšlienku začal realizovať zamestnanec amerického ministerstva obrany Larry Robberts, ktorý štyri roky po uverejnení článku profesora navrhol spojiť jednotlivé počítače ministerstva do siete, ktorú opísal Licklider. To sú predpoklady pre vznik siete ARPANET, ktorá sa potom zmenila na to, čomu sa dnes hovorí internet. Prvý uzol ARPANET sa objavil v roku 1969 a v priebehu niekoľkých nasledujúcich rokov boli k nemu pripojené univerzity a rôzni dodávatelia pracujúci na objednávkach americkej armády.

V roku 1973 americké ministerstvo obrany iniciovalo nový program na zabezpečenie spoľahlivej vzájomnej komunikácie počítačov pomocou veľmi veľkého množstva rôznych pripojení. Cieľom tohto riešenia bolo zvýšiť odolnosť systému voči pokusom o masívne narušenie elektronickej komunikácie. Keďže k tomu všetkému došlo počas studenej vojny, išlo o odolnosť voči hrozným následkom, ktoré hrozili strategickou jadrovou konfrontáciou. Pretože „ARPANET“ bola jediná sieť, ktorá na systémovej úrovni znižovala svoju schopnosť odolávať zničeniu, vznikla myšlienka vytvoriť „sieť sietí“, ktorá by teoreticky mohla byť nekonečne veľká. Tento projekt sa nazýval „Internetting“ a samotná sieť sa nazývala „Internet“.

Keďže počet počítačov pripojených k internetu narastal, objektívne sa stala naliehavou otázka potreby nástrojov, ktoré by umožňovali ľahké vyhľadávanie textových a iných súborov na vzdialenom počítači, ideálne kdekoľvek na internete.

Prístup k súborom v najskorších fázach vývoja internetu bol vykonaný v dvoch fázach, z ktorých každá bola vykonaná ručne: špeciálne príkazy boli zadávané z klávesnice. Mimochodom, potom mohli počítače ovládať iba špecialisti, ktorí mohli zadávať príkazy do príslušného riadku. Grafické rozhranie, ktoré umožňuje nepripravenej osobe pohodlne pracovať so strojom, ešte nebolo vynájdené. Takže najskôr bolo pomocou programu Telnet nadviazané priame spojenie s počítačom, na ktorom je požadovaný súbor. V tejto fáze sa nadväzovalo iba spojenie, v tej chvíli sa neprenieslo nič a nikde. A až potom pomocou špeciálneho programu - FTP - bolo možné vziať tento konkrétny súbor.

Je zrejmé, že nájdenie správneho dokumentu zabralo veľa času: bolo potrebné poznať presnú adresu počítača, na ktorom sa nachádza.

Medzitým sa spisy stávali čoraz viac, záujem o ne neustále stúpal a na zistenie adresy jedného z nich bolo zvyčajne potrebné kontaktovať diskusné skupiny so žiadosťou o pomoc a v nádeji, že jeden z účastníkov navrhnúť vyhľadávanú adresu, na ktorej sú uložené potrebné informácie.

Vďaka tomu sa začali objavovať špeciálne servery FTP, ktoré boli úložiskom súborov organizovaných v adresári, na princípe ukladania informácií do osobného počítača. Takéto servery existujú dodnes.

Prvý funkčný nástroj na získavanie súborov s otvoreným zdrojovým kódom pre súbory uložené na serveroch FTP sa nazýval Archie a bol vytvorený v roku 1990 skupinou systémových administrátorov a starších študentov na McGill University v Montreale. Archie bol prototypom dnešných vyhľadávacích nástrojov, ale oveľa primitívnejší a obmedzenejšími možnosťami. Surfoval po internete, hľadal súbory na rôznych FTP serveroch a nahral zoznam adresárov z každého servera, ktorý našiel, na svoj vlastný a vytvoril zdieľaný adresár.

Tento katalóg bol potom spracovaný a uložený v centrálnej databáze, v ktorej bolo možné organizovať vyhľadávania. V tom čase už vyhľadávanie na vlastnom počítači existovalo dlhší čas a napriek tomu, že vyžadovalo aj zadávanie príkazov, nespôsobovalo žiadne ťažkosti v práci. Bez špeciálneho školenia však človek nemohol plne využívať počítač. Databázu hostila McGill University a aktualizovala sa každý mesiac.

V roku 1991 tím Marka McCahilla z University of Minnesota vytvoril program Golden Gopher, ktorý kombinuje protokoly Telnet a FTP. Všetko, čo používateľ musel urobiť, aby získal prístup k požadovaným informáciám, bolo kliknúť na hypertextový odkaz uvedený v ponuke. Prvýkrát v histórii teda nebolo potrebné zadávať žiadne príkazy, takže odteraz sa ľudia mohli „túlať“ po internetových zdrojoch bez špeciálneho školenia.

Program ukazoval používateľovi postupne sa objavujúce podrobné menu, ktoré mu umožňovalo bez problémov prejsť hlboko do adresárovej základne a priblížiť sa a priblížiť ku konkrétnym dokumentom, ktoré boli účelom vyhľadávania. Tento algoritmus je v skutočnosti dnes zachovaný v adresároch umiestnených na internete.

Bolo možné prijímať textové aj grafické a hudobné dokumenty bez toho, aby boli viazané na nejaký konkrétny formát. A čo je najdôležitejšie, v zásade je možné ľahko nájsť a prijať potrebné informácie na internete.

Problémy však stále zostali. Jeden z nich, a to celkom vážny, bol spojený s tým, že počítače boli postavené na rôznych platformách, ktoré si niekedy nerozumeli. Tu môžete nakresliť analógiu s ľuďmi, ktorí hovoria úplne inými jazykmi, a preto nevedia nadviazať viac či menej zmysluplnú konverzáciu. V tých časoch si navzájom konkurovali nie operačné systémy, ako tomu je teraz, ale výrobcovia počítačového hardvéru. Dnes už nie je také dôležité, kto počítač vyrobil. Oveľa dôležitejšie je to, čo je na ňom nainštalované: Windows, Linux, Mac OS alebo iný systém. A potom to boli výrobcovia hardvéru, ktorí definovali tvár internetu.

Objektívne vznikala myšlienka, podľa ktorej by počítače rôznych platforiem mali byť schopné pracovať v jednom protokole, ktorý by umožňoval prezeranie stránok bez ohľadu na konkrétny stroj, na ktorom boli tieto stránky vytvorené. Bolo potrebné vymyslieť taký univerzálny protokol a urobiť ho užívateľsky prívetivým. Prvý človek, ktorý hádal, že skombinuje jednoduchú formu hypertextu, ktorá bola v tom čase známa, s univerzálnymi komunikačnými protokolmi, bol Tim Berners-Lee.

Aby mal používateľ k dispozícii jednoduchý, ale na platforme nezávislý nástroj, vytvoril Berners-Lee HTML (HyperText Markup Language, tj. Hypertextový značkovací jazyk). Všetky webové dokumenty formátované pomocou značiek HTML sú viditeľné úplne rovnaké na celom svete bez ohľadu na typ počítača, na ktorom osoba otvorila webovú stránku. Preto si aj dnes pri preklade súboru do formátu HTML, napríklad na počítači s operačným systémom MacOS, môžete byť istí, že súbor bude na počítači so systémom Windows vyzerať úplne rovnako.

Berners-Lee potom prišiel s Universal Resource Identifier, metódou štandardizácie adries, ktorá prideľuje počítačom na internete jedinečné adresy (dnes im hovoríme URL, čo je používateľ, ktorý je oboznámený, zvyčajne začína „www“). Nakoniec vynálezca dal všetky tieto prvky dokopy vytvorením systému vo forme webových serverov, ktoré ukladajú dokumenty HTML a prezentujú ich iným počítačom tak, že na príslušné adresy URL vytvára požiadavky na dokumenty vo formáte HTML.

Berners-Lee však chcel vidieť internet ako informačný priestor, v ktorom je voľný prístup ku všetkým typom údajov. V raných fázach vývoja globálneho webu prevládali jednoduché textové dokumenty HTML. Do tej doby existovali systémy na vyhľadanie informácií na lokálnych strojoch, takže sa objavilo niekoľko serverov, ktoré sa pokúsili indexovať časť webových stránok a predtým, ako niečo vyhľadajú na internete, ponúkli vyhľadanie potrebných informácií na týchto serveroch.

Hlavným problémom bolo zároveň nájsť stránky, ktoré by sa v zásade dali indexovať. Pretože na internete chýba centralizovaná štruktúra a spoločný obsah, jediným spôsobom, ako to dosiahnuť, bolo nájsť odkaz na stránku a nasledovať tento odkaz a potom pridať nájdený zdroj do indexu.

Onedlho však nastal ďalší problém. Najpopulárnejšie stránky navštevovali pavúky častejšie ako ostatné, pretože ich označoval maximálny počet odkazov. Pavúky, ktorých počet a možnosti boli obmedzené, „viseli“ na takýchto stránkach a míňali zdroje, takže mnoho ďalších adries, ktoré sú stále menej obľúbené, nechali bez povšimnutia. Na vyriešenie tohto problému bolo potrebné vytvoriť program, ktorý by umožňoval ignorovať už indexované stránky a zamerať sa na hľadanie nových. V opačnom prípade hrozil problém so zdrojmi.

V roku 1993 študent fyziky MIT Mathew Gray vytvoril prvého známeho webového robota s názvom „World Wide Web Wanderer“ alebo jednoducho „Wanderer“, čo v preklade z angličtiny znamená „tulák“ alebo „tulák“. Ide o to, že Gray sa začal zaujímať o štatistiku. Výsledkom tohto nadšenia bol vznik „tuláka“: vynález mal pomôcť študentovi analyzovať veľkosť internetu a rýchlosť jeho rastu. „Wanderer“ jednoducho prišiel na stránku a určil samotný fakt jej existencie bez toho, aby obsah nájdenej adresy zadal do databázy. Napriek tomu, že tvorca robota nesledoval žiadne ďalšie ciele, jeho mozgové dieťa, ktoré skutočne debutovalo v „pretekoch“ progresívnych internetových objavov, tvorilo základ pre komplexnejšie programy, ktoré pridali možnosť uložiť obsah stránky v databáze na schopnosť „tuláka“ navigovať na webe. údaje po ich návšteve.

Stalo sa tak, že rok 1994 bol zlomovým bodom v histórii vytvárania vyhľadávacích nástrojov. Brian Pinkerton, absolvent univerzity vo Washingtone, bol unavený z nekonečného množstva e-mailov, ktoré mu jeho priatelia posielali s informáciami o dobrých stránkach, ktoré našli na internete. Stránky samozrejme potreboval, ale nával správ s ich adresami bol otravný a návšteva všetkých stránok zabrala veľa času. Pinkerton však našiel riešenie problému - vytvoril robota, ktorého nazval WebCrawler (niečo ako „terénne vozidlo pre internet“). WebCrawler, podobne ako Wanderer, prechádzal zo stránky na stránku, pamätal si celý text webového dokumentu a ukladal ho do databázy, ktorá bola prístupná na hľadanie slov. Vynálezca predstavil svoje duchovné dieťa verejnosti v apríli 1994 a urobil to virtuálne - prostredníctvom webového rozhrania. Databáza v tom čase obsahovala informácie od 6 000 rôznych serverov. Za týždeň sa začal rozširovať a každý deň pribudlo viac ako 100 nových serverov. Takto sa zrodil prvý vyhľadávač.

Zároveň bol do používania internetových užívateľov zavedený termín „crawler“ alebo „pavúk“, ktorý sa používa, ako sme už povedali, dodnes.

1994 - WebCrawler, Lycos, Yahoo!

1995 - Infoseek, SavvySearch, AltaVista, MetCrawler, Excite. Vznik metasearch motorov.

1996 - HotBot, LookSmart.

1997 - Severné svetlo.

1998 - Google, InvisibleWeb.com.

Ruské vyhľadávače sa objavili v nasledujúcom poradí:

2004 - ruská verzia Google (www.google.ru) a ruská verzia Yahoo! (http://ru.yahoo.com).

Z čoho sa web skladá

Predtým, ako pristúpime k popisu jazyka dotazov vyhľadávacieho nástroja, zvážme, z akých prvkov sa web obvykle skladá, s ktorými musí pavúk pracovať.

Musím povedať, že jazyk HTML je celkom jednoduchý a logický. Je to spôsob, ako rozdeliť text pomocou špeciálnych prvkov - značiek, ktoré určujú štruktúru a vzhľad textu pri prezeraní v prehliadači. O značkách by ste mali vedieť, že sú vždy spárované a že môžu byť otváranie(uveďte začiatok konkrétneho formátovania) a krytina(uveďte jeho koniec). Uzatváracia značka má rovnaký pravopis ako otváracia značka, ale predchádza jej lomka.

Uveďme príklad veľmi jednoduchého webu (obr. 1).

Ryža. 1. Príklad stránky zobrazenej v prehľadávači Mozilla Firefox.

V hornej časti stránky zobrazenej na obrázku, tj. Nie v texte webu, ale v hornom poli rámca stránky, vedľa okrúhlej ikony prehliadača je nápis: „Zobrazuje sa zariadenie stránky. “ Nachádza sa v takzvanej hlavičke stránky (ktorá je uzavretá medzi úvodnou značkou) ). Upozorňujeme vás na skutočnosť, že toto je názov celej stránky, nie text.

V strede obrázku je zobrazená tučnou kurzívou: „Toto je jednoduchá stránka.“ Tento nápis je nadpisom textu. Písmo pre frázu „Toto je jednoduchý web“ je väčšie ako písmo textu na webe, je špeciálne zvýraznené ako nadpis textu. Pri označovaní pomocou HTML je tento text umiestnený pod značkou