Hledání informací na internetu se provádí dvěma hlavními způsoby - pomocí katalogů (nazývaných také adresáře) a pomocí vyhledávačů.
Adresáře poskytují kontextové vyhledávání pro strukturované procházení, zatímco vyhledávače, jak naznačuje jejich název, neposkytují kontext, ale hledají konkrétní slova nebo fráze.
Adresáře lze přirovnat k obsahu knihy a vyhledávače jsou jako rejstřík předmětů.
Vyhledávače často kombinují jak vyhledávač, tak adresáře.
To je jasně vidět na příkladu první stránky Yandexu, kde pod vyhledávací lišta hostí seznam adresářů, které umožňují uživateli upřesnit požadavek, když se pohybuje hlouběji do každého z nich.
Vzhledem k tomu, že princip organizace adresářů je pochopitelný pro každého, kdo používal knihovní katalog - a mezi čtenáři takového, dovolíme si předpokládat, drtivé většiny - nebudeme se zabývat technikou práce s adresáři a bude věnovat více pozornosti práci s vyhledávači. Na konci rozhovoru o adresářích uvedeme příklad „řetězce“, po kterém se provádí vyhledávání v adresáři Yandex: Obchod\u003e Reklama\u003e Internetová reklama.
Všechny vyhledávače fungují podle stejného algoritmu a jsou založeny na stejných principech. Rozdíly mezi nimi vznikají pouze na úrovni technického provedení těchto principů v práci.
Abychom pochopili, jak vyhledávač funguje, zkusme rozdělit otázku na dvě části: na čem je vyhledávání založeno a jak je implementováno.
Na čem je vyhledávání založeno
Všechny vyhledávače jsou založeny na třech hlavních operátorech Booleova algebra (nazývané také logická logika nebo logická hodnota).
Jedná se o logické operátory „AND“, „OR“ a „NOT“. Fungují následovně.
1. Logické „AND“. Pokud je v dotazu operátor AND mezi dvěma slovy, vyhledá vyhledávač pouze dokumenty, které obsahují obě slova. Například pokud hledáte psa A kočku, dokument obsahující větu „Pes honil kočku“dokumenty sestávající z textu „Kočka odpočívala“nebo „Krmivo pro psy“ neuvidíme.
2. Logické „NEBO“.Pokud je mezi slovy operátor OR, výsledkem hledání budou dokumenty obsahující alespoň jedno z těchto slov.
Pokud neprovedeme zvláštní omezující výhrady, pak budou také nalezeny materiály, ve kterých jsou obě tato slova přítomna.
Na vyžádání psa NEBO kočky obdržíme dokumenty vyloučené z předchozí žádosti a obsahující text „Kočka odpočívala“nebo "psí žrádlo",a také materiál s návrhem „Pes pronásledoval kočku.“
3. Logické „NE“.Pokud dva předchozí operátoři popsali slova, která chcete zahrnout do dotazu, operátor NOT vyloučí slova z dotazu. Uživatelé, kteří se poprvé setkají s operátory dotazů, často vyjadřují překvapení: říkají, není snadnější do dotazu nezahrnout zbytečné slovo? Proč zavést dalšího operátora? Bohužel ne. Není to jednodušší.
Ve skutečnosti, abychom pochopili důležitost logického operátoru NOT, má smysl si pamatovat, že náš dotaz nevytváří na internetu nic nového. Ze stávajícího obrovského, ale přesto konečného pole vylovíme pouze to, co potřebujeme. V tomto případě je nutné odříznout informační odpad. Odřízli jsme to pomocí operátora „NE“. Bohužel není na nás, abychom se rozhodli, jestli uvidíme tento odpad v SERP. Například na žádost o informace o hřebeni střechy se vždy objeví informační odpadky v podobě dokumentů o malém hrbatém koni, krasobruslení, hokeji, koních atd. Bez logického „NENÍ“ se neobejdete.
Podívejme se na několik příkladů fungování logického operátoru NOT.
Pokud hledáte psa, NENÍ kočka, dokument obsahující text "psí žrádlo",a tady jsou dokumenty se slovy „Kočka odpočívala“nebo „Pes honil kočku“a dokonce "Krmivo pro psy a kočky"bude z vydání vyloučen.
Často existuje o něco složitější verze dotazu, který obsahuje všechny nebo téměř všechny výše uvedené operátory. V tomto případě je nejlepší použít prvek, jako jsou závorky. Závorky umožňují oddělit slova dotazu stejného typu od ostatních. Kromě toho je pro samotného kompilátora mnohem snazší vizuálně rozlišovat mezi jednotlivými fragmenty požadavku. Nebudeme příliš teoretizovat o závorkách, ale jednoduše předvedeme fungování tohoto prvku na konkrétních příkladech. Podle našeho názoru to objasní, jak a pro co se závorky používají.
Požádejte tedy o načechraný AND (psi NEBO kočky)
vám umožní získat dokumenty týkající se jak nadýchaných psů, tak nadýchaných koček - samostatně nebo společně. V tomto případě se závorky „otevírají“ podle obvyklých aritmetických pravidel pro vyjmutí společného faktoru ze závorky (pro ty, kteří nemají rádi matematiku, spěcháme s tím, že se jí nebudeme dále věnovat). Ale dotaz načechraný AND (psi NEBO kočky) NE (psi A kočky)
rozdá dokumenty, ve kterých se píše o chlupatých psech nebo chlupatých kočkách, ale nebude obsahovat texty, kde budou zmíněny současně kočky i psi.
Znovu opakujeme, všechny dnešní vyhledávače dnes fungují na základě analýzy těchto tří operátorů, i když nuance jejich psaní v různých vyhledávačích se mohou lišit.
Jak je vyhledávání implementováno
Každý plnohodnotný vyhledávač má vlastní hůl robotů nebo pavouků. Také se jim říká prohledávače a pavouci. Jedná se o programy, které přeskakují ze stránky na stránku a skenují texty na nich, aniž by se ponořily do jejich obsahu. Poté dokumenty umístí na servery svých pánů a přejdou na další stránky. Jak pavouk určuje, kam jít? Najde takzvaný hypertextový odkaz (ten, na kterém kurzor přejde nad otevřenou dlaní a po kliknutí na něj dojde k přechodu na jinou stránku) a bude jej sledovat. To je důvod, proč, pokud žádný odkaz nevede na stránku, pavouk na ni také nepřijde. Výjimkou je situace, kdy vlastník stránky o tom ručně informuje vyhledávač vyplněním zvláštního formuláře na webu vyhledávače.
Na serveru vyhledávače je text rozdělen na samostatná slova, každému z nich jsou přiřazeny souřadnice, poté jsou zadány do tabulky serveru spolu s odkazem na internetovou adresu, na kterou byl text zveřejněn v době, kdy pavouk to navštívil.
Samotný vyhledávač je velký místní síťskládající se z výkonné počítače s obrovským množstvím diskové paměti. Tyto stroje jsou rozděleny do podskupin (tzv. Klastrů), mezi kterými jsou distribuovány informace shromážděné pavouky.
Když vyhledávač obdrží požadavek, hledá odpověď ve své tabulce, nikoli na internetu.
Je důležité pochopit, jak se pavouk rozhoduje, jak často by měl navštívit konkrétní stránku. Tento algoritmus vypadá následovně. Po práci se stránkou se na ni pavouk vrátí, například po dvou týdnech. A pokud vidí, že nedošlo k žádným změnám, plánuje další návštěvu po delší době - \u200b\u200břekněme za měsíc. A pokud ani potom neobjeví nic nového, vrátí se sem ještě později, za měsíc a půl nebo dva.
Proto se často stává, že vyhledávač na požádání poskytne výsledek a pokus o přechod na stránku pomocí přijatého odkazu je neúčinný - s největší pravděpodobností žádná stránka jednoduše neexistuje na stejném místě, ale pavouk nemá navštívil ji po dlouhou dobu, a podle toho vyhledávací systém, který systém neví o jeho odstranění.
Celý komplex procesů popsaných výše se nazývá indexování.
Historie vývoje vyhledávačů
Historie vývoje vyhledávačů je podle našeho názoru nejúplněji představena v knize „Invisible Internet“ od uznávaných odborníků v oblasti neviditelného internetu, Chrisa Shermana a Harryho Price.
Do poloviny 60. let bylo počítačů málo. Izolovaní jeden od druhého si nemohli vyměňovat informace.
V roce 1962 vytvořil profesor Licklider z přední americké technické univerzity - Massachusetts Institute of Technology - koncept globální počítačové sítě „Galactic Network“. Tuto myšlenku začal realizovat Larry Robberts, zaměstnanec amerického ministerstva obrany, který čtyři roky po zveřejnění článku profesora navrhl připojení jednotlivých počítačů ministerstva do sítě popsané Lickliderem. To jsou předpoklady pro vznik sítě ARPANET, která se poté změnila v dnešní internet. První uzel ARPANET se objevil v roce 1969 a během několika příštích let byly k němu připojeny univerzity a různí dodavatelé pracující na objednávkách americké armády.
V roce 1973 zahájilo americké ministerstvo obrany nový program spolehlivá komunikace počítače navzájem pomocí velmi velké množství různá připojení... Účelem tohoto řešení bylo zvýšit odolnost systému proti pokusům o masivní narušení elektronických komunikací. Jelikož se to všechno odehrálo během studené války, šlo o odolnost vůči strašlivým následkům, které hrozily strategickou jadernou konfrontaci. Protože „ARPANET“ byla jediná síť, která na systémové úrovni snížila svoji schopnost odolat destrukci, vznikla myšlenka vytvořit „síť sítí“, která by teoreticky mohla být nekonečně velká. Tento projekt se jmenoval „Internetování“ a samotná síť se nazývala „Internet“.
Vzhledem k tomu, že se počet počítačů připojených k internetu objektivně zvýšil, otázka potřeby nástrojů, které usnadňují hledání textových a dalších souborů na vzdálený počítač, v ideálním případě - na kohokoli, ať je kdekoli na webu.
Přístup k souborům v nejranějších fázích vývoje Internetu probíhal ve dvou fázích, z nichž každá byla prováděna ručně: speciální příkazy byly zadávány z klávesnice. Mimochodem, v té době mohli počítače ovládat pouze odborníci, kteří mohli zadávat příkazy do příslušného řádku. Grafické rozhraní, umožňující neškolenému člověku pohodlně pracovat se strojem, dosud nebyl vynalezen. Nejprve jsme tedy pomocí programu Telnet navázali přímé připojení k počítači, na kterém je požadovaný soubor umístěn. V této fázi se navazovalo pouze spojení, v tu chvíli se nic a nikde nepřeneslo. A teprve poté pomocí speciálního programu - FTP - bylo možné tento konkrétní soubor pořídit.
Je zřejmé, že nalezení správného dokumentu trvalo hodně času: bylo nutné znát přesnou adresu počítače, na kterém je umístěn.
Soubory se mezitím staly čím dál tím více, zájem o ně neustále rostl a aby bylo možné najít adresu jednoho z nich, bylo obvykle nutné kontaktovat diskusní skupiny se žádostí o pomoc a v naději, že jeden z účastníků navrhnout vyhledávanou adresu, na které jsou uloženy potřebné informace.
V důsledku toho se začaly objevovat speciální servery FTP, které byly úložištěm souborů organizovaných v adresáři, podle principu ukládání informací na osobní počítač... Takové servery existují dodnes.
První funkční nástroj pro vyhledávání souborů s otevřeným zdrojovým kódem pro soubory uložené na FTP serverech se jmenoval Archie a byl vytvořen v roce 1990 skupinou správců systému a starších studentů na McGill University v Montrealu. Archie byl prototypem dnešních vyhledávačů, ale mnohem primitivnější a omezenější ve svých schopnostech. Procházel internet, hledal soubory na různých FTP serverech a nahrál seznam adresářů z každého nalezeného serveru na svůj vlastní, čímž vytvořil společný adresář.
Tento katalog byl poté zpracován a uložen do centrální databáze, ve které bylo možné organizovat vyhledávání. V té době již hledání na vlastním počítači existovalo dlouhou dobu a navzdory skutečnosti, že vyžadovalo také zadávání příkazů, nezpůsobilo žádné potíže s prací. Bez zvláštního školení však člověk nemohl plně používat počítač. Databáze byla hostována McGill University a aktualizována každý měsíc.
V roce 1991 vytvořil tým Marka McCahilla z University of Minnesota program Golden Gopher, který kombinoval protokoly Telnet i FTP. Uživatel musel pro přístup k požadovaným informacím kliknout na hypertextový odkaz uvedený v nabídce. Poprvé v historii tedy již nebylo nutné zadávat žádné příkazy, aby se lidé od nynějška mohli „procházet“ po internetových zdrojích bez zvláštního školení.
Program ukázal uživateli postupně se objevující podrobná menu, která mu umožňovala bez problémů jít hluboko do adresářové základny a přiblížit se konkrétním dokumentům, které byly účelem vyhledávání. Tento algoritmus je ve skutečnosti zachován dnes v adresářích umístěných na internetu.
Bylo možné přijmout obojí textové dokumentya grafické a hudební bez odkazu na konkrétní formát. A co je nejdůležitější, v zásadě je možné snadno najít a získat potřebné informace na internetu.
Problémy však stále přetrvávaly. Jeden z nich, a docela vážný, byl spojen se skutečností, že počítače byly postaveny na různých platformách, které si někdy nerozuměly. Zde můžete nakreslit analogii s lidmi, kteří mluví úplně jinými jazyky, a proto nemohou navázat více či méně smysluplnou konverzaci. V té době to nebyly operační systémy, které si navzájem konkurovaly, jako je tomu nyní, ale výrobci počítačového hardwaru. Dnes je méně důležité, kdo počítač vyrobil. Mnohem důležitější je to, co je na něm nainstalováno: Windows, Linux, Mac OS nebo nějaký jiný systém. Tehdy to byli výrobci hardwaru, kdo definoval tvář internetu.
Objektivně vznikala myšlenka, podle níž by počítače různých platforem měly být schopné pracovat v jednom protokolu, který by umožňoval prohlížení stránek bez ohledu na konkrétní stroj, na kterém byly tyto stránky vytvořeny. Bylo nutné přijít s takovým univerzálním protokolem a učinit jej uživatelsky přívětivým. První osobou, která hádala, že zkombinuje jednoduchou formu hypertextu známého v té době s univerzálními komunikačními protokoly, byl Tim Berners-Lee.
Aby měl uživatel uživateli nezávislý, ale jednoduchý nástroj nezávislý na platformě, vytvořil Berners-Lee HTML (HyperText Markup Language, tj. Hypertext Markup Language). Všechny webové dokumenty formátované pomocí značky HTML, jsou po celém světě viditelné přesně stejně, bez ohledu na typ počítače, na kterém osoba otevřela webovou stránku. Proto i dnes, při překladu souboru do formátu HTML, například na běžícím stroji operační systém MacOS, můžete si být jisti, že tento soubor bude vypadat přesně stejně ve vašem počítači se systémem Windows.
Berners-Lee pak přišel s Universal Resource Identifier, metodou standardizace adres, která přiřazuje jedinečné adresy počítačům na internetu (dnes jim říkáme URL, což je to, co uživatel zná, obvykle začíná „www“). Nakonec vynálezce dal všechny tyto prvky dohromady, aby vytvořil systém ve formě webových serverů, které ukládají dokumenty HTML a prezentují je ostatním počítačům tím, že vytvářejí požadavky HTML na dokumenty na konkrétních adresách URL.
Berners-Lee ale chtěl vidět internet jako informační prostor, ve kterém lze volně přistupovat ke všem typům dat. V raných fázích vývoje globálního webu jednoduchý text dokumenty HTML... Do té doby existovaly systémy pro vyhledání informací na místních strojích, takže se objevilo několik serverů, které se pokusily indexovat nějakou část webových stránek a před tím, než něco odehrály na internetu, nabídly hledat potřebné informace na těchto serverech.
Hlavním problémem však bylo najít stránky, které by v zásadě mohly být indexovány. Protože na internetu chybí centralizovaná struktura a společný obsah, jediným způsobem, jak toho dosáhnout, bylo najít odkaz na stránku a následovat tento odkaz a poté přidat nalezený prostředek do indexu.
Brzy však nastal další problém. Nejoblíbenější stránky pavouci navštěvovali častěji než ostatní, protože byly označeny maximálním počtem odkazů. Pavouci, jejichž počet a možnosti byly omezené, „viseli“ na těchto stránkách a plýtvali zdroji, takže mnoho dalších adres zůstalo bez návštěvy, které jsou stále méně populární. K vyřešení tohoto problému bylo nutné vytvořit program, který by umožňoval ignorovat již indexované stránky a zaměřit se na hledání nových. V opačném případě hrozil problém se zdroji.
V roce 1993 vytvořil student fyziky MIT Mathew Gray prvního známého webového robota s názvem „World Wide Web Wanderer“ nebo jednoduše „Wanderer“, což v angličtině znamená „poutník“ nebo „poutník“ ... Jde o to, že Gray se začal zajímat o statistiku. Výsledkem tohoto nadšení byl vznik „poutníka“: vynález měl pomoci studentovi analyzovat velikost internetu a rychlost jeho růstu. „Poutník“ jednoduše přišel na stránku a určil samotnou skutečnost její existence, aniž by zadal obsah nalezené adresy do databáze. Navzdory skutečnosti, že tvůrce robota nesledoval žádné jiné cíle, jeho mozek, který ve skutečnosti debutoval v „rase“ progresivních objevů na internetu, vytvořil základ pro složitější programy, které přidaly schopnost ukládat obsah stránky v databázi na schopnost „poutníka“ procházet webová data po jejich návštěvě.
Stalo se, že rok 1994 byl zlomovým bodem v historii vytváření vyhledávačů. Brian Pinkerton, postgraduální student na Washingtonské univerzitě, byl unavený z nekonečného proudu e-mailů, které mu jeho přátelé posílali s informacemi o dobrých stránkách, které našli na internetu. Samozřejmě stránky potřeboval, ale příval zpráv s jejich adresami byl naštvaný a návštěva všech stránek zabrala hodně času. Pinkerton však našel řešení problému - vytvořil robota, který nazval WebCrawler (něco jako „terénní vozidlo pro internet“). WebCrawler, stejně jako Wanderer, procházel ze stránky na stránku, pamatoval si celý text webového dokumentu a ukládal jej do databáze, která byla přístupná pro vyhledávání slov. Vynálezce představil své myšlenky veřejnosti v dubnu 1994 a on to udělal virtuálně - přes webové rozhraní. Databáze v té době obsahovala informace z 6000 různých serverů. Během týdne se začala rozšiřovat a denně rostlo více než 100 nových serverů. Zrodil se první vyhledávač.
Současně byl do užívání uživatelů internetu zaveden pojem „prohledávač“ nebo „pavouk“, který se používá, jak jsme již řekli, dodnes.
1994 - WebCrawler, Lycos, Yahoo!
1995 - Infoseek, SavvySearch, AltaVista, MetCrawler, Excite. Vznik metasearch motorů.
1996 - HotBot, LookSmart.
1997 - Northern Light.
1998 - Google, InvisibleWeb.com.
Ruské vyhledávače se objevily v následujícím pořadí:
2004 - ruská verze Google (www.google.ru) a ruská verze Yahoo! (http://ru.yahoo.com).
Z čeho se web skládá
Než přistoupíme k popisu dotazovacího jazyka vyhledávače, zvažte, z jakých prvků se web obvykle skládá, s nimiž musí pavouk pracovat.
Musím říci, že HTML je celkem jednoduchý a logický. Je to způsob, jak rozdělit text pomocí speciálních prvků - značek, které určují strukturu a vzhled textu při prohlížení v prohlížeči. O značkách byste měli vědět, že jsou vždy spárovány a že mohou být otevírací(uveďte začátek konkrétního formátování) a krytina(uveďte jeho konec). Závěrečná značka má stejný pravopis jako úvodní značka, ale předchází jí lomítko.
Uveďme příklad velmi jednoduchého webu (obr. 1).
Postava: 1. Příklad stránky, jak je vidět v prohlížeči Mozilla Firefox.
V horní části stránky zobrazené na obrázku, tj. Nikoli v textu webu, ale v horním poli rámečku stránky, vedle kulaté ikony prohlížeče je nápis: „Zobrazení zařízení stránky. “ Je umístěn v tzv. Záhlaví stránky (které je uzavřeno mezi úvodní značkou)
Uprostřed obrázku tučnou kurzívou: „Toto je jednoduchý web.“ Tento nápis je název textu. Písmo fráze „This is a simple site“ je větší než písmo textu na webu, je speciálně zvýrazněno jako nadpis textu. Při označování pomocí pomocí HTML tento text je umístěn pod značkou