Jak velká data se stala cenným aktivem v dopravě. Moskevská doprava přejde na big data Technologie velkých dat v dopravě

01.10.2018, Po, 10:03, Msk , Text: Maria Sysoikina

Inovační centrum bezpečné dopravy, které vzniklo před rokem v rámci moskevského metra, sdružuje vývojáře řešení pro práci s digitálními technologiemi. V rámci prvního strategického zasedání inovačního centra proběhla diskuse o nových technologiích nabízených ruskými společnostmi i o iniciativách již realizovaných centrem.

Komunita kolem bezpečné dopravy

Inovační centrum bezpečné dopravy začalo vytvářet komunitu odborníků a vývojářů, aby si vyměňovali nápady a zkušenosti s využitím moderních technologií při řešení různých dopravních problémů pro Moskvu. V rámci komunity se spojí jak společnosti, které již s Bezpečnou dopravou spolupracují, tak noví členové. Na prvním strategickém zasedání centra vystoupili zástupci společností ABBYY, Maxim Telecom, Yandex.Taxi, Avito, Software, a další se podělili o svou vizi nezbytných technologických změn v dopravě v Moskvě, diskutovali o roli technologií při vytváření nových inovativních služeb a nabídli nápady na personalizaci interakce města s jeho obyvateli.

Velká data mění komunikaci

Myšlenka vytvoření centra se zrodila v srpnu 2018. Hlavním cílem této iniciativy je transformace interakce s cestujícími, posouvání komunikace s občany na novou, personalizovanou úroveň. Analýza velkých dat pomáhá dosáhnout stanovených cílů. Inovační centrum má schopnost pracovat s daty z organizací podřízených resortu dopravy, provádět vlastní výzkumy, testovat hypotézy a pracovat na budování segmentů pro cílené komunikační společnosti.

„O cestujících shromažďujeme mnoho heterogenních depersonalizovaných dat a na základě analýzy můžeme občanům cíleně poskytovat důležité informace,“ vysvětluje vedoucí Inovačního centra. Jurij Emeljanov. - Scénáře mohou být velmi odlišné. Často dochází například ke změnám tras, opravám, blokování dopravy v souvislosti s nějakými akcemi, aktivitami. Analýzou dat můžeme poskytnout personalizované informace o změnách těm cestujícím, kteří se na těchto trasách často pohybují.“

Projekty inovačního centra

Centrum má ve svém portfoliu i ambicióznější projekty, například analýzu spokojenosti moskevských městských částí s využíváním povrchové dopravy. Experti centra provedli řadu průzkumů na toto téma, analyzovali výsledky a na základě výsledků formulovali iniciativy ke změně tras, jízdních řádů a zastávek. Středisko předkládá tyto podněty různým řídícím výborům konaným v rámci dopravního komplexu a jsou-li schváleny, jsou realizovány podřízených organizací. Zpětná vazba na základě realizovaných podnětů opět vstupuje do inovačního centra, kde se hodnotí výsledky práce a míra spokojenosti občanů. Tento program začal v březnu 2018 a zatím se ukázal jako docela úspěšný. Nyní se Centrum aktivně účastní podobného programu pro moskevské metro.

Zajímavý je zejména projekt Centra pro analytickou podporu akcí v rámci MS. Experti centra analyzovali osobní dopravu ve dnech zápasů konaných na moskevských stadionech (Lužniki, Spartak, fanzóna na Vrabčích horách), co nejdříve po utkání zavedli průzkumy spokojenosti a vypracovali doporučení pro optimalizaci zatížení městského dopravního systému a zefektivnit organizaci dopravní obslužnosti.

Posouzení rozložení zátěže na stadionu Lužniki. Fragment analytické zprávy o utkání Rusko - Saúdská Arábie, které se konalo 14. června, v den zahájení šampionátu

Samostatnou oblastí práce centra se stala podpora mobilních aplikací pro občany. Safe Transport spolupracuje s řadou vývojářů, včetně společnosti Infocompas, která vyvíjí aplikaci Moscow Helper. „Snažíme se podporovat iniciativy na vytváření různých služeb založených na mobilních aplikacích pro občany. Pro nás je to jeden z komunikačních kanálů s obyvateli města,“ říká Jurij Jemeljanov. – Například odborníci Centra spolu s vývojáři mobilní aplikace Moskevský asistent pracuje na vylepšení algoritmu pro rozpoznávání státní registrační značky. Inovační centrum má pro nadcházející rok 2019 mnoho ambiciózních cílů.

Hlavnímu městu se dlouhá léta předpovídal dopravní kolaps kvůli rychlému nárůstu počtu aut v jeho ulicích. Inteligentní dopravní systém zavedený ve městě v posledních letech však tuto prognózu neumožňuje. O tom, jak je řízena doprava v hlavním městě, řekl Alexander Poljakov, ředitel Výzkumného a konstrukčního institutu městské dopravy v Moskvě (GUP MosgortransNIIproekt), který má od roku 2013 na starosti vývoj dopravní analytiky, budování informačních systémů a vývoj integrované programy rozvoje dopravní infrastruktury ve funkci zástupce vedoucího Centra řízení dopravy moskevské vlády. Na fóru BIG DATA 2017 pořádaném vydavatelstvím " otevřené systémy» 29. března hovořil o tom, jak moskevský dopravní komplex využívá Big Data k vývoji inteligentního dopravního systému, jak na jejich základě vznikají systémy řízení dopravy a jak lze k řešení našich problémů využít nástroje virtuální a rozšířené reality.

- Kdy začala "digitalizace" moskevské dopravy?

Vše začalo usnesením o rozvoji inteligentního dopravního systému ve městě, které 11. ledna 2011 schválila moskevská vláda.

Od té doby odbor dopravy pracuje na rozvoji dopravní infrastruktury s využitím moderních informačních systémů.

V rámci projektu bylo v roce 2014 vytvořeno situační středisko TsODD, jehož specialisté zodpovídají za organizaci dopravy a všechny systémy zapojené do práce tohoto střediska, včetně těch, které umožňují ovládání semaforů a televizních kamer. , sledování dopravní situace, vizuální informování účastníků silničního provozu, foto a videozáznam přestupků řízení městské pozemní osobní dopravy.

- Projekty kterých zemí byly odebrány jako vzorky?

Zohledněny byly zkušenosti evropských států, zejména Španělska a Německa, byly zohledněny zkušenosti Singapuru, Hongkongu a řady amerických měst. Ale zároveň jsme pochopili, že každé město je jedinečné, takže dopravní infrastruktura Moskvy se vyvíjí podle vlastního scénáře, nemluvě o zatížení ulic. Nyní po Moskvě jezdí řekněme 683 000 aut.

- Jak je nyní řešeno řízení dopravní situace v hlavním městě?

V posledních letech v rámci moskevského dopravního komplexu vznikla řada IT systémů, které řeší různé problémy v této oblasti, včetně využití Big Data.

Model statické dopravy, vybudovaný v roce 2013, umožňuje předvídat situaci na dlouhodobé období se zohledněním různých možností změny dopravní situace. S jeho pomocí je možné vypočítat scénáře v celoměstském měřítku, ať už jde o dlouhodobé dopravní uzavírky nebo zprovoznění nových nadjezdů.

Tento model mimo jiné zohledňuje údaje o obyvatelích, které nám poskytují různé služby: počet lidí, jejich věk, genderové charakteristiky, sociální postavení, kolik lidí pracuje, kolik nepracuje atd. Moskva je rozdělené do tzv. dopravních oblastí a rozebíráme, kam obyvatelé každé takové čtvrti jezdí, proč, v jakou dobu.

Díky získaným datům analyzujeme korespondenční matici – souhrn všech „výměn“ dopravy mezi oblastmi. Pokud je například v obvodu 600 předškoláků a 500 míst ve školkách, tak je zřejmé, že stovku dětí ráno odvezou do jiného obvodu. Abychom objasnili celkový obraz toho, co se děje, provádíme průzkumy, které pomohou pochopit, jaký typ dopravy a v jakých případech lidé volí: kdy - osobní auto, kdy - veřejnou dopravu. Navíc musíme předvídat, jak dopravní preference lidí ovlivní některé změny v urbanismu nebo organizaci dopravy, co bude důsledkem zablokování komunikace při výstavbě nebo naopak otevření nové.

Aktuální situaci sledujeme pomocí dynamického dopravního modelu, který dává ucelený obraz o moskevské dopravě v reálném čase a umožňuje reagovat na vznikající problémy. K tomu DTM agreguje data přijatá ze senzorů GLONASS instalovaných v MHD, foto a video kamer, dopravních detektorů – radarových senzorů, které snímají intenzitu dopravy, rychlost vozidel a řadu dalších parametrů.

DTM vám umožňuje ovládat semafory, analyzovat problémové oblasti, například detekovat centra nehod, místa, kde neustále dochází k zácpě; identifikovat překážky v pohybu osobní dopravy a odstranit je; monitorovat provoz mobilních areálů pro pořizování fotografií a videozáznamů (tzv. parkony, které opravují přestupky), posuzovat přepravní náročnost na základě denní korespondenční matice.

Vytvořeno na základě DTM interaktivní mapa dopravy v Moskvě, která zobrazuje v reálném čase informace o dopravní zácpě v bodech, počtu nehod, vozidel v daném okamžiku a za den, pozemní městské osobní dopravě, počtu dopravních přestupků zaznamenaných kamerami.

V roce 2015 vytvořili specialisté TsODD na základě dynamického modelu systém virtuální a rozšířené reality, který simuluje let nad městem a poskytuje online data o dopravní situaci. Díky tomuto systému již můžete vidět výslednou dopravní zácpu připojením ke kameře, která ukazuje reálný trojrozměrný obraz této oblasti, což umožňuje lépe porozumět situaci.

Tato mapa poskytuje občanům různé informace (text, foto a video) o významných historických, kulturních a společenských objektech, v podstatě rozšířenou realitou.

- Jakými kanály informujete občany o dopravní situaci?

Data přijímaná z DTM jsou vysílána v reálném čase řadou rozhlasových stanic, telegramovým messengerem a dopravními značkami. Televizní kanál Moskva 24 a jeho internetový portál m24.ru ukazují mapu aktuální situace na silnicích města.

Takové informování je také prostředkem řízení dopravních toků. Moskvané vidí, jaká je situace v ulicích, které je zajímají, volí objízdné trasy, zvažují možnost cestování jinými druhy dopravy, například přestup ze soukromé na veřejnou.

- Existují nějaké číselné ukazatele efektivity vaší práce?

V roce 2015 bylo spuštěno komplexní schéma řízení dopravy určené k optimalizaci řízení dopravy v ulicích města a zvýšení jejich propustnosti. A již v prvním roce se nám podařilo dosáhnout značných výsledků.

Dám vám pár čísel. Ve městě je nyní 4,6 milionu registrovaných aut a nehodovost je podle dopravní policie nejnižší za posledních deset let. V roce 2016 se ve srovnání s rokem 2010 počet nehod snížil o 45 % a počet usmrcených o 56 %. V centrální části města, uvnitř III. dopravního okruhu, vzrostla průměrná rychlost jednotlivých vozidel o 11 % a osobní dopravy o 7 %. Ve vyhrazených pruzích zavedených v roce 2016 se osobní doprava zvýšila v průměru o 11 %. Průměrná doba příjezdu sanitky se zkrátila z 21 minut na 8, tedy téměř třikrát, kvůli tomu, že se objevily pruhy pro městskou hromadnou dopravu a autobusy a trolejbusy mohou dát přednost sanitce, které šly na zastávkách do kapsy.

Pokud porovnáme bližší období, tak v roce 2016 oproti roku 2015 poklesl počet nehod s hmotnou škodou o 18 %, počet nehod s obětí se snížil o 12 % a počet případů střetu s chodcem se snížil o 14 %.

- Na základě čích rozhodnutí je postaven vývoj TsODD?

Bereme nejlepší západní vývoj. Například současný systém řízení semaforů je vyroben na základě španělského řešení, model statické dopravy je postaven na německé platformě. Ale řešení, které kombinuje všechny tyto trendy, je domácí. Všechny tyto systémy integrovali naši specialisté.

Na základě nasbíraných zkušeností vytváříme řešení pro řízení dopravní situace pro další města u nás i v zahraničí. Například - pro Teherán.

- Doháníme to, nebo jsme už nějakým způsobem před ostatními zeměmi?

Jsme na cestě k novému modelu řízení. Loni na zákl automatizovaný systémřízení dopravy byl zahájen pilotní projekt automatické ovládání semafory. Nyní systém funguje na dálnicích Altufevskoye a Varshavskoye a také na Andropovově třídě, kde se na základě údajů DTM o zácpách na dálnicích automaticky mění provozní režimy semaforů. To není případ žádného jiného města na světě. Například i v londýnském systému řízení dopravy Transport for London jsou provozní režimy semaforů akceptovány operátory.

Nyní jsme si dali za úkol rozšířit provoz tohoto systému na další dálnice. Potíž je v tom, že všechny cesty jsou propojené a je nutné při „vyklízení“ některých těsně nezastavovat provoz na jiných.

- Jaké nové projekty se plánují?

Budeme pokračovat další vývoj systémy předpovídání dopravních nehod. Pro provádění předpovědi neustále analyzuje povětrnostní podmínky, charakteristiky problematických úseků silnic (konfigurace úzkých míst, míra snížení jejich kapacity), ukazatele plynulosti dopravy (průměrné skóre dopravní kongesce ve městě a na úseku silnice, rychlost proudění na úseku silnice atd.).

Musíme být připraveni na budoucnost vozidel bez řidiče. V jejich navigátorech se již načtou informace například o rychlostním limitu v konkrétním úseku a auto si samostatně zvolí režim bezpečné rychlosti.

Dlouhodobou perspektivou je rozvoj systému veřejné dopravy, který by se měl stát atraktivní alternativou k osobnímu automobilu. Vybudovaná dopravní infrastruktura je mimo jiné důležitým ekonomickým faktorem, který přispívá ke konkurenci měst v lákání turistů, podnikatelů atd.

Pomohou vyložit silnice a systémy rozšířené reality. Pokud je možné na konferenci nejít, ale sledovat video s 360° prezentacemi z pracoviště nebo se jí dokonce zúčastnit, a to nikoli přes speciální brýle, ale na obrazovce chytrého telefonu, pak mnozí dají přednost této možnosti.

Moskevská doprava a řízení dopravy v číslech

V datovém centru, umístěném pod budovou situačního centra datového centra, je instalováno více než 100 serverů, které ukládají celkem cca 2 PB dat. Některé informace jsou neustále aktualizovány – například data přijatá z kamer se ukládají na servery po dobu sedmi dnů. Vzhledem k neustálému růstu datového toku je plánováno výrazné navýšení kapacity serveru.

V běžné pracovní ráno odjíždí do hlavních „dopravních tepen“ Moskvy asi 700 000 aut.

Ve špičce připadá 71 % osobní dopravy na MHD, a proto jsou jejich zájmy, které ministerstvo dopravy staví do popředí.

Videokamery rozeznávají až 22 druhů přestupků – mezi nimi jízda po kraji vozovky nebo vyhrazeném jízdním pruhu, odbočování z druhé řady, jízda na frekventovanou křižovatku, neumožnění průchodu chodci, projíždění kamionů bez průjezdu, jízda na krajnici nebo ve vyhrazeném pruhu atd. Denně předávají dopravní policii informace o 100 tisících dopravních policistů.přestupky (zaokrouhlená hodnota).

Existují pojmy „dopravní poledne“ a „dopravní půlnoc“. V Moskvě jsou posunuty - „poledne“ trvá od 14:00 do 15:00 a „půlnoc“ přichází ve 3:00.

V Bashkirii byla při analýze toku turistů poprvé použita „velká data“. Státní výbor pro cestovní ruch Běloruské republiky si objednal studii od Uralského centra pro monitorování a analýzu, která byla provedena na základě dynamiky pohybu účastníků mobilních telefonů.

Podle studií od ledna do listopadu 2018 republiku navštívilo 1,656 milionu turistů, z nichž 60 % tvoří muži ve věku 30 až 45 let, zpravidla zaměstnanci komerčních organizací s vyšším vzděláním, s příjmem 40 tisíc rublů a Měsíc. Průměrná délka pobytu je 3,8 dne.

Vrchol turistického proudu připadá na léto. V červnu 2018 byl počet vstupujících 179 tisíc lidí, v červenci - 215 tisíc lidí. Minimální číslo bylo pozorováno v únoru - 118 tisíc lidí.

Hosté přijeli z různých oblastí Ruska. Největší podíl návštěvníků - Moskva, Moskevská oblast, Tatarstán - po 11 %. Obyvatelé regionu Orenburg, Čeljabinsk a Samara se na turistickém toku podíleli 9 %, 7 %, 6 %. Dále Sverdlovská oblast a KhMAO – každý 3,8 %, Ťumeňský region – 3 %, Permské území a Udmurtia – každý o něco více než 2 %.

Zahraniční turisté přijeli ze sousedních zemí, dále Indie, Španělska, Itálie, Jemenu, Německa, Turecka, Egypta, Nigérie, Izraele, USA, České republiky, Saúdské Arábie, Bulharska, Íránu, Číny a Finska.

Byla provedena i sociologická studie formou průzkumů mezi turisty. 37 % dotázaných zvolilo k pobytu hotel nebo hotel. 17 % bydlelo u přátel nebo příbuzných, 11 % preferovalo ubytovny. Podle účelů cestování byl turistický tok rozdělen takto: cesty za příbuznými (30 %), obchodní turistika (28 %), zdravotní turistika (18 %), poznávací (12 %), aktivní (8 %), pouť cestovní ruch (0,2 %) .

40 % turistů nepřijelo do Baškirie poprvé. 20 % přišlo na doporučení přátel (kolegů, příbuzných). 24% zisk na služební cestě. Nejméně využívanými zdroji informací při volbě směru cesty byly u respondentů internetové portály (3,4 %), sociální sítě (1,2 %), reklama v médiích (0,5 %).

V aktuálním roce 2019 bude také analyzována turistická atraktivita některých regionů republiky, informoval státní výbor.

„Geoanalytika pomocí schopností mobilních operátorů je pokročilá metoda počítání toku turistů. V současné době má takové zkušenosti pouze Moskva a dovolte mi, abych vám připomněl, že tato zaujímá první místo v národním turistickém hodnocení ve federálním okruhu Volha, Bashkortostan - druhé, “řekl Azamat Galin, zástupce vedoucího Státního výboru pro cestovní ruch a Podnikání Běloruské republiky.

Podle portálu Turstat se Bashkiria na konci roku 2018 dostala do Top 15 v hodnocení domácího a příjezdového cestovního ruchu a obsadila 13. místo s počtem turistů nad 2,5 milionu lidí (+13 % oproti roku 2017).

Tyto iniciativy vlády Bashkiria jsou velmi zajímavé a užitečné pro studium toku turistů a plánování jejich aktivit s cílem propagovat turistické produkty regionu prostřednictvím komplexního poskytování služeb turistům, včetně využití IT technologií.

Mimochodem, novinky zmiňují Nižnij Nogorod. Již dříve jsme informovali, že toto město zavedlo projekt „Karta hosta“, který vám umožní sledovat pohyb turistů navštěvujících památky města, jejich zájmy, turisté budou moci získat různé slevy a také bezplatné použití veřejná doprava.

Všechny tyto iniciativy se realizují v regionech izolované a izolované, bez federální účasti.

O ČEM TO MLUVÍŠ?

Závěrem je, že v současné době se řeší otázka žádosti o elektronická víza pro cizí občany přijíždějící do Ruské federace. Používání takových víz pomocí speciálních digitálních technologií bez integrace systému migrace a registrace turistů v hotelech a výše zmíněných služeb pomocí „karty hosta“ podle Asociace „Bezpečnost cestovního ruchu“ nedává smysl. To není vládní přístup.

Podle našeho názoru by systematický, státní přístup měl zahrnovat zohlednění všech těchto prvků. Turista se musí po obdržení elektronické známky jednou zaregistrovat na hranicích a poté se pohybovat po zemi, registrovat se v hotelech (již bez migrační registrace), bez problémů navštěvovat muzea, získávat různé slevy, používat MHD zdarma nebo se slevami. A zároveň tento přístup umožní jak zajistit národní bezpečnost tím, že zaznamenává pohyb cizinců, tak osvobodí hoteliéry od starostí s registrací a migračním účetnictvím a orgány řízení cestovního ruchu v ustavujících subjektech Ruské federace přijímat informace o nejoblíbenějších objektech regionu (města) a na jeho základě tvořit turistické nabídky, a tím získat maximální užitek.

A VŠECHNO JE PRO TOHLE!

A to nařízení vlády Ruská Federace 6. srpna 2015 č. 813, kterým byly schváleny předpisy o státním systému migrační a registrační registrace, jejichž implementace může významně ovlivnit pohostinství a obecně zvýšit příliv turistů. Přesně o tom hovořil předseda představenstva Asociace „Bezpečnost cestovního ruchu“ dne 06.12.2018 v Radě federace. Sergej Gruzdúčastníci kulatého stolu na téma „Aktuální otázky používání elektronických víz pro cizí státní příslušníky přijíždějící do Ruské federace a zlepšování legislativy Ruské federace v této oblasti“

Připomeňme, že otázky zlepšení migračních a registračních záznamů, zjednodušení vízového režimu, vytvoření a zavedení jednotného biometrického identifikátoru pro cestování budou předmětem diskuse v rámci Mezinárodní fórum "Bezpečnost cestovního ruchu" - TSIF - 2019.Toto fórum je klíčovou odbornou akcí, kde na jedné platformě diskutují zástupci úřadů, odborné veřejnosti a byznysu o aktuálních otázkách bezpečnosti cestovního ruchu. Formát fóra umožňuje 4 průběžné relace.

Přednášející: Philip Katz


Tazatel: Alexey Karlinsky

Mnohokrát jsme uvěřili příslibům sci-fi o neuvěřitelné budoucnosti a pokaždé naše naděje rozbila nudná přítomnost. Stále žijeme na zemi a naše auta nelétají vzduchem. "Byli jsme znovu podvedeni!" - pomyslíme si a za všemi těmi fantaziemi nám opět uniká okamžik, kdy budoucnost skutečně přichází.

Tentokrát se tak stalo s příchodem Big Data. Můžeme je ignorovat, ale už nemůžeme popírat jejich dopad na náš život. Phillip Katz, architekt a specialista na velká data, vypráví, jak velká data v tichosti změnila naše města a způsob, jakým v nich žijeme.

Philip je multidisciplinární specialista, vzděláním architekt, specialista na velká data. Absolvent Kazaňské univerzity architektury, Strelka Institute of Media, Architecture and Design, jeden ze zakladatelů projektu Branch Point. Přednáší na St. Petersburg National Research University informační technologie, mechanika a optika a provádí analýzu dat pro Rambler&Co.

zavřít

Philipe, řekni nám prosím, jak se dnes technologie Big Data používají v architektonickém designu a urbanismu?

Začněme tím, že před čtyřmi lety, když jsem studoval na Strelce v Rusku, nikdo o velkých datech nevěděl. Svět o nich jen mluví. O rok později o nich v Rusku všichni věděli a byli s nimi nemocní. Zdá se mi, že jde v mnoha ohledech o tradiční dynamiku – když se nová technologie zvedne na piedestal, je chválena a pak se v souvislosti s ní poměrně rychle objeví skepse. Technologie je sražena ze svého piedestalu a poté se začleňují do společnosti v uvolněnějším režimu.

Pokud mluvíme o architektonické nebo urbanistické analýze, pak se mi zdá, že dnes je to jakýsi kompromis mezi moderní technologie a tradiční analýzy. Například před rokem jsem pomáhal svému příteli přihlásit se do architektonické soutěže pro studenty ve Spojených státech. Pro ně správce města poskytl soubory GIS s poměrně dobrým popisem dat: dopravní cesty, objem těchto cest, kde se každoročně objevují louže, kde se každých pět let zaplavuje, kde bloky s vysoká úroveň daní, kde bloky s vysokým procentem černochů. Ve Spojených státech je podrobnost statistik vysoká a data celkem dobře shrnuta, takže i na úrovni soutěžního projektu bychom mohli dostat některé věci hotové. Nemusely být shromažďovány ani analyzovány.

Většina z nejužitečnějších analýz se podle mého názoru scvrkává na skutečnost, že některá data berete jako fakta a na jejich základě navrhujete. A přestože data mohou být pro všechny stejná, stále se čtou a chápou zcela odlišným způsobem.

Google tvrdí, že jejich samořídící auta mohou snížit počet dopravních nehod a pomoci efektivněji využívat palivo a prostor na silnicích / foto: Google.com

Jak jste ve své praxi využívali technologie Big Data?

My na dlouhou dobu dělali projekt "Branch Point" s mými kolegy Edikem Khaimanem a Sašou Boldyrevou - snažili se nějak diskutovat a rozvíjet digitální design a samozřejmě pak naším společným postulovaným snem a konečným cílem byl design založený na parametrech. Naším konečným snem přitom bylo právě najít nová formální řešení založená na nějakém záludném kódu, který by splňoval naše požadavky, ale výsledek by nebyl takový, jaký jsme si stanovili, ale nějaký nečekaný - krásný .

Analytika je druh umění, kde je v každém případě algoritmem pro práci s daty obrázek

Ve zralém věku projektu jsme všichni pochopili, že tento sen byl nejen nesplnitelný, ale kontroverzní byla spíše myšlenka, že by budova měla být kompletně navržena na základě dat. Je to spíše něco, o co je třeba usilovat, ale pochopte, že se tam nikdy nedostanete.

Zde pro mě nastává důležitý dialektický moment. Předpokládejme, že vytváříme algoritmus a chápeme, že především kvůli genetickým požadavkům vyžaduje poměrně jednoduché, ale přesto formální parametry. A ve složitém systému, a budova nebo čtvrť je složitý systém, se okamžitě objeví mnoho takových parametrů, které je třeba přivést ke společnému jmenovateli. Vždy potřebujete primární formální gesto, nějakou formu: válec nebo rovnoběžnostěn, pyramidy a tak dále.

Pokud se podíváme na práci Zahy Hadid, pak je v jádru projektu vždy nějaké elegantní formální gesto. Lze jej pak digitálně upravovat, ale vždy zůstává srdcem všeho a patří do pera autora. genetický algoritmus si pak může vybrat nejlepší z výsledných možností, ale nikdy je nebude schopen vymyslet.

To znamená, že jádrem designu bude vždy lidská vůle. Jak se v tomto případě změní míra lidského zapojení do designu s rozvojem Big Data?

V budoucnu vidím jakýsi analytický motor – velký a komplexní kvantový počítač, například nebo telepaty a parapsychology, ponořené do deprivačních komnat, kteří něco předpovídají nebo navrhují něco, co stojí za pozornost.

Myslím, že člověka z procesu nikdy nevytlačí. Všechny tyto věci (metody analýzy velkých dat) se nazývají algoritmy pomoci při rozhodování a jejich podstatou je co nejúčinněji odstranit anomálie v dynamice procesů a minimalizovat procento technické práce na osobu. Analytik musí být odborníkem na práci s nimi a algoritmy mu mohou přinést vše na stříbrném podnose, kromě skutečného řešení. Samozřejmě existuje technický práh pro vstup do této disciplíny, ale samotná analytika je umělecká forma, kde algoritmus pro práci s daty je obrázek. Mistrovský kousek.

Drony vybavené kamerou mohou nezávisle hlídkovat danou oblast a přenášet do ní snímky informační centrumživě / foto: Kevin Baird / Flickr.com

Velká data nemohou pokrýt všechny informace. Jak se vypořádat s tím, co se při analýze Big Data nebere v úvahu?

Analytici jsou totiž často kritizováni za to, že popisují pouze ty, kteří jsou připojeni k internetu, a ti, kteří k internetu připojeni nejsou, jsou z analýzy vyřazeni. To je naprostá pravda, ale má to svou vlastní obrannou logiku. Cynicky řečeno, neznáme-li problémy babičky, která se stydí psát na internet, protože na to není zvyklá, pak můžeme její problémy ignorovat, jednoduše proto, že když použijeme tento přístup, pak buď babička, nebo její vnuk ji podpoří, případně napíše.

Další problém spočívá v tom, že jakákoli technologie pro sběr nebo ukládání dat je vždy prvním chybovým faktorem. Zároveň je z principu nemožné vysledovat veškerou multifaktoriálnost – proč lidé hráli tak a ne jinak. Big Data zpočátku neposkytují odpověď. Umožňují vám klást vážné otázky.

Jak příležitost klást otázky novým způsobem mění naše vnímání města?

Edward Hyman kdysi vymyslel termín „plagopolis“. Myšlenka je taková, že moderní město se stává stále aktivnějším a dynamičtějším. Dnes je to jakési prostředí s vlastními toky, pohyby, kde se kapalina, která přetéká v cévách, neustále samoreguluje. Zároveň můžete pouze uchopit bod a opravit jej velmi podmíněně. Okamžitě se změní a změní další body kolem sebe. Pro mě je tento nápad docela praktická věc, se kterou se dá pracovat. Nyní se ukazuje, že město už nemůžeme vnímat jako něco mechanického.

Je tato myšlenka přijata v ruském urbanismu?

Na úrovni městského plánování v tomto ruském smyslu to není zřejmé. Tak či onak začínáme kreslením cest, ulic a věříme, že to tak nakonec bude. V nejlepším případě si začneme myslet, že bychom měli zkontrolovat, jak to udělat správně, a pak to bude buď tak, jak kreslíme, nebo si lidé sami všechno později předělají.

Big Data neposkytují odpověď. Umožňují vám klást vážné otázky.

Obecně platí, že obvinění založená na stereotypech a abstraktních představách jsou dnes velmi otravná. Navíc architekti a urbanisté mě v první řadě přivádějí k šílenství. Jednoduše říkají, že „chodci jsou lepší než motoristé“ nebo že „kreativní podnikání promění průmyslový park v ráj na zemi“. Za každou z těchto věcí bych chtěl mít základní výpočet, protože to tak může být, ale nemusí a ve většině případů je to nějak špatně.

Jak nám pak mohou Big Data pomoci lépe porozumět městu?

Město je vždy slon z pohádky o nevidomých, kteří se ho snaží popsat hmatem. Vždy pracujeme stejně – někdo se chytá za zadek, někdo za ucho, někdo za kufr. A všichni zároveň říkají, že vidí slona. V našem případě také všichni věříme, že jsme vidoucí a víme, co je město.

Big Data nás chrání před pocitem pouze na jednom místě, dává nám možnost si zhruba představit obecná forma slona a chápeme, že se o toto místo dotýkáme, ale jsou tu i další. Dostávám obrovské zprávy o městě a vždy se mohu dostat do nějakých konkrétních deseti řádků dat, podívat se a zeptat se: proč to tak je? Obvykle se to stává začátkem nějakého vyšetřování, výzkumu, historie.

Data GIS v kombinaci s algoritmy prostorového modelování pomáhají předpovídat úroveň izolace ve vybrané oblasti / fotografie: Trevor Patt / Flickr.com

Jsou tyto úvahy inspirované Big Data nějak později vyjádřeny ve skutečných projektech?

Existuje metoda tzv. „městské akupunktury“. Jeho podstata spočívá v tom, že se ve městě hledají uzly bolesti a v těchto malých uzlech - v prostorech maximálně bloku, nejlépe v jedné budově, nebo i na nějakém malém prostoru mezi budovami - nějaká změna je vyrobeno. Vzhledem k velikosti rozpočtu je zcela mikroskopický a změny pro město jako celek, pokud se tyto uzly správně spočítají, jsou obrovské.

Ačkoli „Městská akupunktura“ je dnes spíše spekulativním projektem, již nyní existují chytré prostorové řešení, se semafory v jednotný systém, Například. Ve spojení s chytrými silnicemi vám umožní změnit prostor, což může způsobit nečekané výfuky. I dnes dochází k robotizaci průmyslových odvětví a to také přidává hodnotu. Pokud teďdronyzačne přepravovat zboží, poté městská logistikasmerdzhitsya (z angličtiny ke sloučení — "spojit"— A.K.)- a jsou čísla a tady jsou čísla. S tímhle bude určitě mnohem jednodušší pracovat než s živými truckery.

Technologie, kterou se momentálně inspiruji a doufám, že z ní vzejde něco architektonického, je nový projekt Amazon, když to stojí za to chytrý reproduktor ve středu domu, který naslouchá všem vašim otázkám a odpovídá na ně. Něco jako Siri, jen v domě. Tato technologie pravděpodobně změní smysl města pro prostor více než jakýkoli jiný algoritmus.

Město se tedy bude stále více spoléhat na software?

Přesně tak. Nyní se I/O a různá rozhraní pro získávání informací osobou institucionálně hodně mění. Z mého pohledu mi služba zavolat levné taxi mění život mnohem více než 90 procent urbanistických rozhodnutí. Taxíky v mém vnímání města hodně mění. Přes všechny předchozí zkušenosti s příchodem Yandexu. Taxi a konkurence taxislužeb se ukázalo, že naši taxikáři jsou slušní, peníze jsou specifické a reagují rychle - vůbec ne jako v žádném New Yorku.

Levná taxislužba mi mění život mnohem více než 90 procent urbanistických rozhodnutí

Myslím, že nejdůležitější službou, která by mohla mít obrovské zisky z uberifikace, je prostituce. Hypotetický uživatel je stydlivý a možná i proto mnoho lidí služeb prostitutek nevyužívá – připadá jim to něco nebezpečného, ​​děsivého a nepochopitelného. Sedět u svého telefonu – určitě by to pro ně bylo mnohem jednodušší. To by samozřejmě pasákům okamžitě vzalo chleba a zcela změnilo byznys. Prostě kolosální! Myslím, že se to brzy stane v nějaké liberální zemi.

Myslíte si, že lidé budou moci v budoucnu osobně pracovat s technologiemi Big Data?

Myslím, že to všechno k tomu vede. Technologická náročnost se zvýší a to je pochopitelné, ale v praxi se naučíme, jak to správně zabalit. Hladká rozhraní(z angličtiny uhlazený— tenký, půvabný— A.K.)dnes do jisté míry zjednodušit naše vnímání toho, jak se všechno děje. Tady tlačítko, tady pipka a je to. Dnes platí, že čím více se můžete před průměrným člověkem schovat, aniž byste ztratili funkci, tím lépe, protože lidé jsou tak trochu zastrašeni vší tou složitostí. Známá technologie jako v Minority Report se sice neobjevila, ale smyslně film velmi správně popisuje, co se teď bude dít.

Co to bude? Čemu podle vás budou velká data čelit v blízké budoucnosti?

Objevily se jako jakési módní téma a nyní se pomalu vytrácejí, protože ty nejočividnější věci už byly hotové. Dále bude nutné dopracovat technické mechanismy v metodice - ne v romantické, ale v utilitární podobě. Jsem si jistý, že za pět let bude v kanceláři primátora, na ministerstvech a ve firmách docela dobře placená a možná i dost nudná pozice nějakého digitálního analytika.

Big Data přitom mají určitou nemoc. Jsou lidé, kteří rozumí tomu, co dělají, a jsou lidé, kteří se tím živí, kteří ve skutečnosti nechápou, jak velká data fungují. Díra mezi profesionálními technology a lidmi, kteří chápou, proč se to všechno může stát, vždy existuje v každém podnikání, v jakékoli vědě, a to je jistě problém. Lidé, kteří znají technologickou stránku a experimentují s novými řešeními, jen zřídka dělají skutečně užitečné věci a lidé, kteří vědí, jak tento vývoj aplikovat, také nemohou sami vytvořit kvalitní produkt. Jediným způsobem, jak se rozvíjet při práci s velkými daty, je proto nacházet nové způsoby interakce mezi specialisty.

"Velká data"- téma, které je aktivně diskutováno technologickými společnostmi. Někteří se z velkých dat rozčarovali, jiní je naopak využívají k podnikání, jak jen to jde... . Doufáme, že informace budou zajímavé a užitečné.

CO JE TO VELKÁ DATA?

Klíčové vlastnosti
Big Data jsou v současnosti jedním z klíčových motorů rozvoje informačních technologií. Tento směr, relativně nový pro ruský byznys, se rozšířil v západních zemích. Je to dáno tím, že v éře informačních technologií, zejména po boomu sociální sítě, se pro každého uživatele internetu začalo hromadit značné množství informací, z čehož nakonec vzešel směr Big Data.

Pojem „Big Data“ vyvolává spoustu kontroverzí, mnozí se domnívají, že se tím myslí pouze množství nashromážděných informací, ale nezapomínejte ani na technickou stránku, do této oblasti patří úložné technologie, výpočetní technika a služby.

Nutno podotknout, že tato oblast zahrnuje zpracování velkého množství informací, které je obtížné zpracovat tradičními metodami*.

Níže je uvedena srovnávací tabulka tradiční a velké databáze.

Oblast Big Data se vyznačuje následujícími vlastnostmi:
Objem - objem, nashromážděná databáze je velké množství informací, které je pracné zpracovávat a ukládat tradičními způsoby, vyžadují nový přístup a vylepšené nástroje.
Rychlost - rychlost, tato funkce indikuje jak rostoucí rychlost akumulace dat (90 % informací bylo shromážděno za poslední 2 roky), tak rychlost zpracování dat, v Nedávno Technologie zpracování dat v reálném čase jsou stále více žádané.
Odrůda – rozmanitost, tzn. možnost současného zpracování strukturovaných a nestrukturovaných informací různých formátů. Hlavní rozdíl mezi strukturovanými informacemi je v tom, že je lze klasifikovat. Příkladem takových informací jsou informace o klientských transakcích.
Nestrukturované informace zahrnují video, zvukové soubory, volný text, informace pocházející ze sociálních sítí. K dnešnímu dni je 80 % informací zařazeno do skupiny nestrukturovaných. Tyto informace vyžadují komplexní analýzu, aby byly užitečné pro další zpracování.
Pravdivost – Spolehlivost dat, uživatelé začali přikládat důležitost spolehlivosti dostupných dat. Internetové společnosti tak mají problém oddělit akce prováděné robotem a osobou na webových stránkách společnosti, což v konečném důsledku vede k obtížnosti analýzy dat.
hodnota - hodnota nashromážděných informací. Big Data by měla být pro společnost užitečná a přinášet jí určitou hodnotu. Například pomoc při zlepšování obchodních procesů, reportingu nebo optimalizace nákladů.

Pokud je splněno výše uvedených 5 podmínek, lze akumulované objemy dat klasifikovat jako velké.

Aplikace velkých dat

Rozsah Big Data technologií je široký. S pomocí Big Data se tedy můžete dozvědět o preferencích zákazníků, efektivitě marketingových kampaní nebo provádět analýzu rizik. Níže jsou uvedeny výsledky průzkumu IBM Institute o směrech používání velkých dat ve společnostech.

Jak je z diagramu patrné, většina společností využívá Big Data v oblasti služeb zákazníkům, druhým nejoblíbenějším směrem je provozní efektivita, v oblasti řízení rizik jsou Big Data v současnosti méně běžná.

Je třeba také poznamenat, že Big Data jsou jednou z nejrychleji rostoucích oblastí informačních technologií, podle statistik se celkové množství přijatých a uložených dat zdvojnásobí každých 1,2 roku.
Mezi lety 2012 a 2014 bylo množství přenesených dat měsíčně mobilní sítě vzrostl o 81 %. Cisco odhaduje, že v roce 2014 byl objem mobilního provozu 2,5 exabajtů (jednotka měření množství informací rovna 10 ^ 18 standardním bajtům) za měsíc a v roce 2019 to bude 24,3 exabajtů.
Big Data jsou tedy i přes svůj relativně nízký věk již zavedeným technologickým oborem, který se rozšířil v mnoha oblastech podnikání a hraje důležitou roli v rozvoji firem.

Big Data Technologies
Technologie používané ke sběru a zpracování velkých dat lze rozdělit do 3 skupin:
  • Software;
  • Zařízení;
  • Servis.

Mezi nejběžnější přístupy zpracování dat (PD) patří:
SQL - strukturovaný dotazovací jazyk, který umožňuje práci s databázemi. Pomocí SQL můžete vytvářet a upravovat data a datové pole je spravováno příslušným systémem správy databází.
NoSQL - termín znamená nejen SQL (nejen SQL). Zahrnuje řadu přístupů zaměřených na implementaci databáze, které se liší od modelů používaných v tradičních relačních DBMS. Jsou vhodné pro použití s ​​neustále se měnící datovou strukturou. Například ke shromažďování a ukládání informací na sociálních sítích.
MapReduce – výpočetní distribuční model. Používá se pro paralelní počítání přes velmi velké datové sady (petabajty* nebo více). V programovacím rozhraní se data nepřenášejí do programu ke zpracování, ale program se přenáší do dat. Žádost tedy zní samostatný program. Principem činnosti je sekvenční zpracování dat dvěma metodami Map a Reduce. Mapa vybírá předběžná data, Reduce je agreguje.
hadoop - používá se k implementaci vyhledávacích a kontextových mechanismů pro vysoce zatížené stránky - Facebook, eBay, Amazon atd. Charakteristickým rysem je, že systém je chráněn před selháním kteréhokoli z uzlů clusteru, protože každý blok má alespoň jednu kopii dat na druhém uzlu.
SAP HANA je vysoce výkonná platforma NewSQL pro ukládání a zpracování dat. Poskytuje vysokou rychlost zpracování požadavků. Dalším rozdílem je, že SAP HANA zjednodušuje systémové prostředí snížením nákladů na podporu analytických systémů.

Technologické vybavení zahrnuje:

  • servery;
  • infrastrukturní zařízení.
Servery obsahují úložiště dat.
Vybavení infrastruktury zahrnuje nástroje pro akceleraci platformy, zdroje nepřerušitelný zdroj energie, sady serverových konzolí atd.

Servis.
Služby zahrnují architekturu databázového systému, vývoj a optimalizaci infrastruktury a zabezpečení datových úložišť.

Software, hardware a služby tvoří komplexní platformy pro ukládání a analýzu dat. Společnosti jako Microsoft, HP, EMC nabízejí služby pro vývoj, nasazení a správu řešení Big Data.

Aplikace v průmyslu
Big Data se rozšířila v mnoha obchodních sektorech. Používají se ve zdravotnictví, telekomunikacích, obchodu, logistice, finančních společnostech, ale i ve veřejné správě.
Níže jsou uvedeny některé příklady aplikací Big Data v některých odvětvích.

Maloobchodní
Databáze maloobchodních prodejen mohou akumulovat mnoho informací o zákaznících, systému řízení zásob, nabídce prodejných produktů. Tyto informace mohou být užitečné ve všech oblastech činnosti obchodu.

S pomocí nashromážděných informací tedy můžete řídit dodávky zboží, jeho skladování a prodej. Na základě nashromážděných informací je možné předvídat poptávku a nabídku zboží. Systém zpracování a analýzy dat může také vyřešit další problémy obchodníka, například optimalizovat náklady nebo připravit reporty.

Finanční služby
Big Data umožňují analyzovat úvěruschopnost dlužníka a jsou také užitečná pro kreditní skóring* a upisování**. Zavedení technologií Big Data zkrátí dobu posuzování žádostí o úvěr. Pomocí Big Data je možné analyzovat provoz konkrétního klienta a nabídnout mu vhodné bankovní služby.

Telecom
V telekomunikačním průmyslu jsou Big Data široce využívána mobilními operátory.
Operátoři mobilní komunikace spolu s finančními institucemi mají jednu z největších databází, která jim umožňuje provádět nejhloubkovou analýzu nashromážděných informací.
Hlavním cílem analýzy dat je udržet stávající zákazníky a přilákat nové. Za tímto účelem společnosti segmentují zákazníky, analyzují jejich provoz a určují sociální příslušnost předplatitele.

Kromě využití Big Data pro marketingové účely se technologie používá k prevenci podvodných finančních transakcí.

Těžební a ropný průmysl
Big Data se využívají jak při těžbě nerostů, tak při jejich zpracování a marketingu. Na základě obdržených informací mohou podniky vyvodit závěry o efektivitě rozvoje v terénu, sledovat harmonogram generálních oprav a stav zařízení a předpovídat poptávku po produktech a cenách.

Podle průzkumu Tech Pro Research jsou Big Data nejrozšířenější v telekomunikačním průmyslu a také ve strojírenství, IT, finančních a vládních podnicích. Podle výsledků tohoto průzkumu jsou Big Data méně populární ve školství a zdravotnictví. Výsledky průzkumu jsou uvedeny níže:

Příklady využití Big Data ve firmách
Big Data jsou dnes aktivně implementována v zahraničních společnostech. Společnosti jako Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks a Netflix již zdroje Big Data využívají.

Oblasti použití zpracovávaných informací jsou různorodé a liší se v závislosti na odvětví a úkolech, které je třeba provést.
Dále budou uvedeny příklady aplikace Big Data technologií v praxi.

HSBC využívá technologie Big Data k boji proti podvodným transakcím s plastovými kartami. S pomocí Big Data společnost zvýšila efektivitu bezpečnostní služby 3x a rozpoznání podvodných incidentů 10x. Ekonomický efekt ze zavedení těchto technologií přesáhl 10 milionů amerických dolarů.

boj proti podvodům* VÍZUM umožňuje automaticky počítat transakce podvodného charakteru, systém aktuálně pomáhá předcházet podvodným platbám ve výši 2 miliard USD ročně.

Superpočítač společnosti Watson IBM analyzuje v reálném čase tok dat o peněžních transakcích. Podle IBM Watson zvýšil počet identifikovaných podvodných transakcí o 15 %, snížil o 50 %. falešně pozitivní systému a zvýšil objem prostředků chráněných před transakcemi tohoto charakteru o 60 %.

Procter & Gamble s pomocí Big Data navrhují nové produkty a vytvářejí globální marketingové kampaně. Společnost P&G vytvořila specializované kanceláře Business Spheres, kde si můžete prohlížet informace v reálném čase.
Vedení společnosti tak má možnost okamžitě testovat hypotézy a provádět experimenty. P&G věří, že Big Data pomáhají předpovídat výkonnost společnosti.

Prodejce kancelářských potřeb officemax pomocí technologií Big Data analyzují chování zákazníků. Analýza velkých dat umožnila zvýšit tržby B2B o 13 %, snížit náklady o 400 000 USD ročně.

Podle Housenka , jeho distributoři přicházejí o 9 až 18 miliard dolarů na tržbách ročně jen proto, že neimplementují technologii Big Data. Big Data by zákazníkům umožnila efektivněji spravovat jejich vozový park pomocí analýzy informací ze senzorů nainstalovaných na strojích.

K dnešnímu dni je již možné analyzovat stav klíčových komponent, stupeň jejich opotřebení, řídit náklady na palivo a údržbu.

Skupina Luxottica je výrobcem sportovních brýlí se značkami jako Ray-Ban, Persol a Oakley. Společnost využívá technologie Big Data pro analýzu chování potenciálních zákazníků a „chytrý“ SMS marketing. V důsledku toho identifikovala skupina Big Data Luxottica více než 100 milionů nejhodnotnějších zákazníků a zvýšila efektivitu marketingové kampaně o 10 %.

S pomocí Yandex Data Factory, herních vývojářů World of Tanks analyzovat chování hráčů. Technologie Big Data umožnily analyzovat chování 100 tisíc hráčů World of Tanks pomocí více než 100 parametrů (informace o nákupech, hrách, zkušenostech atd.). Na základě analýzy byla získána předpověď odchodu uživatelů. Tyto informace umožňují snížit péči o uživatele a cíleně pracovat s účastníky hry. Vyvinutý model se ukázal být o 20–30 % efektivnější než standardní analytické nástroje herního průmyslu.

německé ministerstvo práce používá Big Data k analýze příchozích žádostí o nezaměstnanost. Po analýze informací tedy vyšlo najevo, že 20 % dávek bylo vyplaceno nezaslouženě. Ministerstvo práce s pomocí Big Data snížilo náklady o 10 miliard eur.

Torontská dětská nemocnice realizovala projekt Project Artemis. Jedná se o informační systém, který shromažďuje a analyzuje data o miminkách v reálném čase. Systém každou sekundu sleduje 1260 indikátorů stavu každého dítěte. Projekt Artemis umožňuje předvídat nestabilní stav dítěte a zahájit prevenci nemocí u dětí.

PŘEHLED GLOBÁLNÍHO BIG DATA TRHU

Současný stav globálního trhu
V roce 2014 se Big Data podle Data Collective stala jednou z prioritních oblastí pro investice do rizikového průmyslu. Podle informačního portálu Computerra je to dáno tím, že vývoj v této oblasti začal jejich uživatelům přinášet výrazné výsledky. Za poslední rok vzrostl počet společností s realizovanými projekty v oblasti správy velkých dat o 125 %, objem trhu vzrostl oproti roku 2013 o 45 %.

Většinu příjmů trhu s velkými daty podle Wikibonu v roce 2014 tvořily služby, jejich podíl se rovnal 40 % celkových příjmů (viz graf níže):

Pokud vezmeme v úvahu velká data za rok 2014 podle podtypů, bude trh vypadat takto:

Podle Wikibonu tvořily aplikace a analýzy 36 % příjmů z Big Data v roce 2014 z aplikací a analytiky Big Data, 17 % z výpočetního hardwaru a 15 % z technologie úložiště. Nejméně ze všech příjmů generovaly technologie NoSQL, vybavení infrastruktury a poskytování sítě společností ( firemní sítě).

Nejoblíbenějšími Big Data technologiemi jsou in-memory platformy SAP, HANA, Oracle atd. Výsledky průzkumu T-Systems ukázaly, že je zvolilo 30 % dotázaných společností. Druhé nejoblíbenější byly platformy NoSQL (18 % uživatelů), firmy využívaly i analytické platformy od společností Splunk a Dell, které si vybralo 15 % firem. Nejméně užitečné pro řešení problémů s Big Data byly podle výsledků průzkumu produkty Hadoop/MapReduce.

Podle průzkumu Accenture se ve více než 50 % společností využívajících technologie Big Data pohybují náklady na Big Data od 21 % do 30 %.
Podle následující analýzy Accenture se 76 % společností domnívá, že tyto náklady v roce 2015 vzrostou, a 24 % společností nezmění svůj rozpočet na technologie Big Data. To naznačuje, že v těchto společnostech se Big Data již stala zavedenou oblastí IT, která se stala nedílnou součástí rozvoje společnosti.

Výsledky průzkumu Economist Intelligence Unit potvrzují pozitivní dopad implementace Big Data. 46 % společností tvrdí, že zlepšilo služby zákazníkům o více než 10 % pomocí technologií Big Data, 33 % společností optimalizovalo zásoby a zlepšilo produktivitu klíčových aktiv, 32 % společností zlepšilo procesy plánování.

Velká data v rozdílné země mír
K dnešnímu dni jsou technologie Big Data nejčastěji implementovány v amerických společnostech, ale nyní začaly projevovat zájem i další země světa. V roce 2014 podle IDC představovaly země Evropy, Středního východu, Asie (kromě Japonska) a Afriky 45 % trhu se softwarem, službami a vybavením pro velká data.

Společnosti ze zemí asijsko-pacifického regionu také podle průzkumu CIO rychle zvládají nová řešení v oblasti analýzy velkých dat, bezpečných úložišť a cloudových technologií. Latinská Amerika je v počtu investic do rozvoje Big Data technologií na druhém místě před Evropou a USA.
Dále bude uveden popis a prognózy vývoje trhu s velkými daty v několika zemích.

Čína
Množství informací v Číně je 909 exabajtů, což se rovná 10 % z celkového množství informací ve světě, do roku 2020 dosáhne množství informací 8060 exabajtů a také se zvýší podíl informací v globální statistice, v roce Za 5 let to bude 18 %. Potenciální růst čínských Big Data má jednu z nejrychleji rostoucí dynamiky.

Brazílie
Do konce roku 2014 Brazílie nashromáždila 212 exabajtů informací, což jsou 3 % celosvětového objemu. Do roku 2020 naroste objem informací na 1600 exabajtů, což budou 4 % světových informací.

Indie
Podle EMC je množství nashromážděných dat v Indii v roce 2014 326 exabajtů, což je 5 % z celkového množství informací. Do roku 2020 vzroste objem informací na 2800 exabajtů, což bude 6 % světových informací.

Japonsko
Množství nashromážděných dat v Japonsku na konci roku 2014 je 495 exabajtů, což je 8 % z celkového množství informací. Do roku 2020 objem informací vzroste na 2200 exabajtů, ale podíl Japonska na trhu se sníží a bude činit 5 % z celkového množství informací na celém světě.
Objem japonského trhu se tak sníží o více než 30 %.

Německo
Podle EMC je množství nashromážděných dat v Německu v roce 2014 230 exabajtů, což jsou 4 % z celkového množství informací na světě. Do roku 2020 objem informací vzroste na 1100 exabajtů a bude činit 2 %.
Na německém trhu bude velký podíl tržeb podle prognóz Experton Group generovat segment služeb, jehož podíl v roce 2015 bude činit 54 % a v roce 2019 vzroste na 59 %, podíl softwaru a hardwaru, naopak se sníží.

Obecně vzroste velikost trhu z 1,345 miliardy eur v roce 2015 na 3,198 miliardy eur v roce 2019 s průměrným tempem růstu 24 %.
Na základě analýzy CIO a EMC tedy můžeme usuzovat, že rozvojové země světa se v příštích letech stanou trhy pro aktivní rozvoj technologií Big Data.

Hlavní trendy na trhu
Podle IDG Enterprise utratí společnosti v roce 2015 za velká data v průměru 7,4 milionu USD na společnost, velké společnosti hodlají utratit přibližně 13,8 milionu USD a malé a střední společnosti utratí 1,6 milionu USD.
Většina investic bude směřovat do oblastí, jako je analýza dat, vizualizace a sběr dat.
Podle aktuálních trendů a poptávky trhu budou investice v roce 2015 použity na zlepšení kvality dat, zlepšení plánování a prognózování a zvýšení rychlosti zpracování dat.
Společnosti z finančního sektoru podle analýzy Bain Company's Insights Analysis provedou významné investice, takže v roce 2015 se plánuje utratit 6,4 miliardy amerických dolarů na technologie Big Data, průměrná míra růstu investic bude do roku 2020 činit 22 %. Internetové společnosti plánují utratit 2,8 miliardy dolarů s průměrným tempem růstu 26% nárůstu výdajů za velká data.
Během průzkumu Economist Intelligence Unit byly identifikovány prioritní oblasti pro rozvoj Big Data v roce 2014 a v následujících 3 letech, rozložení odpovědí je následující:

Podle prognóz IDC jsou trendy na trhu následující:

  • Během příštích 5 let porostou náklady na cloudová řešení Big Data třikrát rychleji než náklady na místní řešení. Hybridní úložné platformy se stanou populární.
  • Růst aplikací využívajících sofistikované a prediktivní analýzy, včetně strojového učení, se v roce 2015 zrychlí, trh s těmito aplikacemi poroste o 65 % rychleji než aplikace bez prediktivní analýzy.
  • Mediální analytika se v roce 2015 ztrojnásobí a stane se klíčovým motorem růstu pro trh technologií Big Data.
  • Trend zavádění řešení pro analýzu neustálého toku informací použitelných pro Internet věcí se bude zrychlovat.
  • Do roku 2018 bude 50 % uživatelů interagovat se službami založenými na kognitivních počítačích.
Ovladače a omezovače trhu
Odborníci IDC identifikovali v roce 2015 3 hybatele trhu s velkými daty:

Podle průzkumu Accenture jsou nyní problémy zabezpečení dat hlavní překážkou pro přijetí technologií Big Data, více než 51 % respondentů potvrdilo, že mají obavy o ochranu dat a soukromí. 47 % firem uvedlo nemožnost implementace Big Data z důvodu omezeného rozpočtu, 41 % firem označilo jako problém nedostatek kvalifikovaného personálu.

Wikibon předpovídá, že trh s velkými daty vzroste v roce 2015 na 38,4 miliardy dolarů, což je meziroční nárůst o 36 %. V následujících letech dojde k poklesu tempa růstu na 10 % v roce 2017. S přihlédnutím k těmto prognózám bude velikost trhu v roce 2020 68,7 miliard USD.

Rozdělení globálního trhu s velkými daty podle obchodních kategorií bude vypadat takto:

Jak je patrné z diagramu, většinu trhu zaberou technologie z oblasti zlepšování služeb zákazníkům. Spotový marketing bude pro společnosti prioritou číslo dvě až do roku 2019, v roce 2020 podle prognózy Heavy Reading ustoupí řešením pro zlepšení provozní efektivity.
Segment „zlepšování zákaznických služeb“ bude mít také nejvyšší tempo růstu s nárůstem o 49 % ročně.
Tržní prognóza pro podtypy velkých dat bude vypadat takto:

Převažující podíl na trhu, jak je patrné z grafu, zaujímají profesionální služby, nejvyšší tempo růstu budou mít aplikace s analytikou, jejichž podíl poroste ze současných 12 % na 18 % v roce 2020 a objem tohoto segmentu se zvýší se rovná 12,3 miliardy USD, podíl výpočetní techniky naopak klesne z 20 % na 14 % a v roce 2020 bude činit cca 9,3 miliardy USD, trh s cloudovými technologiemi bude postupně narůstat a v roce 2020 dosáhne 6,3 miliardy amerických dolarů, tržní podíl řešení pro ukládání dat naopak klesne z 15 % v roce 2014 na 13 % v roce 2020 a v peněžním vyjádření se bude rovnat 8,9 miliardám amerických dolarů.
Podle prognózy Bain & Company’s Insights Analysis bude rozdělení trhu s velkými daty podle odvětví v roce 2020 vypadat takto:

  • Finanční průmysl utratí za velká data 6,4 miliardy dolarů s průměrným tempem růstu 22 % ročně;
  • Internetové společnosti utratí 2,8 miliardy USD a průměrnou míru růstu nákladů 26 % během příštích 5 let;
  • Náklady veřejného sektoru budou úměrné nákladům internetových společností, ale tempo růstu bude nižší – 22 %;
  • Telekomunikační sektor poroste průměrným tempem růstu 40 % a v roce 2020 dosáhne 1,2 miliardy USD;

Energetické společnosti budou do těchto technologií investovat relativně malou částku – 800 milionů amerických dolarů, ale tempo růstu bude jedno z nejvyšších – 54 % ročně.
Společnosti ve finančním průmyslu tak v roce 2020 zaujmou velký podíl na trhu Big Data a energetika bude nejrychleji rostoucím sektorem.
Podle prognóz analytiků se celkový objem trhu v následujících letech zvýší. Růst trhu zajistí zavádění Big Data technologií v rozvojových zemích světa, jak je patrné z grafu níže.

Předpokládaná velikost trhu bude záviset na tom, jak rozvojové země vnímají technologie Big Data, zda budou stejně populární jako ve vyspělých zemích. V roce 2014 tvořily rozvojové země světa 40 % nashromážděných informací. Podle prognózy EMC se současná struktura trhu, kde dominují vyspělé země, změní již v roce 2017. Podle analytiků EMC bude v roce 2020 podíl rozvojových zemí více než 60 %.
Podle Cisco a EMC budou rozvojové země světa s Big Data aktivně pracovat, v mnoha ohledech to bude dáno dostupností technologií a nahromaděním dostatečného množství informací až na úroveň Big Data. Mapa světa na další stránce bude ukazovat prognózu růstu a míru růstu Big Data podle regionu.

ANALÝZA RUSKÉHO TRHU

Současný stav ruský trh

Podle výsledků studie CNews Analytics a Oracle se úroveň vyspělosti ruského trhu Big Data za poslední rok zvýšila. Respondenti zastupující 108 velkých podniků z různých odvětví prokázali vyšší míru povědomí o těchto technologiích i pochopení potenciálu takových řešení pro jejich podnikání.
K roku 2014 podle IDC Rusko nashromáždilo 155 exabajtů informací, což je pouze 1,8 % světových dat. Objem informací do roku 2020 dosáhne 980 exabajtů a bude zabírat 2,2 %. Průměrné tempo růstu objemu informací tak bude činit 36 ​​% ročně.
IDC odhaduje ruský trh na 340 milionů dolarů, z toho 100 milionů dolarů tvoří řešení SAP, přibližně 240 milionů dolarů jsou podobná řešení od Oracle, IBM, SAS, Microsoft atd.
Tempo růstu ruského trhu Big Data je minimálně 50 % ročně.
Předpokládá se, že pozitivní dynamika v tomto sektoru ruského IT trhu bude pokračovat i v kontextu všeobecné stagnace ekonomiky. To je způsobeno skutečností, že podniky nadále požadují řešení, která zlepšují efektivitu práce a také optimalizují náklady, zlepšují přesnost prognóz a minimalizují možná firemní rizika.
Hlavními poskytovateli služeb v oblasti Big Data na ruském trhu jsou:
  • Věštec
  • Microsoft
  • cloudera
  • Hortonworks
  • Teradata.
Přehled trhu podle odvětví a zkušenosti s používáním Big Data ve firmách
Podle CNews pouze 10 % společností v Rusku začalo používat technologie Big Data, zatímco podíl takových společností ve světě je asi 30 %. Připravenost na projekty velkých dat roste v mnoha sektorech ruské ekonomiky, podle zprávy CNews Analytics a Oracle. Více než třetina dotázaných společností (37 %) začala pracovat s technologiemi Big Data, z nichž 20 % již taková řešení využívá a 17 % s nimi začíná experimentovat. O takové možnosti aktuálně uvažuje druhá třetina dotázaných.

V Rusku jsou technologie Big Data populárnější v bankovním sektoru a telekomunikacích, ale jsou také žádané v těžebním průmyslu, energetice, maloobchodu, logistických společnostech a veřejném sektoru.
Dále budou zváženy příklady použití velkých dat v ruských realitách.

Telecom
Telekomunikační operátoři mají jednu z největších databází, která jim umožňuje provádět nejhloubkovou analýzu nashromážděných informací.
Jednou z oblastí použití technologie Big Data je správa věrnosti předplatitelů.
Hlavním cílem analýzy dat je udržet stávající zákazníky a přilákat nové. Za tímto účelem společnosti segmentují zákazníky, analyzují jejich provoz a určují sociální příslušnost předplatitele. Kromě používání informací pro marketingové účely používá telekomunikační společnost technologie k zabránění podvodným finančním transakcím.
Vimpelcom je jedním z nejzářivějších příkladů tohoto odvětví. Společnost využívá Big Data ke zlepšení kvality služeb na úrovni každého předplatitele, reportingu, analýze dat pro rozvoj sítě, boji proti spamu a personalizaci služeb.

banky
Významnou část uživatelů Big Data zabírají specialisté z finančního odvětví. Jeden z úspěšných experimentů byl proveden v Uralské bance pro obnovu a rozvoj, kde informační základna začaly být využívány k analýze zákazníků, banka začala nabízet specializované úvěrové nabídky, vklady a další služby. Za rok používání těchto technologií vzrostlo portfolio retailových úvěrů společnosti o 55 %.
Alfa-Bank analyzuje informace ze sociálních sítí, zpracovává žádosti o úvěr, analyzuje chování uživatelů webových stránek společnosti.
Sberbank také začala zpracovávat pole dat pro segmentaci zákazníků, prevenci podvodů, křížový prodej a řízení rizik. Do budoucna je plánováno zkvalitňování služeb a analýza akcí zákazníků v reálném čase.
Všeruská banka pro regionální rozvoj analyzuje chování vlastníků plastové karty. To vám umožní identifikovat transakce, které jsou pro konkrétního klienta atypické, a tím zvýšit pravděpodobnost odhalení krádeže finančních prostředků z plastových karet.

Maloobchodní
V Rusku byly technologie Big Data implementovány online i offline obchodními společnostmi. Podle CNews Analytics dnes Big Data používá 20 % maloobchodníků. 75 % specialistů maloobchodní zvážit velká data nezbytná pro rozvoj konkurenceschopné strategie propagace společnosti. Podle statistik Hadoop roste po zavedení technologie Big Data zisk v obchodních organizacích o 7–10 %.
Specialisté M.Video hovoří o zlepšení plánování logistiky po implementaci SAP HANA, také se v důsledku jeho implementace zkrátila příprava výročních zpráv z 10 dnů na 3, rychlost denního načítání dat byla snížena ze 3 hodiny až 30 minut.
Wikimart používá tyto technologie ke generování doporučení pro návštěvníky webu.
Jedním z prvních offline obchodů, které zavedly analýzu velkých dat v Rusku, byla Lenta. S pomocí Big Data začal maloobchod studovat informace o zákaznících z pokladních dokladů. Maloobchodník shromažďuje informace, aby vytvořil modely chování, které umožňují informovanější rozhodování na provozní a obchodní úrovni.

Ropný a plynárenský průmysl
V tomto odvětví je rozsah Big Data poměrně široký. Technologie Big Data lze uplatnit při těžbě nerostů ze střev. S jejich pomocí můžete analyzovat samotný proces těžby a nejvíce efektivní způsoby jeho těžba, sledování procesu vrtání, analýza kvality surovin a zpracování a prodej konečného produktu. V Rusku tyto technologie již využívají Transněfť a Rosněfť.

Státní orgány
V zemích jako Německo, Austrálie, Španělsko, Japonsko, Brazílie a Pákistán se k řešení národních problémů používají technologie Big Data. Tyto technologie pomáhají orgánům veřejné správy efektivněji poskytovat služby obyvatelstvu, poskytovat cílenou sociální podporu.
V Rusku tyto technologie začali ovládat takoví vládních orgánů jako je Penzijní fond, Federální daňová služba a Fond povinného zdravotního pojištění. Potenciál pro realizaci projektů využívajících Big Data je velký, tyto technologie by mohly pomoci zlepšit kvalitu služeb a v důsledku toho i životní úroveň obyvatel.

Logistika a doprava
Lze použít i velká data přepravní společnosti. Pomocí technologií Big Data je možné sledovat vozový park, zohledňovat náklady na pohonné hmoty a sledovat požadavky zákazníků.
Ruské dráhy implementovaly technologie Big Data společně se SAP. Tyto technologie pomohly zkrátit dobu vykazování 43,5krát (ze 14,5 hodiny na 20 minut) a 40krát zlepšit přesnost alokace nákladů. Big Data byla také zavedena do procesů plánování a regulace tarifů. Celkem společnosti využívají více než 300 systémů založených na řešení SAP, zapojena jsou 4 datová centra a počet uživatelů je 220 000.

Hlavní hnací síly a omezení trhu
Hnací síly pro rozvoj technologií Big Data na ruském trhu jsou:
  • Zvýšený zájem uživatelů o možnosti Big Data jako způsob zvýšení konkurenceschopnosti společnosti;
  • Vývoj metod pro zpracování mediálních souborů na globální úrovni;
  • Přenos zpracování serverů osobní informace na území Ruska, v souladu s přijatým zákonem o uchovávání a zpracování osobních údajů;
  • Implementace průmyslového plánu pro náhradu importu softwaru. Tento plán zahrnuje státní podporu tuzemským výrobcům softwaru a také zvýhodnění tuzemských IT produktů při nákupu na veřejné náklady.
  • V nové ekonomické situaci, kdy se dolar téměř zdvojnásobil, bude trend k rostoucímu využívání služeb ruských poskytovatelů cloudové služby než zahraniční.
  • Vytváření technologických parků, které přispívají k rozvoji trhu informačních technologií, včetně trhu Big Data;
  • Státní program pro zavádění gridových systémů, které jsou založeny na technologiích Big Data.

Hlavní překážky rozvoje Big Data na ruském trhu jsou:

  • Zajištění bezpečnosti a důvěrnosti dat;
  • Nedostatek kvalifikovaného personálu;
  • Nedostatek akumulovaného informační zdroje na úroveň Big Data ve většině ruských společností;
  • Obtíže při zavádění nových technologií do zavedených informačních systémů firem;
  • Vysoké náklady na technologie Big Data, které vedou k omezenému počtu podniků, které mají možnost tyto technologie implementovat;
  • Politická a ekonomická nejistota, která vedla k odlivu kapitálu a zmrazení investičních projektů v Rusku;
  • Rostoucí ceny dovážených produktů a prudký nárůst inflace podle IDC brzdí rozvoj celého IT trhu.
Předpověď ruského trhu
Ruský trh Big Data dnes není tak populární jako ve vyspělých zemích. Většina ruských firem o to projevuje zájem, ale netroufají si využít jejich příležitostí.
Příklady velkých společností, které již těžily z využití technologií Big Data, zvyšují povědomí o možnostech těchto technologií.
Analytici mají také poměrně optimistické předpovědi pro ruský trh. IDC věří, že podíl na ruském trhu se během příštích 5 let zvýší, na rozdíl od trhu v Německu a Japonsku.
Do roku 2020 vzroste objem Big Data v Rusku ze současných 1,8 % na 2,2 % celosvětového objemu dat. Množství informací vzroste podle EMC v roce 2020 ze současných 155 exabajtů na 980 exabajtů.
V současné době Rusko pokračuje v akumulaci objemu informací na úroveň Big Data.
Podle průzkumu CNews Analytics 44 % dotázaných společností pracuje s daty nepřesahujícími 100 terabajtů* a pouze 13 % pracuje s objemy nad 500 terabajtů.

Ruský trh se však bude podle globálních trendů zvyšovat. Od roku 2014 odhaduje IDC velikost trhu na 340 milionů $.
Tempo růstu trhu za předchozí roky bylo 50 % ročně, pokud zůstane na stejné úrovni, pak v roce 2018 objem trhu dosáhne 1,7 miliardy amerických dolarů. Podíl ruského trhu na světovém trhu bude asi 3 %, přičemž se zvýšil ze současných 1,2 %.

Mezi nejvíce vnímavá odvětví k používání velkých dat v Rusku patří:

  • Maloobchod a banky, pro ně je především důležité analyzovat zákaznickou základnu, vyhodnotit účinek marketingových kampaní;
  • Telecom - segmentace zákaznické základny a monetizace provozu;
  • Veřejný sektor - reporting, analýza žádostí veřejnosti atd.;
  • Ropné společnosti - sledování práce a plánování výroby a marketingu;
  • Energetické společnosti - tvorba inteligentních elektrizačních soustav, provozní monitoring a prognózy.
Ve vyspělých zemích se Big Data rozšířila v oblastech zdravotnictví, pojišťovnictví, hutnictví, internetových společností a výrobních podniků, pravděpodobně v blízké budoucnosti efekt implementace Big Data ocení i ruské firmy z těchto oblastí a přizpůsobí tyto technologií ve svých odvětvích.
V Rusku, stejně jako ve světě, bude v blízké budoucnosti trend k vizualizaci dat, analýze mediálních souborů a rozvoji internetu věcí.
I přes obecnou stagnaci ekonomiky analytici v příštích letech předpovídají další růst trhu s velkými daty, a to především díky tomu, že využívání technologií velkých dat dává jeho uživatelům konkurenční výhodu ve smyslu zvýšení provozní efektivity podnikání, přilákání dalšího toku zákazníků, minimalizace rizik a implementace technologií pro předpovídání dat.
Můžeme tedy konstatovat, že segment Big Data v Rusku je ve fázi formování, ale poptávka po těchto technologiích se každým rokem zvyšuje.

Hlavní výsledky analýzy trhu

Světový trh
Trh s velkými daty je na konci roku 2014 charakterizován následujícími parametry:
  • objem trhu dosáhl 28,5 miliard USD, což představuje nárůst o 45 % ve srovnání s předchozím rokem;
  • většinu příjmů Big Data trhu tvořily služby, jejich podíl se rovnal 40 % celkových příjmů;
  • 36 % příjmů pocházelo z aplikací a analytiky pro velká data, 17 % z výpočetního hardwaru a 15 % z úložných technologií;
  • Pro řešení problémů s velkými daty jsou nejoblíbenější in-memory platformy společností jako SAP, HANA a Oracle.
  • počet společností s realizovanými projekty v oblasti Big Data managementu vzrostl o 125 %;
Prognóza trhu na další roky je následující:
  • v roce 2015 objem trhu dosáhne 38,4 miliard amerických dolarů, v roce 2020 - 68,7 miliard amerických dolarů;
  • průměrná míra růstu bude 16 % ročně;
  • průměrné firemní výdaje na technologie Big Data budou 13,8 milionu USD pro velké společnosti a 1,6 milionu USD pro malé a střední podniky;
  • technologie budou mít největší převahu v oblastech zákaznických služeb a cíleného marketingu;
  • v roce 2017 se struktura globálního trhu změní směrem k převaze uživatelských společností z rozvojových zemí.
ruský trh
Ruský trh Big Data je ve fázi formování, výsledky roku 2014 jsou následující:
  • objem trhu dosáhl 340 milionů amerických dolarů;
  • průměrná míra růstu trhu v předchozích letech byla 50 % ročně;
  • celkové množství nashromážděných informací bylo 155 exabajtů;
  • 10 % ruských společností začalo používat technologie Big Data;
  • Technologie Big Data byly populárnější v bankovním sektoru, telekomunikacích, internetových společnostech a maloobchodu.
Prognóza pro ruský trh na příští roky je následující:
  • objem ruského trhu v roce 2015 dosáhne 500 milionů amerických dolarů a v roce 2018 - 1,7 miliardy amerických dolarů;
  • podíl ruského trhu na světovém trhu bude v roce 2018 činit asi 3 %;
  • množství nashromážděných dat v roce 2020 bude 980 exabajtů;
  • údaje porostou v roce 2020 na 2,2 % celosvětových údajů;
  • Největší oblibu si získají technologie vizualizace dat, analýza mediálních souborů a internet věcí.
Na základě výsledků analýzy můžeme konstatovat, že Big Data trh je stále v rané fázi vývoje a v blízké budoucnosti budeme pozorovat jeho růst a rozšiřování schopností těchto technologií.

Děkujeme, že jste si našli čas na přečtení tohoto rozsáhlého díla, přihlaste se k odběru našeho blogu - slibujeme mnoho nových zajímavých publikací!