Aplikace pro komunikaci s hluchým. Dou Projector: Bewarned - aplikace pro neslyšící a slunění lidí

Idea

Ahoj! Jmenuji se Vitaly, jsem vývojář a spoluzakladatel startu Být varován. . Od dětství mám velmi slabou zvěsti, a moje žena není slyšet vůbec, chtěl jsem pro vývoj aplikací a software pro vlastní a vážený po dlouhou dobu. Všechny problémy, kterým čelí, jsou pro mě známy.

Já a moje žena Natalia

Dříve jsem se zabýval rozvojem softwaru pro civilní letecké společnosti Ukrajiny, vytvořil aplikaci rozšířené reality SIMO. Vždycky jsem se zajímal o všechno spojené s technologiemi. A před pár lety jsem se setkal s Sergey Malyukovem, náš generální ředitel, prostřednictvím učitele Kyjevského polytechnického institutu, od kterého jsem jednou studoval.

Myšlenka vytvoření aplikace pro neslyšící a sluchově postižené přišel Sergeje v roce 2013. Nějaký chodil po ulici večer a začal signalizovat auto v zádech, Sergey rychle skočil na stranu, ale pár, který chodil, nepohyboval se. Vykřikl k nim poté, co budou odtrhnout, ale zůstali na stejném místě, kde stáli. Brzy Sergey si uvědomil, že to byl pár neslyšící, které sdělují mezi sebou gesta. Sergey byl přesvědčen, že existují aplikace, které pomáhají rozpoznat nebezpečné zvuky. Po analýze stávajících aplikací a gadgetů pro neslyšící lidi a nenajdou jediné řešení, které pomáhá rozpoznat nebezpečné zvuky, stanovil cíl, aby taková aplikace učinila. V procesu práce, několik partnerů ní přistoupily, a teď Bewarned je na samostatné inflace tvůrců startu.

Jakmile jsem slyšel o projektu a viděl jsem pracovníky, okamžitě jsem se zajímal o myšlenku a brzy se stal spoluzakladatelem. V tuto chvíli dělám technický vývoj spuštění.

Odbyt

V roce 2014, první prototyp aplikace Bewarned s funkcí Sound Monitor, který dovolil rozpoznat nebezpečné zvuky v reálném čase. Byl to první malý úspěch. Ale to bylo jen začátek.

Od dětství se mi líbilo technologie, často sbíral nebo rozebral nebo rozebral něco, chtěl jsem vidět, co by to fungovalo

Na stovkách písmen a recenzí bylo jasné, že neslyšící lidé potřebují něco více než aplikace, která rozpoznává nebezpečné zvuky. Neslyšící měl tisíc nevyřešených otázek, které by mohly být vyřešeny. Bewarned byl vytvořen na základě těchto písmen a recenzí, které kombinovalo 4 technický asistent pro neslyšící: Sound Monitor, připojení, tísňové volání a tanec.

Sound Monitor řeší problém zabezpečení, identifikace nebezpečných zvuků (křik, zvuk automobilového clasone, kůra psa, siréna). V případě nebezpečí, aplikace varuje uživatele s vibracím a blikáním blikáním na smartphonu. Connect pomáhá inherentní komunikaci s ostatními - převádí text do řeči a naopak. Tanec vám umožní cítit hudební tratě, díky konverzi do vibrací, světelných signálů a zvlnění vizuálního ekvalizéru. Nouzové volání pomáhá uživateli způsobit slyšení blízkých, které pomáhají, když je v nebezpečné situaci.


Další video lze nalézt na náš Canal

V létě 2016 jsme provedli beta testovací platformy v USA. V důsledku toho 88,9% uživatelů uvedlo, že by se aplikace doporučovala.

Nejtěžší součástí vývoje vzrušení bylo zvukový monitor, o vývoji, jehož jsme strávili několik let. Nebezpečný program rozpoznávání zvuku je založen na neuronových sítích. Vyzkoušeli jsme dva typy neuronových sítí: klasická vícevrstvá perceptron a konvoluční neuronová síť. Ale pak se rozhodli vyzkoušet skrytý Markov model, ona nejlépe přišla do našich úkolů.

Za účelem vytvoření databáze, na které bude algoritmus založen, my sami nahráli mnoho variant jednoho typu nebezpečného zvuku, například signál automobilu, na jejichž základě algoritmus rozpozná příchozí zvuky a určí je jako vztah určitému typu. Během práce jsme však měli problém, který spočíval v tom, že algoritmus uznávání měl všechny příchozí zvuky pouze do stávajících kategorií: auto signál, výkřik, zvuk policejní sirény a štěkání psů. Pokud se například někdo zasmál, program to uznal jako patřící k některým z těchto kategorií. Pro vyřešení tohoto problému jsme museli segmentované zvuky, například frekvence a jiné vlastnosti. To, co by mohlo zavést další nejistý typ zvuku.

Nějaký čas po vydání poučené platformy jsme se rozhodli jít na důležité změny s cílem zlepšit použitelnost: Byli jsme v zásadě zjednodušeni a přizpůsobeni vnímání neslyšících lidí. Proto jsme žádosti odmítli odděleně.

V prosinci vyšla BW tanec (Android, IOS), který se změnila na funkci Beemwarned Platform, změnila se na nezávislou aplikaci. BW tanec vám umožní uschnout a špatně poslouchat lidi tančit pro vaše oblíbené písně. Uživatel přidává oblíbené skladby do seznamu stop a aplikace převede hudbu ve vibracím, bliká a animace na obrazovce. Uživatel může také cítit hudbu pomocí vizuálního přehrávače. Tanec BW byl pozitivně vnímán uživateli na Ukrajině i v zahraničí.

Poté jsme propustili spojení Bewaruded (Android, IOS), aplikace umožňuje komunikovat s hluchým a vážením lidí se sluchem. Abyste mohli zahájit komunikaci s jedním nebo více lidmi v aplikaci, stačí kliknout na tlačítko Start a dát Interlocutorovi mluvit, poté, co aplikace konvertuje projev na textovou zprávu, která může číst hluchý člověk. Aplikace také převádí text do řeči, neslyšící člověk potřebuje psát, co chce říct. Kromě toho jsme vyvinuli soubor šablon, které simulují jednoduché, často opakované situace, jako je například kávovar v kavárně. Pomocí těchto šablon může drsná osoba rychle informovat něco slyšení. Poskytli jsme také možnost vytvářet další šablony pro osobní cíle každého nesolvertního člověka.

Výsledek

Na Ukrajině jsme začali aktivně psát novináře, byly odstraněny pozemky STB, 1 + 1, 5 kanálů a dalších. Viděli jsme, že lidé nejsou lhostejní pro ty, kteří nejsou inherentní, a také se ujistili, že zájem o jednoduchost a použitelnost byl krok správným směrem. Chápali jsme, že na správné cestě.

Já a moje žena komunikují s novináři 5 kanálů

Zahájili jsme připojení tím, že brníte na lovu výrobku 30. ledna a vstoupili na vrchol 5 dní a také zasáhli oficiální newsletter. V připomínkách na náš výrobek na lov produktu jsme obdrželi návrhy na pomoc při vývoji lokalizací ve francouzštině a dokonce Farsi. Spolu se stávajícími čtyřmi lokalizacemi - španělský, ruský, ukrajinský a angličtina se budeme moci přistupovat k našemu globálnímu cíli: zmírnit životy neúmyslných lidí.

Jsem přesvědčen, že IT důstojníci by měli využít tyto dovednosti ve prospěch ostatních lidí. Naše malé, ale úspěšné zkušenosti ukazují, že nové aplikace mohou výrazně změnit životy jiných lidí. To je důvod, proč budeme pokračovat v práci na myšlence ztělesněném v souvislosti se vzadu: Překonání překážek komunikace neúmyslného a slyšení, je ve světě asi 400 milionů.

Bewarned Team zleva doprava: já, Evgeny, Eugene, Ivan, Julia, Sergey, Andrei, Ilona, \u200b\u200bIra, Anton, Andrei (nyní jsme ještě více než na této fotografii :))

U takových lidí, jak často vznikají problémy, když potřebují komunikovat se sluchovou osobou: policejní důstojník, lékař, bankéře. Legislativně zaručena stejná práva a přístup ke službám a službám spolu se sluchem. Ale ve skutečnosti jsou naše schopnosti výrazně omezené. Proto jsme se rozhodli zaujmout skutečně globální úkol: vytvoření globální elektronické infrastruktury, která usnadní přístup k nejslabšímu lidu do všech služeb a služeb, které jsou k dispozici slyšením lidí: banky, nemocnice, taxíky atd. V okamžiku, kdy pracujeme pro tento úkol.

Dva studenti z Beihai Beijhai Pekingu vyvinul aplikaci schopnou pomoci neslyšícím lidem v Číně. Aplikace dostala jméno Shouyin, který doslovně znamená "hlas rukou". Umožňuje v reálném čase překládat známky hluchého osla do řeči.

Aplikace funguje ve spojení s inteligentním náramkem a v současné době může rozpoznat více než 200 znaků, každý znak byl zaznamenán tisíckrát od různých lidí ke zvýšení přesnosti překladu. Procento uznání je nyní 95%.

Mladá Nana Van, která je jedním z vývojářů, řekla, že ona byla inspirována hluchým přítelem, se kterým by mohla komunikovat pouze prostřednictvím zpráv na mobilním telefonu. V Číně je přibližně 5% obyvatel nebo 70 milionů lidí neslyšící. Žádost bude mít nepochybně velký úspěch. Oficiální aplikace aplikace je naplánována na konec května. V jiných zemích světa již existují podobné programy. Například UNI z MotionSavvy a hluchého překladatele DEAF-and-a-Dumb z Google Chats.

Technologie dnes rozvíjejí rychlé tempo, včetně sociálních sfér a medicíny. Pomáhají nejen vyrovnat s různými druhy nemoci, ale také pochopit jejich souseda, i když jeho vnímání světa je odlišný od vás. Zvláštní aplikace vám pomůže s neslyšícím a denním člověkem, zatímco technologie VR mohou pomoci, například s pochopením autismu, a proto vám přinese blíže těm, kteří trpí touto nemocí.

Různé studie ukázaly, že více než 99% lidí slyšel o autismu, ale pouze 16% opravdu pochopilo, co tento mentální státní prostředky. A podle výsledků průzkumu provedeného ve Spojeném království, více než 25% lidí trpících autismem někdy požádalo o opuštění takových veřejných míst jako restaurace nebo obchod, když viděli příznaky jejich nemoci.

Vyrovnat se s tímto problémem dezinformace, britská "národní autistická společnost" se rozhodla vytvořit VR Film To by pomohlo všem lidem zjistit, co to je žít s podobnou diagnózou. GMBOX o tom napsal.

Tento virtuální válec vás zavede do těla mladého chlapce trpícího autismem a ukáže světem jeho očima. Ve filmu půjdete do obchoďáku a zažít obrovské smyslové zatížení, které cítí, když prochází tímto přeplněným místem. Hluk, hojnost různých objektů, barev, tání lidí, jejich hlasy - to vše způsobuje paniku, od kterého je velmi obtížné vyrovnat se.

Další komunita Studium Alzheimerovy nemoci také vydala VR film, který vám umožní navštívit místo osoby trpící demencí. Film "Procházka demencí" vám umožní pochopit, jak některé jednoduché každodenní záležitosti, jako jsou pivovarské čajové šálky, se může stát skutečným problémem pro majitele tohoto onemocnění.

Hlavním problémem těchto aplikací je, že tento výklenek není dobře rozvinutý. Hledáním hledání jsem se podíval přes více než 30 žádostí a téměř všechny z nich byly navrženy pro anglicky mluvící publikum nebo lidé žijící v Evropě nebo ve Spojených státech. Nicméně, šest žádostí, které jsou uvedeny níže, se staly výjimkou a doufám, že může být pro někoho užitečné.

Miracle Modus.

Miracle Modus je aplikace vytvořená autistickým vývojářem. Soudě podle jeho slov a recenzí na hracím trhu, aplikace opravdu funguje. Princip operace je jednoduchý a komplikovaný zároveň: Miracle Modus kreslí různé řádky a vzory a reprodukuje relaxační zvuky, které mají uklidňující účinek na lidi pacientů s autismem.

Diabetes Log Book.

Aplikace, která pomáhá lidem pacientům s diabetem první a druhý stupeň. Zde můžete učinit všechny informace o jídle, které jste snědli den. Úplná zpráva pak může být exportována do aplikace Excel zobrazit svého lékaře.

Migréna Buddy.

Umožňuje lidem, kteří trpí migrénou, analyzovat jejich životní styl a pochopit, jaké faktory vedou k bolestem hlavy. Aplikace také sleduje spánek, abyste viděli korelaci mezi migrénou a kvalitou spánku.


Hrboly.

Bumps pomáhá slepým lidem naučit Braillova písmo. Aplikace podporuje pouze anglicky, takže to bude vhodné pro ty, kteří se chtějí naučit číst nejen v ruštině. Kromě učení abecedy, v hrbolech můžete zadat různá slova a sledovat, jak jsou napsány Brülle.

Pro Android je podobná aplikace - Graile Guide.

Spread znamení.

V spread podepíše obrovské knihovně gest, které pomáhají komunikovat s hluchý-and-a-and-a-and-i-and-a-and-i-and-the-denní lidí. Základem aplikace má více než tucet jazyků, včetně rusky, ukrajinského a anglického jazyka. Můžete se naučit obě gesta označující jednotlivá písmena a celá slova.

Takové jednoduché akce jako telefonní hovor, sestup na schodech, nebo dokonce stanovení trvanlivost mléka, může být složité pro lidi se zdravotním postižením. Některé z těchto problémů však lze úspěšně zvládnout pomocí smartphonu.

Představujeme výběr mobilních aplikací, které usnadňují životy lidí se zdravotním postižením.


Aplikace, které rozpoznávají řeč

"Yandex.mural"

V poslední době se Yandex vydala aplikaci, která pomáhá se hluchých a nedoslýchavých komunikovat s známých či neznámých lidí, vzhledem k tomu, že se přenáší orální na text a zpět.

Aplikace ví, jak poslouchat a rozpoznat řeč - vše, co říkáte, se zobrazí na obrazovce smartphonu ve formě textu, stejně jako vyslovené tištěné slova nahlas.

Žádost byl vynalezen a vyvinut MFT studentské skupiny a pracuje na technologii Speechkit rozpoznávání řeči.


Rogervoice

RogerVoice je aplikace, se kterými neslyšící lidé mohou mluvit se svými partnery po telefonu. Aplikace používá technologii rozpoznávání řeči, aby se převést hlas na text, tak hluší lidé budou moci přečíst, co jim řekne rozmluvy.

Aplikace se objevila díkyÚspěšná kampaň na kickstarter - Beta verze aplikace, kterou můžete stáhnout na webových stránkách Rogervoice, je v současné době k dispozici.


Aplikace, která pomáhá slyšet


Hearyounowow.

S touto aplikací uživatelé se sluchovým postižením mohou upravit zvuk v závislosti na situaci, ve kterém se nacházejí na veřejném místě, na schůzce atd. Chcete-li to provést, sluchátka jsou připojena k smartphonu, přes které zvuk s příslušnými nastaveními pro optimalizaci pozadí nebo popředí.

Aplikace je vyvinuta exsilentem, nizozemským výrobcem sluchových pomůcek a je určen pro lidi, kteří mohou používat sluchadlo, ale ještě nejsou připraveny.

Ahoj!

"Chléb krmí tělo, a kniha vyživuje mysl" ...

Knihy jsou jedním z nejcennějších bohatství moderního člověka. Knihy se objevily ve starověku a náklady velmi drahé (jedna kniha by mohla být změněna na hejno krav!). V moderním světě jsou k dispozici pro každého! Čteme je, stáváme se více gramotným, obzory se vyvíjí, což je zvýšení. A obecně, ještě nepřicházeli s pokročilejším zdrojem znalostí, abyste se navzájem přenesli!

S vývojem počítačových technologií (zejména za posledních 10 let) - stalo se to jen nejen číst knihy, ale také poslouchat je (to je, číst je bude speciální program, muž nebo ženský hlas). Chtěl bych vám říct o softwarových nástrojích pro vyjádření textu.

Možné problémy při psaní

Před přesunem do seznamu programů bych chtěl zůstat na běžném problému a zvážit případy, kdy program nemůže přečíst text.

Faktem je, že existují hlasové motory, mohou být různé normy: SAPI 4, SAPI 5 nebo Microsoft Platform (většina programů pro přehrávání textu je volba tohoto nástroje). Je to logické, že kromě programu pro čtení hlasu - potřebujete motor (bude na něm záviset, v jakém jazyce budete číst, jaký hlas: Muž nebo žena atd.).

Motory řeči

Motory mohou být volné a komerční (samozřejmě, nejlepší zvuk kvality zvuku je poskytována komerčními motory).

SAPI 4. Zastaralé nástroje. Pro moderní počítače se nedoporučuje používat zastaralé verze. Je lepší se podívat na platformu SAPI 5 nebo Microsoft.

SAPI 5. Moderní řečové motory, tam jsou zdarma i placené. Na internetu najdete desítky řečových motorů SAPI 5 (a s ženským a mužským hlasem).

Jeden z nejlepších programů pro změnu textu. Umožňuje vašemu počítači číst nejen jednoduché soubory ve formátu txt, ale také zprávy, RSS, všechny webové stránky na internetu, e-mail atd.

Kromě toho umožňuje převést text do souboru MP3 (který pak můžete stáhnout do libovolného telefonu nebo MP3 přehrávače a poslouchat na silnici). Ty. Můžete samostatně vytvářet zvukové knihy!

Ivonské hlasy jsou velmi podobné skutečné, ne špatné výslovnosti, neklepejte. Mimochodem, program může být užitečný pro ty, kteří studují cizí jazyk. Díky tomu můžete poslouchat správnou výslovnost těch nebo jiných slov, revolucí.

Podporuje SAPI5, plus je dobře spolupracován s externími aplikacemi (například Apple iTunes, Skype).

Příklad (záznam jednoho z mého posledního článku)

Minusů: Některá neznámá slova čtou s nesprávnou a intonací. Obecně platí, že to není moc špatné poslouchat, například odstavec z knihy historie, zatímco jdete na přednášku / povolání - ještě více než!

Balabolok.

Výborný rezervační program: čtení, katalog, vyhledávání nezbytné, atd. Kromě standardních dokumentů, které mohou číst jiné programy (txt-html, html-txt, txt-doc, doc-txt, pdb-txt, lit-txt, fb2 -Txt atd.) Ledová kniha Reader podporuje formátové soubory: .LIT, .chm i.epub.

Kromě toho, Reader Ice Book, umožňuje nejen číst, ale také vynikající knihovnu desktopů:

  • umožňuje ukládat, proces, katalog knihy (až 2 500 000 tisíc kopií!);
  • automatické objednávání vaší sbírky;
  • rychlá vyhledávací kniha z vaší "skládky" (zvláště relevantní, pokud máte spoustu katalogizované literatury);
  • jádro databáze čtenáře z ledové knihy přesahuje většinu programů tohoto druhu.

Program také umožňuje hlasové texty hlasem.

Chcete-li to provést, přejděte do nastavení programu a nakonfigurujte dvě záložky: "Mode" (vyberte hlasový čtení) a "režim syntézy řeči" (vyberte samotný řečový motor).


DOBRÝ

S pomocí Sakrament Tlakeru můžete svůj počítač proměnit do zvukové knihy "Mluvící"! Program Sakrament talker podporuje formáty RTF a TXT, může automaticky rozpoznat kódování souborů (pravděpodobně někdy všiml, že některé programy otevírají soubor s "crackosbers" namísto textu, takže je to nemožné v sakramentu mluvčího!).

Kromě toho, Sakrament Talker umožňuje hrát poměrně velké soubory, rychle najít určité soubory. Vyvažovaný text může pouze poslouchat v počítači, ale také uložit do souboru MP3 (který později lze kopírovat do libovolného přehrávače nebo telefonu a poslouchat od počítače).

Obecně platí, že spíše špatný program, který podporuje všechny populární hlasové motory.

To je dnes. Navzdory skutečnosti, že dnešní programy ještě nemohou plně plně (kvalitativně 100%) přečtěte si text tak, že osoba nemůže určit, kdo čte to: Program nebo osoba ... ale myslím, že to jednou programy přijdou: Počítače 'Power rostou, motory rostou v objemu (včetně všech nových a nových i nejchudnějších rychlostí řeči) - což znamená, že brzy nebude zvuk z programu odlišit od obvyklého řeči člověka?! bb