iPad 14 zavádí rozpoznávání rukopisu. jak to funguje

Jak funguje rozpoznávání rukopisu v iPadOS 14 a proč jej potřebujete

Čmáranice (přeloženo jako „čmáranice“ nebo „mazanice“) byly prezentovány na WWDC velmi hodné. Technologie byla zaznamenána, ale oznámení Maců s Apple Silicon ji zastínilo. Mezitím je to možná nejdůležitější zpráva ze všech oznámených toho dne. Možná, že za pár let, při vzpomínce na první virtuální WWDC v historii Applu, bude Scribble nazýváno jeho hlavní událostí – a pokud si pamatují Apple Silicon a COVID, pak mimochodem jako pozadí. „Apple-silicon“ Macy se stanou každodenní realitou, COVID bude nahrazen, i když je to těžké uvěřit, nová a ještě nepříjemnější ohavnost nepřijde – a chytré tužky v sobě budou každý rok stále objevovat něco nového a neobvyklého.

To by mohla být největší funkce od Siri.

Co je Scribble

Apple Pencil se nutně změní, protože základní technologie za Scribble má velmi vážné potřeby. Z jejího pohledu je „slovník“ první a druhé Apple Pencils příliš chudý a nevýrazný. Hlavní složkou je Umělá inteligence. Kromě chytrých tužek vytvářejí Scribble neurální procesory. Nebýt tohoto bloku jablečných krystalů, zázrak by se nestal.

Apple Newton, PalmPilot a další PDA z prastarého starověku se o to pokusili příliš brzy. V té době to bylo nemožné, ale díky vynalézavosti a dobrodružství inženýrů a vědců rukopisný vklad, i když ne ideální a ne vždy, fungoval. Pokud děláte všechno doopravdy, rozpoznání našich klikyháků není o nic jednodušší než lidská řeč. Za snadností a jednoduchostí Klikyháky jsou roky práce a složité algoritmy. A v některých ohledech Scribble dokonce předčí Siri, Alexu a další hlasové asistenty, nemluvě o archaických systémech rozpoznávání rukopisu.

Scribble je skoro jako další asistent. jen „papír“

Jak funguje rozpoznávání rukopisu na iPadu

Alex George, novinář z Popular Mechanics, měl stejnou otázku a požádal hlavního viceprezidenta pro software společnosti Apple, aby na ni odpověděl. Craig Federighi. Craig odpověděl rychle a důkladně. Věříš tomu? Ale ať už tento Craigův projev inicioval kdokoli, to, co řekl, bylo velmi zajímavé. Níže je jeho odpověď, parafrázována.

Craig Federighi vysvětlil, jak Klikyháky fungují

Na rozdíl od předchozích technologií rozpoznávání rukopisu neanalyzuje Klikyháky jednotlivé ručně psané znaky, ale řádky a dokonce i skupiny řádků. Prostřednictvím procesu strojového učení byl software Scribble trénován, aby se vypořádal s různými návyky rukopisu a psaní obrovského množství lidí. Craig navíc odhalil pouze jedno tajemství hlavní složky Klikyháky a označil jej za klíč k úspěchu: úplné rozpoznání rukopisu, od začátku do konce, spouštěné na iPadu v reálném čase. Bez účasti datových center a serverů Apple. Bez jakéhokoli přenosu dat. Na rozdíl od hlasových asistentů, kteří se bez něj stále neobejdou.

Křivka učení se Scribble v cizích jazycích nějakou dobu trvá, což znamená, že v současné době mluví pouze anglicky a také dvěma dialekty čínštiny, Pekingem (literární) a Guangzhou (kantonština). Ruské Klikyháky se ale zřejmě brzy vyučovat nebude.

Kromě ručně psaného textu Klikyháky vnímá a zkrášluje i poměrně velkou sadu geometrických tvarů, umožňujících práci s textem (duplikovat, mazat, upravovat text tužkou atd.).

Rozpoznávání probíhá na iPadu v reálném čase

Je příliš brzy o tom mluvit Čmáranice jako nové paradigma uživatelského rozhraní a v samotné technologii je stále poměrně dost nedostatků (jedná se o verzi 1.0), ale dříve nebo později se Scribble promění v plnohodnotný třetí typ rozhraní. má na to potenciál.

Přijde rozpoznávání rukopisu na Mac?

Macy běžící na Apple Silicon se pravděpodobně radikálně změní. V reakci na stále otevřenější pohyb iPadu směrem k Macům (podpora trackpadů a kurzorů), kterým iPad porušuje dříve neotřesitelné kánony, se Macy na půli cesty setkají i s tablety.

iPad porušuje pravidla a zůstává především tabletem. Dotykové rozhraní na něm je v programech pro iPad primární, od vývojářů se vyžaduje, aby dotykové rozhraní plně podporovali, ale zda podporovat rozhraní s kurzorem, je na jejich rozhodnutí. Pokud mají počítače Mac vestavěnou podporu pro dotykové rozhraní, přizpůsobení programů mu nebude nutné. Minimální podporu pro něj poskytne operační systém. Rozhraní založené na chytrých tužkách a neuronovém procesoru v obou systémech bude volitelné na obou platformách – jeho základní podpora bude zabudována do obou platforem. Na Macu to má smysl pouze ve spojení s podporou dotykového rozhraní a zda bude dostupné, není jisté.

Přihlaste se k odběru všech našich sociálních sítí:

iPadOS 14 zavádí rozpoznávání rukopisu. Jak to funguje

Systém rozpoznávání rukopisu v Newton MessagePad byl chloubou a hanbou Apple Computer na počátku 90. let. Jeho první verze vyvolaly smích a odradily mnoho lidí od zapojení do „osobních digitálních asistentů“. Rukopis byl brzy opraven, ale už to nebylo vtipné a skoro nikdo o něm nevěděl. 22. června 2020, 22 let po projektu Apple Newton byl navždy uzavřen, vrátil se pod jiným jménem. Teď se jmenuje Čmáranice, tedy „mazák“ nebo „doodle“, je technologie pro iPadOS. Již nyní, ve svém raném návrhu, se Scribble blíží roli plnohodnotné metody zadávání textu. S nedostatky a výhradami – jde ale pouze o první betaverzi. Klávesnice s trackpady a dotykovým rozhraním v iPadOS budou mít důstojného konkurenta.

Uživatelé se špatným rukopisem si oddechli

Projekt Apple Newton byl odstraněn Stevem Jobsem v roce 1998 spolu s velkým množstvím projektů, přičemž téměř polovina zaměstnanců společnosti byla propuštěna. Projekt Apple Newton nebyl vůbec uzavřen kvůli nedostatku vyhlídek a ne kvůli katastrofálně nízkým tržbám. A ne proto, že Newton „páchl Johnem Sculleym“, jak to jednou řekl Steve Jobs. Firma byla na pokraji bankrotu, aby přežila, musela se zbavit i zajímavých a perspektivních oblastí. A Jobsův postoj k Newtonovi nebyl úplně negativní.

V příznivém prostředí by se Newton mohl proměnit v produkt hromadného ničení – to jsou také jeho slova.

V současnosti je prostředí příznivé, od roku 1993, kdy Apple oznámil „osobního digitálního asistenta s rukopisem“, schopnosti umělé inteligence řádově vzrostly. A několik let, v nejpřísnějším utajení, Apple pracoval na svém vzkříšení v iPadOS.

Toto dítě také vědělo, jak rozpoznat ručně psaný text

Co je to Apple Scribble

Tato technologie funguje i v programech vytvořených před jejím zavedením. Ručně psaný text, i když je zadán příšerným rukopisem, je neomylně rozpoznán od prvního okamžiku. Apple Newton potřeboval čas, aby si zvykl na individuální vlastnosti svého majitele – a to i ve svých pozdějších inkarnacích. Ale to ani není to hlavní: Podpora Klikyháků je zabudována do všech upravitelných prvků rozhraní, a to nejen těch standardních.

Podpora Čmáranice, počínaje iPadOS 14, je zabudován do UITextInput, protokolu, který mění textové prvky na upravitelné prvky.

Všechny takové prvky, dokonce i od vývojářů třetích stran, v iPadOS 14 začnou reagovat na dotek hrotu elektronické tužky tím nejpřirozenějším způsobem. S výjimkou prvků obrazovky vytvořených extrémně kreativními jednotlivci bez použití UITextInput. Betaverze Applu funguje lépe a přirozeněji než podobné technologie od jeho přítele-nepřítele od nepaměti, Microsoftu.

Jak funguje OCR v iPadOS 14

Klikyháky začnou fungovat okamžitě, od prvního dotyku tužky až po obrazovku uvnitř upravitelného prvku rozhraní. Prvek se zapíná sám, proto jej nemusíte aktivovat ani zapínat žádný záludný režim. Zní to děsivě – ale v praxi tato funkce kupodivu funguje přesně tak, jak má.

Ručně psaný text se během okamžiku změní na tištěný text!

Když něco píšeme (nebo kreslíme) „fyzickým“ perem nebo tužkou, nikde nic nepřepínáme ani neaktivujeme. Jediný rozdíl je v tom, že vymazání toho, co jste zadali pomocí Klikyháky, je mnohem jednodušší. To nejsou jediné talenty Scribble. Přeměna volně označených geometrických tvarů na úhledné mnohoúhelníky je fantastická. Scribble má své nedostatky, ale je jich překvapivě málo a existuje každý důvod doufat, že budou opraveny do oficiálního vydání iPadOS 14.

Apple, který se až dosud obsesivně staral o integritu svých rozhraní, zjevně porušuje své vlastní zásady. Je zřejmé, že klávesnice s trackpadem a Scribble jsou tak odlišné světy a směry vývoje, že si nelze ani představit neslučitelnější způsoby zadávání textu. Ale to je jen na první pohled. Počínaje iPadOS 13.4 je iPad zařízení, které lze používat téměř jako počítač (stolní počítač) a jako tablet.

S klávesnicí a trackpadem připojeným k iPadu je k dispozici dotykové rozhraní a Klikyháky a dokážete si představit situace, ve kterých by se mohly hodit. Možná by měla být uměle omezena kompatibilita Scribble s režimem klávesnice/trackpadu. Zatím na tomto místě (jak se mi zdálo) není vše v pořádku. To se zdálo nejen mně a Apple již poslal inteligentní, podrobný popis identifikovaného problému.

Nová Apple Pencil

Nevím, kdy se tak stane, ale soudě podle rychlého nárůstu počtu patentů souvisejících s Apple Pencil je ten okamžik již blízko. Možná by stálo za to podívat se na ty nejzajímavější z nich podrobněji někdy jindy.

Ale o jedné supervelmoci Apple Pencil budoucnosti (doufejme, že té nejbližší) prostě není síla mlčet. Představte si situaci: v „hmotném světě“, který vás a váš iPad obklopuje, je předmět, jehož barvu byste chtěli zkopírovat do nehmotného světa uvnitř iPadu. Nový stylus Apple se jednoho dne naučí kopírovat barvu skutečných předmětů pouhým dotykem.

Apple Pencil bude schopen rozpoznat barvy kolem uživatele

Patentová přihláška Applu, která popisuje fyzikální a designové principy takové akce, byla minulý týden zveřejněna americkým úřadem pro patenty a ochranné známky. Žádost byla podána začátkem roku 2019.