„iPhone“: kaip naudoti „iOS“ teksto aptikimo funkcijas

„Vision“ sistemoje „iOS 11“ turi viską, ko reikia norint sukurti programą, kuri atpažintų teksto simbolius, kai diegimas vyksta vienu metu. Jums nereikia techninių kodavimo žinių – naršyti funkciją yra gana paprasta. Be to, įgyvendinimas vyksta sklandžiai.

Vizija Framework

Vizijos sistema leidžia lengvai įgyvendinti bet kokią užduotį, susijusią su kompiuterio detalėmis. Struktūra atlieka veido ir veido orientyrų aptikimą, brūkšninio kodo atpažinimą, vaizdų registravimą, bendrų funkcijų sekimą ir teksto aptikimą. „Vision“ taip pat leidžia naudoti pasirinktinius „Core ML“ modelius tokioms užduotims kaip klasifikavimas ar objektų aptikimas.

VN DetectTextRectanglesRequest

V. DetectTextRectanglesRequest  yra vaizdo analizės prašymas, kad randa regionus matomą tekstą į paveikslėlio; funkcija grąžina teksto simbolius kaip stačiakampį ribojantį laukelį su kilme ir dydžiu.

Jei esate įpratę naudoti „swift“ ir jau kurį laiką programavote, tikriausiai galvojate, kuo naudinga „Vision“, kai yra kitų funkcijų, tokių kaip vaizdas ir AVFoundation. Na, vizija yra tikslesnė ir paprastesnė. Ši funkcija taip pat pasiekiama įvairiose platformose. Tačiau naudojant Vision gali prireikti daugiau apdorojimo galios ir apdorojimo laiko.

Norėdami naudoti „Vision“ teksto aptikimui, jums reikės „Xcode 9“ ir įrenginio, kuriame veikia „iOS 11“.

Fotoaparato kūrimas naudojant „Avcapture“.

Pirmiausia turite sukurti fotoaparatą su  AVCapture ; tai yra inicijuojant vieno objekto AVcapturesessiją, kad būtų galima užfiksuoti realiuoju laiku arba neprisijungus. Po to užmegzkite seansą prie įrenginio ryšio.

Norėdami sutaupyti laiko kuriant programos vartotojo sąsają, apsvarstykite galimybę pradėti projektą, nes tai suteiks laiko susitelkti ties „Vision“ sistemos mokymu.

Atidarykite pradinį projektą. Visi siužetinės linijos rodiniai turi būti paruošti ir nustatyti jums.

„  ViewController.swift“  ieškokite kodo skyriaus su funkcijomis ir išėjimais.

Pagal outlet- IMAGEžiūrėti, d eClare sesiją dėl  AVcapturesession  - tai yra naudojama, kai norite atliktus veiksmus remiantis gyvų srautas.

Nustatykite  AVcapturesession  ir  AVmediatype  į vaizdo įrašą, nes fotografuosite fotoaparatu, kad jis veiktų nepertraukiamai

Apibrėžkite išvesties ir įvesties įrenginį

Įvestis yra tai, ką matys fotoaparatas, o išvestis yra vaizdo įrašas nustatyto formato KCVPixelFormatType_32GRA formatu.

Galiausiai  prie „ imageView“  pridėkite  posluoksnį , kuriame yra vaizdo įrašų,  ir pradėkite seansą. Funkcija žinoma kaip  inViewdidload.  Taip pat turite nustatyti sluoksnio rėmą.

Iškvieskite funkciją  viewWillAppear  metodu.

Kadangi ribos dar neužbaigtos,  nepaisykite viewDidLayoutSubviews ( )  metodo, kad atnaujintumėte surištus sluoksnius.

Išleidus iOS 10, reikalingas papildomas įrašas Info.plist, tai suteikia priežastį naudoti kamerą. Taip pat turėtumėte nustatyti privatumo kameros naudojimo aprašymą.

Teksto aptikimas; Kaip veikia „Vision Framework“.

Yra trys žingsniai, kaip įdiegti „Vision“ programoje.

Handlers –  tai yra tada, kai norite, kad sistema ką nors padarytų iškvietus užklausą.

Stebėjimai –  tai yra tai, ką norite daryti su jūsų pateiktais duomenimis, pradedant nuo vienos užklausos

Užklausos –  tai tada, kai prašote Detect framework

Idealiu atveju sukuriate vieną teksto užklausą kaip  VNdetecttextrectanglesrequest . Tai tam tikra  VN užklausa  , besiribojanti su tekstu. Kai sistema baigia taikyti programą, galite  iškviesti  funkciją Dettexthandler . Taip pat norėsite sužinoti tikslų kadrą, kuris buvo atpažintas, nustatykite jį į  Reportcharacterboxes =True.

Po to apibrėžkite stebėjimus, kuriuose yra visi VNdetecttextrectanglesrequest rezultatai  , nepamirškite pridėti Vision prie išvesties kameros. Kadangi Vision atskleidžia aukšto lygio API, darbas su ja yra saugus.

Funkcija patikrina, ar yra  Cmsamplebuffer  ir PutOut  Avcaptureoutput . Tada turėtumėte sukurti vieną kintamąjį  Requestoptions  kaip 1 žodyno tipo  VNimageoption . VNmage  variantas yra struktūra, kuri pateikiama savybes ir duomenis iš kameros. Tada turėtumėte sukurti  VNimagerequesthandler  ir įvykdyti teksto užklausą.

Kraštinių nubrėžimas aplink aptiktą tekstą

Galite pradėti nuo to, kad sistema nubrėžia du langelius – vieną kiekvienai aptiktai raidei, o kitą – kiekvienam žodžiui. Lentelės yra visų simbolių laukelių, kuriuos rasite jūsų užklausoje, derinys.

• Apibrėžkite savo vaizdo taškus, kad padėtų jums išdėstyti langelius.
• Po to sukurkite  CALaye r; naudokite  VNrectangleobservation,  kad apibrėžtumėte savo apribojimus, kad būtų lengviau nubrėžti langelį.

Dabar turite visas savo funkcijas.

Norėdami sujungti taškus, pirmiausia paleiskite kodą asinchroniškai. Tada turėtumėte patikrinti, ar jūsų VNTextObservation rezultatuose yra regionas  .

Dabar galite iškviesti savo funkciją, kuri nupieš laukelį srityje. Patikrinkite, ar regione yra simbolių laukelių, tada paskambinkite tarnybai, kuri aplink kiekvieną raidę pateikia langelį.

Po to sukurkite kintamąjį  RequestOptions. Dabar galite sukurti  VNImageRequestHandler  objektą ir atlikti sukurtą teksto užklausą.

Galiausiai, paskutinis veiksmas yra vizijos kodo paleidimas su tiesiogine transliacija. Turėsite paimti vaizdo išvestį ir konvertuoti ją į  Cmsamplebuffer.

Papildomi patarimai

Visada stenkitės apkarpyti vaizdą ir apdoroti tik jums reikalingą skyrių. Tai sumažins apdorojimo laiką ir sumažins atminties kiekį

Įjunkite kalbos taisymą, kai naudojate ne skaitinius simbolius, tada išjunkite, kai dirbate su skaitiniais simboliais

Įtraukite atpažintų skaičių eilučių patvirtinimą, kad patvirtintumėte tikslumą ir pašalintumėte klaidingą reikšmę vartotojui.

Dokumentų kameros valdiklis yra geriausias teksto atpažinimo draugas, nes vaizdo kokybė vaidina svarbų vaidmenį atpažįstant tekstą.

Apsvarstykite galimybę nustatyti minimalų teksto aukštį, kad padidintumėte našumą.

Naudodami Vision turite viską, ko reikia teksto atpažinimui. Kadangi „Vision“ naudoti paprasta, o jos įgyvendinimas užtrunka neilgai, jos naudojimas beveik prilygsta žaidimui su „Lego“. Pabandykite išbandyti programą naudodami skirtingus objektus, šriftus, apšvietimą ir dydžius. Taip pat galite padaryti įspūdį derindami Vision su Core ML.