iPhone: kuidas kasutada iOS-i tekstituvastuse funktsioone

Vision iOS 11-s sisaldab kõike, mida vajate, et luua rakendus, mis suudab samaaegselt juurutatud tekstimärke ära tunda. Te ei vaja kodeerimise tehnilisi teadmisi – funktsioonis navigeerimine on üsna lihtne. Veelgi enam, rakendamine on sujuv.

Visiooniraamistik

Visiooniraamistik võimaldab teil hõlpsalt teostada mis tahes ülesandeid, mis hõlmavad arvuti üksikasju. Struktuur teostab näo ja näo maamärkide tuvastamist, vöötkoodi tuvastamist, kujutiste registreerimist, üldist funktsioonide jälgimist ja teksti tuvastamist. Vision võimaldab teil kasutada ka kohandatud Core ML-mudeleid selliste ülesannete jaoks nagu klassifitseerimine või objektide tuvastamine.

VN DetectTextRectanglesRequest

VN DetectTextRectanglesRequest  on kujutise analüüs taotluse, mis leiab piirkondades nähtav tekst pildi; funktsioon tagastab tekstimärgid ristkülikukujulise piirdekastina koos päritolu ja suurusega.

Kui olete harjunud swifti kasutama ja olete juba mõnda aega programmeerinud, siis mõtlete ilmselt, mis kasu on Visionist, kui sellel on muid funktsioone, nagu pilt ja AVFoundation. Noh, visioon on täpsem ja sirgjoonelisem. Funktsioon on saadaval ka erinevatel platvormidel. Visioni kasutamine võib aga nõuda rohkem töötlemisvõimsust ja töötlemisaega.

Tekstituvastuseks Visioni kasutamiseks vajate Xcode 9 ja seadet, mis käitab iOS 11.

Kaamera loomine Avcapture'iga

Esiteks peate looma AVCapture'iga kaamera  ; see on ühe objekti AVcapturesession initsialiseerimine, et teostada reaalajas või võrguühenduseta jäädvust. Pärast seda looge seanss seadme ühendusega.

Rakenduse kasutajaliidese loomisel kuluva aja säästmiseks kaaluge alustuseks projekti, mis annab teile aega keskenduda Visioni raamistiku õppimisele.

Avage oma stardiprojekt. Süžeeskeemi vaated peaksid olema kõik valmis ja teie jaoks seadistatud.

Otsige saidil ViewController.swift üles  koodijaotis  funktsioonide ja pistikupesadega.

Vastavalt outlet- ImageView, D eClare seansi jaoks  AVcapturesession  - seda kasutatakse, kui soovite TEGEVUSED põhineb live stream.

Seadke  AVcapturesession  ja  AVmediatype  videole, kuna pildistate kaameraga, et see saaks pidevalt töötada

Määrake väljund- ja sisendseade

Sisend on see, mida kaamera näeb ja väljund on video määratud tüüpi vormingus KCVPixelFormatType_32GRA.

Lõpuks lisage imageView'le   videoid  sisaldav  alamkiht ja alustage seanssi. Funktsioon on tuntud kui  inViewdidload.  Samuti peate määrama kihi raami.

Kutsuge funktsiooni  viewWillAppear  meetodil.

Kuna piirid pole veel lõplikult kinnitatud,  alistage köidetud kihtide värskendamiseks meetod viewDidLayoutSubviews ( )  .

Pärast iOS 10 väljaandmist on Info.plistis vaja lisakirjet, see annab põhjuse kaamera kasutamiseks. Samuti peaksite määrama Privaatsus-Kaamera kasutamise kirjelduse.

Teksti tuvastamine; Kuidas Vision Framework töötab

Visioni rakendamiseks rakenduses on kolm sammu.

Käsitlejad –  see on siis, kui soovite, et raamistik pärast päringu kutsumist midagi teeks.

Tähelepanekud –  see on see, mida soovite teha teie esitatud andmetega, alustades ühest päringust

Taotlused –  see on siis, kui küsite tuvastamise raamistikku

Ideaalis loote ühe tekstipäringu kui  VNdetecttextrectanglesrequest . See on omamoodi  VNrequest,  mis piirneb teksti ümber. Kui raamistik on rakenduse lõpule viinud, jätkake   funktsiooni Dettexthandler kutsumisega . Samuti soovite teada täpselt tuvastatud kaadrit, määrake selle väärtuseks  Reportcharacterboxes =True.

Pärast seda määratlege vaatlused, mis sisaldavad kõiki VNdetecttextrectanglesrequest tulemusi,  ärge unustage lisada väljundkaamerale Vision. Kuna Vision paljastab kõrgetasemelised API-d, on sellega töötamine turvaline.

Funktsioon kontrollib, kas  Cmsamplebuffer on  olemas ja kas PutOut Avcaptureoutput on olemas  . Seejärel peaksite looma ühe muutuja  Requestoptions  kui 1 sõnastikutüübi  VNimageoption . Valik  VNmage  on teatud tüüpi struktuur, mis sisaldab kaamera atribuute ja andmeid. Seejärel peaksite looma  VNimagerequesthandleri ja täitma tekstipäringu  .

Piiride tõmbamine tuvastatud teksti ümber

Võite alustada sellest, et raamistik joonistab kaks kasti, üks iga tuvastatud tähe jaoks ja teine ​​iga sõna jaoks. Tabelid on kombinatsioon kõikidest märgikastidest, mida teie taotlus leiab.

• Määrake oma vaate punktid, et aidata teil kastid paigutada.
• Pärast seda looge  CALaye r; kasutage  oma piirangute määratlemiseks funktsiooni  VNrectangleobservation , mis muudab kasti joonistamise protsessi lihtsamaks.

Nüüd on teil kõik funktsioonid ette nähtud.

Punktide ühendamiseks alustage koodi asünkroonse käivitamisega. Seejärel peaksite kontrollima, kas teie VNTextObservationi tulemuste hulgas on piirkond  .

Nüüd saate helistada oma funktsioonile, mis joonistab ala sisse kasti. Kontrollige, kas piirkonnas on märgikaste, seejärel helistage teenus, mis toob iga tähe ümber kasti.

Pärast seda looge muutuja  RequestOptions. Nüüd saate luua  VNImageRequestHandleri objekti ja täita loodud tekstipäringu  .

Lõpuks on viimane samm teie nägemiskoodi käivitamine otseülekandega. Peate võtma videoväljundi ja teisendama selle  Cmsamplebufferiks.

Täiendavad näpunäited

Püüdke pilti alati kärpida ja töödelda ainult seda osa, mida vajate. See vähendab töötlemisaega ja mälumahtu

Lülitage keeleparandus sisse, kui käsitlete mittenumbrilisi märke, ja lülitage see välja, kui käsitlete numbrilisi märke

Kaasake tuvastatud numbristringide valideerimine, et kinnitada täpsust ja vältida kasutajale valeväärtuste näitamist.

Dokumendikaamera kontroller on tekstituvastuse parim kaaslane, kuna pildikvaliteet mängib tekstituvastuses olulist rolli.

Kaaluge jõudluse suurendamiseks teksti minimaalse kõrguse määramist.

Visioniga on teil tekstituvastuseks kõik vajalik. Kuna Visioni on lihtne kasutada ja selle juurutamine võtab vähe aega, on selle kasutamine peaaegu samaväärne Legodega mängimisega. Proovige oma rakendust testida erinevate objektide, fontide, valgustuse ja suurustega. Samuti saate endast muljet avaldada, kui kombineerite Visioni Core ML-iga.