iPhone: kā izmantot iOS teksta noteikšanas funkcijas

Vision operētājsistēmā iOS 11 ir viss nepieciešamais, lai izveidotu lietotni, kas var atpazīt teksta rakstzīmes, un tās tiek ieviestas vienlaikus. Jums nav nepieciešamas tehniskās kodēšanas zināšanas – navigācija pa funkciju ir pavisam vienkārša. Turklāt ieviešana ir nemanāma.

Vīzijas ietvars

Vīzijas sistēma ļauj viegli īstenot jebkuru uzdevumu, kas saistīts ar datora detaļām. Struktūra veic sejas un sejas orientieru noteikšanu, svītrkoda atpazīšanu, attēlu reģistrāciju, vispārīgu funkciju izsekošanu un teksta noteikšanu. Vision arī ļauj izmantot pielāgotus Core ML modeļus tādiem uzdevumiem kā klasifikācija vai objektu noteikšana.

VN DetectTextRectanglesRequest

VN DetectTextRectanglesRequest  ir attēlu analīzes pieprasījumu, kas atrod reģioni redzamā teksta attēlu; līdzeklis atgriež teksta rakstzīmes kā taisnstūrveida ierobežojošo lodziņu ar izcelsmi un izmēru.

Ja esat pieradis izmantot swift un jau kādu laiku programmējat, tad, iespējams, rodas jautājums, kāda ir Vision izmantošana, ja ir arī citas funkcijas, piemēram, attēls un AVFoundation. Vision ir precīzāks un vienkāršāks. Šī funkcija ir pieejama arī dažādās platformās. Tomēr, izmantojot Vision, var būt nepieciešama lielāka apstrādes jauda un apstrādes laiks.

Lai teksta noteikšanai izmantotu Vision, jums būs nepieciešams Xcode 9 un ierīce, kurā darbojas operētājsistēma iOS 11.

Kameras izveide ar Avcapture

Pirmkārt, jums ir jāizveido kamera ar  AVCapture ; tas notiek, inicializējot viena objekta AVcapturesessiju, lai veiktu tveršanu reāllaikā vai bezsaistē. Pēc tam veiciet sesiju ar ierīces savienojumu.

Lai ietaupītu laiku no lietotnes lietotāja saskarnes izveides, apsveriet sākuma projektu, jo tas dos jums laiku koncentrēties uz Vision ietvara apguvi.

Atveriet sākuma projektu. Scenogrāfa skatiem ir jābūt gataviem un iestatītiem jums.

Vietnē  ViewController.swift  meklējiet koda sadaļu ar funkcijām un kontaktligzdām.

Sadaļā ImageView norādiet sesiju  AVcapturesession — tas tiek izmantots ikreiz, kad vēlaties veikt darbības, pamatojoties uz tiešraides straumi.

Iestatiet  AVcapturesession  un  AVmediatype  uz video, jo jūs veiksit kameru, lai tā darbotos nepārtraukti

Definējiet izvades un ievades ierīci

Ievade ir tāda, ko redzēs kamera, un izvade ir video iestatītā veida formātā KCVPixelFormatType_32GRA.

Visbeidzot pievienojiet  apakšslāni,  kurā ir videoklipi,  attēlam View  un sāciet sesiju. Funkcija ir pazīstama kā  inViewdidload.  Jums arī jāiestata slāņa rāmis.

Izsauciet funkciju  viewWillAppear  metodē.

Tā kā robežas vēl nav pabeigtas,  ignorējiet metodi viewDidLayoutSubviews ( ),  lai atjauninātu saistītos slāņus.

Pēc iOS 10 izlaišanas ir nepieciešams papildu ieraksts Info.plist, kas ir iemesls kameras lietošanai. Jums arī jāiestata Privātuma kameras lietošanas apraksts.

Teksta noteikšana; Kā darbojas Vision Framework

Vision ieviešanai lietotnē ir jāveic trīs darbības.

Apdarinātāji —  tas ir tad, kad vēlaties, lai sistēma kaut ko darītu pēc pieprasījuma izsaukšanas.

Novērojumi –  tas ir tas, ko vēlaties darīt ar jūsu sniegtajiem datiem, sākot ar vienu pieprasījumu

Pieprasījumi —  tas ir tad, kad jūs lūdzat Detect framework

Ideālā gadījumā jūs izveidojat vienu teksta pieprasījumu kā  VNdetecttextrectanglesrequest . Šis ir sava veida  VNpieprasījums,  kas robežojas ar tekstu. Kad sistēma ir pabeigusi lietojumprogrammu, varat izsaukt funkciju  Dettexthandler  . Vēlēsities arī uzzināt precīzu rāmi, kas tika atpazīts, iestatiet to uz  Reportcharacterboxes =True.

Pēc tam definējiet novērojumus, kas satur visus VNdetecttextrectanglesrequest rezultātus  , neaizmirstiet pievienot Vision izvades kamerai. Tā kā Vision atklāj augsta līmeņa API, darbs ar to ir drošs.

Funkciju pārbauda, ja  Cmsamplebuffer  pastāv un PutOut  Avcaptureoutput . Pēc tam jums vajadzētu turpināt izveidot vienu mainīgo  Requestoptions  kā 1 vārdnīcas tipa  VNimageoption . VNmage  variants ir tās struktūras veida, kas satur īpašumus un datus no kameras. Pēc tam jums vajadzētu izveidot  VNimagerequesthandler  un izpildīt teksta pieprasījumu.

Robežu zīmēšana ap atrasto tekstu

Varat sākt ar sistēmu, lai izveidotu divus lodziņus, vienu katram burtam un otru katram vārdam. Tabulas ir visu to rakstzīmju lodziņu kombinācija, kuras atradīs jūsu pieprasījums.

• Nosakiet punktus savā skatā, lai palīdzētu novietot lodziņus.
• Pēc tam izveidojiet  CALaye r; izmantojiet  VNrectangleobservation,  lai definētu savus ierobežojumus, atvieglojot lodziņa iezīmēšanas procesu.

Tagad jums ir noteiktas visas savas funkcijas.

Lai savienotu punktus, vispirms palaidiet kodu asinhroni. Pēc tam jums vajadzētu pārbaudīt, vai jūsu VNTextObservation rezultātos ir reģions  .

Tagad varat izsaukt savu funkciju, kas apgabalā iezīmēs lodziņu. Pārbaudiet, vai reģionā ir rakstzīmju kastes, un pēc tam izsauciet pakalpojumu, kas ap katru burtu ievieto lodziņu.

Pēc tam izveidojiet mainīgo  RequestOptions. Tagad varat izveidot  VNImageRequestHandler  objektu un izpildīt izveidoto teksta pieprasījumu.

Visbeidzot, pēdējais solis ir jūsu redzes koda palaišana tiešraides straumē. Jums būs jāņem video izvade un jāpārvērš tā par  Cmsamplebuffer.

Papildu padomi

Vienmēr mēģiniet apgriezt attēlu un apstrādāt tikai vajadzīgo sadaļu. Tas samazinās apstrādes laiku un atmiņas nospiedumu

Ieslēdziet valodas korekciju, strādājot ar rakstzīmēm, kas nav ciparu, un izslēdziet to, strādājot ar ciparu rakstzīmēm

Iekļaujiet atpazīto skaitļu virkņu validāciju, lai apstiprinātu precizitāti un novērstu nepatiesu vērtību rādīšanu lietotājam.

Dokumentu kameras kontrolleris ir labākais teksta atpazīšanas palīgs, jo attēla kvalitātei ir liela nozīme teksta atpazīšanā.

Apsveriet iespēju iestatīt minimālo teksta augstumu, lai palielinātu veiktspēju.

Izmantojot Vision, jums ir viss nepieciešamais teksta atpazīšanai. Tā kā Vision ir viegli lietojams un ieviešana aizņem īsu laiku, tā lietošana ir gandrīz līdzvērtīga spēlēšanai ar Lego. Mēģiniet pārbaudīt savu lietotni ar dažādiem objektiem, fontiem, apgaismojumu un izmēriem. Varat arī pārsteigt par sevi, apvienojot Vision ar Core ML.