iPhone: iOS-tekstintunnistusominaisuuksien käyttäminen

iOS 11:n Visionissa on kaikki mitä tarvitset sellaisen sovelluksen luomiseen, joka tunnistaa tekstimerkit ja toteutus tapahtuu samanaikaisesti. Et tarvitse teknistä koodausosaamista – ominaisuudessa navigointi on melko helppoa. Lisäksi toteutus on saumatonta.

Visio Framework

Visiokehyksen avulla voit helposti toteuttaa minkä tahansa tehtävän, joka sisältää tietokoneen yksityiskohtia. Rakenne suorittaa kasvojen ja kasvojen maamerkkien tunnistuksen, viivakooditunnistuksen, kuvien rekisteröinnin, yleisen piirteiden seurannan ja tekstin tunnistuksen. Vision antaa sinun käyttää myös mukautettuja Core ML -malleja tehtäviin, kuten luokitteluun tai objektien havaitsemiseen.

VN DetectTextRectanglesRequest

VN DetectTextRectanglesRequest  on kuva-analyysin pyynnön, joka etsii alueet näkyvän tekstin kuva; ominaisuus palauttaa tekstimerkit suorakaiteen muotoisena rajoitusalueena alkuperän ja koon kanssa.

Jos olet tottunut käyttämään swiftiä ja olet ohjelmoinut jonkin aikaa, olet todennäköisesti miettinyt, mitä hyötyä Visionista on, kun siinä on muita ominaisuuksia, kuten kuva ja AVFoundation. No, Visio on tarkempi ja yksinkertaisempi. Ominaisuus on saatavilla myös useille alustoille. Visionin käyttäminen saattaa kuitenkin vaatia enemmän käsittelytehoa ja käsittelyaikaa.

Jotta voit käyttää Visionia tekstintunnistukseen, tarvitset Xcode 9:n ja laitteen, jossa on iOS 11.

Kameran luominen Avcapturen avulla

Ensin sinun on luotava kamera  AVCapturella ; tämä on alustamalla yksi objekti AVcapturesession suorittamaan reaaliaikaista tai offline-kaappausta. Tee sen jälkeen istunto laiteyhteyteen.

Jos haluat säästää aikaa sovelluksesi käyttöliittymän rakentamisesta, harkitse aloitusprojektia, joka antaa sinulle aikaa keskittyä Vision-kehyksen oppimiseen.

Avaa aloitusprojektisi. Kuvakäsikirjoituksen näkymien pitäisi olla valmiita ja asetettuja sinua varten.

On  ViewController.swift,  etsi koodi osio toimintoja ja myyntipisteistä.

Alle päästövirtausta ImageView, d eclare istunnon  AVcapturesession  - tätä käytetään aina kun haluat toimia perusteella suoritetuista live stream.

Aseta  AVcapturesession  ja  AVmediatype  videoille, koska teet kamerakuvauksen, jotta se toimii jatkuvasti

Määritä lähtö- ja syöttölaite

Kamera näkee tulon, ja ulostulo on video tietyssä muodossa KCVPixelFormatType_32GRA.

Lisää lopuksi  videoita  sisältävä  alikerros imageView'hun  ja aloita istunto. Toiminto tunnetaan nimellä  inViewdidload.  Sinun on myös asetettava kerroksen kehys.

Kutsu funktiota  viewWillAppear-metodissa  .

Koska rajoja ei ole vielä viimeistelty, ohita  viewDidLayoutSubviews ( )  -menetelmä päivittääksesi sidotut tasot.

iOS 10:n julkaisun jälkeen tarvitaan lisämerkintä Info.plist-luetteloon, mikä antaa syyn kameran käyttöön. Sinun tulee myös asettaa Privacy-Camera Usage Description.

Tekstin tunnistus; Miten Vision Framework toimii

Visionin käyttöönotto sovelluksessa on kolme vaihetta.

Käsittelijät –  tämä on silloin, kun haluat kehyksen tekevän jotain pyynnön kutsumisen jälkeen.

Havainnot –  tämä on se, mitä haluat tehdä toimittamillasi tiedoilla alkaen yhdestä pyynnöstä

Pyynnöt –  tämä on silloin, kun pyydät Detect-kehystä

Ihannetapauksessa luot yhden tekstipyynnön nimellä  VNdetecttextrectanglesrequest . Tämä on eräänlainen  VN-pyyntö,  joka rajautuu tekstin ympärille. Kun kehys on suorittanut sovelluksen, jatkat  Dettexthandler-  funktion kutsumista . Haluat myös tietää tarkan tunnistetun kehyksen ja aseta sen arvoksi  Reportcharacterboxes =True.

Määritä sen jälkeen havainnot, jotka sisältävät kaikki  VNdetecttextrectanglesrequest -tulokset , muista lisätä Vision lähtökameraan . Koska Vision paljastaa korkean tason API:t, työskentely sen kanssa on turvallista.

Funktio tarkistaa, onko  Cmsamplebuffer  olemassa ja PutOut  Avcaptureoutput . Sinun pitäisi sitten edetä luoda yksi muuttuja  Requestoptions  kuin 1 sanakirja Tyyppi  VNimageoption . VNmage  vaihtoehto on eräänlainen rakenne, joka sisältää ominaisuuksia ja tietoja kamerasta. Luo sitten  VNimagerequesthandler ja suorita tekstipyyntö  .

Reunusten piirtäminen havaitun tekstin ympärille

Voit aloittaa piirtämällä kaksi laatikkoa, yhden jokaiselle havaitsemalleen kirjaimelle ja toisen jokaiselle sanalle. Taulukot ovat kaikkien pyyntösi löytämien merkkiruutujen yhdistelmä.

• Määrittele näkymäsi kohdat, jotta voit sijoittaa laatikot.
• Luo sen jälkeen  CALaye r; käytä  VNrectangleobservationia  rajoitusten määrittämiseen, mikä helpottaa laatikon hahmottamista.

Sinulla on nyt kaikki toiminnot valmiina.

Yhdistä pisteesi aloittamalla koodin suorittaminen asynkronisesti. Tarkista sitten, onko VNTextObservationin tuloksissasi  aluetta .

Voit nyt soittaa funktiollesi, joka piirtää laatikon alueelle. Tarkista, onko alueella merkkiruutuja, ja soita sitten palveluun, joka tuo laatikon jokaisen kirjaimen ympärille.

Luo sen jälkeen muuttuja  RequestOptions. Voit nyt luoda  VNImageRequestHandler- objektin ja suorittaa luomasi tekstipyynnön  .

Lopuksi, viimeinen vaihe on visiokoodisi suorittaminen suoratoiston kanssa. Sinun on otettava videolähtö ja muutettava se  Cmsamplebufferiksi.

Lisävinkkejä

Yritä aina rajata kuvaa ja käsitellä vain tarvitsemasi osa. Tämä vähentää käsittelyaikaa ja muistitilaa

Ota kielen korjaus käyttöön, kun käsittelet ei-numeerisia merkkejä ja poista se käytöstä, kun käsittelet numeerista merkkiä

Sisällytä tunnistettujen numeromerkkijonojen vahvistus vahvistaaksesi tarkkuuden ja estääksesi väärän arvon näyttämisen käyttäjälle.

Dokumenttikameraohjain on paras kumppani tekstintunnistukseen, koska kuvanlaadulla on tärkeä rooli tekstintunnistuksessa.

Harkitse tekstin vähimmäiskorkeuden asettamista tehokkuuden parantamiseksi.

Visionilla sinulla on kaikki mitä tarvitset tekstintunnistusta varten. Koska Vision on helppokäyttöinen ja sen käyttöönotto vie vähän aikaa, sen käyttäminen vastaa melkein Legoilla pelaamista. Kokeile sovellusta testata erilaisilla objekteilla, fonteilla, valaistuksella ja kokoilla. Voit myös tehdä vaikutuksen yhdistämällä Visionin Core ML:n kanssa.