Како да направите РЕСТ АПИ за дубоко учење са Ворд2Вец и Фласком

Традиционалне приступе развоју је тешко одржати када се у производњи користе сложени модели машинског учења. Развој на лаптопу или локалној машини може бити спор да обучи модел машинског учења за инжењере дубоког учења. Као резултат тога, обично користимо машине у облаку са снажнијим хардвером за обуку и покретање наших модела машинског учења. Ово је добра пракса пошто апстрахујемо сложено израчунавање и уместо тога постављамо АЈАКС захтеве по потреби. У овом туторијалу учинићемо унапред обучени модел дубоког учења под називом Ворд2Вец доступним другим услугама тако што ћемо изградити РЕСТ АПИ од самог почетка.

Предуслови

  • Инстанца сервера Убунту 16.04 са најмање 4 ГБ РАМ-а. За потребе тестирања и развоја, можете одабрати инстанцу са 4 ГБ РАМ-а
  • Разумевање како да користите Линук оперативни систем за креирање/навигацију/уређивање фасцикли и датотека
  • sudoкорисника

Шта су уградње речи?

Уграђивање речи је недавни развој у обради природног језика и дубоком учењу које је револуционисало обе области због брзог напретка. Уграђивање речи су у суштини вектори од којих сваки одговара једној речи тако да вектори значе речи. Ово се може демонстрирати одређеним феноменима као што је вектор за king - queen = boy - girl. Вектори речи се користе за изградњу свега, од механизама за препоруке до робота за ћаскање који заправо разумеју енглески језик.

Уграђивање речи није случајно; генеришу се обучавањем неуронске мреже. Недавна моћна имплементација за уграђивање речи долази од Гоогле-а под називом Ворд2Вец који се обучава предвиђањем речи које се појављују поред других речи у језику. На пример, за реч "cat", неуронска мрежа ће предвидети речи "kitten"и "feline". Ова интуиција речи које се појављују једна близу друге нам омогућава да их поставимо у векторски простор.

Међутим, у пракси, ми тежимо да користимо унапред обучене моделе других великих корпорација као што је Гоогле како бисмо брзо направили прототип и поједноставили процесе примене. У овом водичу ћемо преузети и користити Гоогле-ов Ворд2Вец унапред обучени уграђивања речи. То можемо да урадимо тако што ћемо покренути следећу команду у нашем радном директоријуму.

wget http://magnitude.plasticity.ai/word2vec/GoogleNews-vectors-negative300.magnitude

Инсталирање пакета Фласк и Магнитуде

Модел за уградњу речи који смо преузели је у .magnitudeформату. Овај формат нам омогућава да ефикасно упитамо модел користећи СКЛ, и стога је оптималан формат за уградњу за производне сервере. Пошто морамо да будемо у могућности да прочитамо .magnitudeформат, инсталираћемо pymagnitudeпакет. Такође ћемо инсталирати flaskда бисмо касније служили предвиђањима дубоког учења које је направио модел.

pip3 install pymagnitude flask

Такође ћемо га додати у наш алат за праћење зависности помоћу следеће команде. Ово креира датотеку са именом requirements.txtи чува наше Питхон библиотеке како бисмо их касније могли поново инсталирати.

pip3 freeze > requirements.txt

Испитивање модела Ворд2Вец

За почетак, направићемо датотеку за руковање отварањем и испитивањем уградње речи.

touch model.py

Затим ћемо додати следеће редове model.pyза увоз Магнитуде.

from pymagnitude import Magnitude
vectors = Magnitude('GoogleNews-vectors-negative300.magnitude')

Можемо се поиграти са pymagnitudeпакетом и моделом дубоког учења користећи queryметод, дајући аргумент за реч.

cat_vector = vectors.query('cat')
print(cat_vector)

За језгро нашег АПИ-ја, дефинисаћемо функцију која враћа разлику у значењу између две речи. Ово је окосница за већину решења за дубоко учење за ствари као што су машине за препоруке (тј. приказивање садржаја са сличним речима).

Можемо се играти са овом функцијом користећи функције similarityи most_similar .

print(vectors.similarity("cat", "dog"))
print(vectors.most_similar("cat", topn=100))

Калкулатор сличности имплементирамо на следећи начин. Овај метод ће позвати Фласк АПИ у следећем одељку. Имајте на уму да ова функција враћа реалну вредност између 0 и 1.

def similarity(word1, word2):
    return vectors.similarity(word1, word2)

Креирање РЕСТ АПИ-ја

Направићемо наш сервер у датотеци под називом service.pyса следећим садржајем. Ми увозимо flaskи requestуправљамо нашим могућностима сервера и увозимо similarityмотор из модула који смо раније написали.

from flask import Flask, request
from model import similarity

app = Flask(__name__)

@app.route("/", methods=['GET'])
def welcome():
    return "Welcome to our Machine Learning REST API!"

@app.route("/similarity", methods=['GET'])
def similarity_route():
    word1 = request.args.get("word1")
    word2 = request.args.get("word2")
    return str(similarity(word1, word2))

if __name__ == "__main__":
    app.run(port=8000, debug=True)

Наш сервер је прилично чист, али се лако може проширити креирањем више рута помоћу @app.routeдекоратора.

Упућивање АПИ позива

Можемо покренути наш Фласк сервер тако што ћемо покренути следеће команде да активирамо наше виртуелно окружење, инсталирамо наше пакете и покренемо повезану Питхон датотеку.

source venv/bin/activate
pip3 install -r requirements.txt
python3 service.py

Наш сервер ће бити доступан на localhost:8000. Можемо да упитамо нашу базу података localhost:8000/similarity?word1=cat&word2=dogи да видимо одговор било у нашем претраживачу или преко другог АЈАКС клијента.


Инсталирајте Плеск на ЦентОС 7

Инсталирајте Плеск на ЦентОС 7

Користите другачији систем? Плеск је власничка контролна табла веб хоста која омогућава корисницима да управљају својим личним и/или клијентским веб локацијама, базама података

Подесите Цацти на Дебиан Јессие

Подесите Цацти на Дебиан Јессие

Увод Цацти је алатка отвореног кода за праћење и графику која је у потпуности заснована на РРД подацима. Преко Цацтуса можете надгледати скоро сваку врсту уређаја

Инсталирајте Летс Енцрипт ССЛ на ВордПресс апликацију једним кликом

Инсталирајте Летс Енцрипт ССЛ на ВордПресс апликацију једним кликом

Увод Летс Енцрипт је услуга ауторитета за сертификате која нуди бесплатне ТЛС/ССЛ сертификате. Цертбот поједностављује процес инсталације,

Подесите иРедМаил на Дебиан Вхеези

Подесите иРедМаил на Дебиан Вхеези

Користите другачији систем? Овај водич ће вам показати како да инсталирате групни софтвер иРедМаил на нову инсталацију Дебиан Вхеези-а. Требало би да користите сервис

Креирање Јекилл блога на Убунту 16.04

Креирање Јекилл блога на Убунту 16.04

Користите другачији систем? Јекилл је одлична алтернатива ВордПресс-у за блоговање или дељење садржаја. Не захтева никакве базе података и веома је лако и

Како подесити надоградње без надзора на Дебиан 9 (протежу)

Како подесити надоградње без надзора на Дебиан 9 (протежу)

Користите другачији систем? Ако купите Дебиан сервер, увек би требало да имате најновије безбедносне закрпе и ажурирања, без обзира да ли спавате или не

Како инсталирати и конфигурисати ПХП 7.0 или ПХП 7.1 на Убунту 16.04

Како инсталирати и конфигурисати ПХП 7.0 или ПХП 7.1 на Убунту 16.04

ПХП и повезани пакети су најчешће коришћене компоненте приликом постављања веб сервера. У овом чланку ћемо научити како да подесите ПХП 7.0 или ПХП 7.1 о

Како инсталирати Скуид проки на ЦентОС

Како инсталирати Скуид проки на ЦентОС

Скуид је популаран, бесплатни Линук програм који вам омогућава да креирате веб проки за прослеђивање. У овом водичу ћете видети како да инсталирате Скуид на ЦентОС да вас преокрене

Како инсталирати Лигхттпд (ЛЛМП Стацк) на ЦентОС 6

Како инсталирати Лигхттпд (ЛЛМП Стацк) на ЦентОС 6

Увод Лигхттпд је форк Апацхе-а који има за циљ да буде много мање интензиван према ресурсима. Лаган је, отуда и његово име, и прилично је једноставан за употребу. Инсталлин

Три бесплатна контролна панела сервера (брза инсталација)

Три бесплатна контролна панела сервера (брза инсталација)

1. Виртуалмин/Вебмин Виртуалмин је моћна и флексибилна контролна табла за веб хостинг за Линук и УНИКС системе заснована на добро познатој веб бази отвореног кода

Подешавање Иии апликације на Убунту 14.04

Подешавање Иии апликације на Убунту 14.04

Иии је ПХП оквир који вам омогућава да брже и лакше развијате апликације. Инсталирање Иии-а на Убунту је једноставно, као што ћете тачно научити

Коришћење екрана на Убунту 14.04

Коришћење екрана на Убунту 14.04

Сцреен је апликација која омогућава вишеструку употребу терминалских сесија унутар једног прозора. Ово вам омогућава да симулирате више прозора терминала где је ма

Подесите сопствени ДНС сервер на Дебиан/Убунту

Подесите сопствени ДНС сервер на Дебиан/Убунту

Овај водич објашњава како да подесите ДНС сервер користећи Бинд9 на Дебиан-у или Убунту-у. У целом чланку замените иоур-домаин-наме.цом у складу са тим. Ат тх

Коришћење Логротате за управљање датотекама евиденције

Коришћење Логротате за управљање датотекама евиденције

Увод Логротате је Линук услужни програм који поједностављује администрацију датотека евиденције. Обично се покреће једном дневно преко црон посла и управља базом евиденције

Конфигурисање статичког умрежавања и ИПв6 на ЦентОС 7

Конфигурисање статичког умрежавања и ИПв6 на ЦентОС 7

ВУЛТР је недавно направио измене на њиховој страни, и сада би све требало да ради добро из кутије са омогућеним НетворкМанагер-ом. Ако желите да онемогућите

Модификовање Ицинга2 да користи модел Мастер/Цлиент на ЦентОС 6 или ЦентОС 7

Модификовање Ицинга2 да користи модел Мастер/Цлиент на ЦентОС 6 или ЦентОС 7

Ицинга2 је моћан систем за праћење, и када се користи у моделу мастер-цлиент, може да замени потребу за провером праћења заснованом на НРПЕ. Главни клијент

Подесите Ред5 Медиа Сервер на Убунту 16.04

Подесите Ред5 Медиа Сервер на Убунту 16.04

Користите другачији систем? Ред5 је медијски сервер отвореног кода имплементиран у Јави који вам омогућава да покренете Фласх вишекорисничке апликације као што је ливе стреамин

Компајлирајте и инсталирајте Нгинк са модулом ПагеСпеед на Дебиан 8

Компајлирајте и инсталирајте Нгинк са модулом ПагеСпеед на Дебиан 8

У овом чланку ћемо видети како да компајлирате и инсталирате Нгинк маинлине из званичних извора Нгинк-а помоћу модула ПагеСпеед, који вам омогућава да

Како инсталирати Апацхе Цассандра 3.11.к на Убунту 16.04 ЛТС

Како инсталирати Апацхе Цассандра 3.11.к на Убунту 16.04 ЛТС

Користите другачији систем? Апацхе Цассандра је бесплатан систем за управљање НоСКЛ базом података отвореног кода који је дизајниран да обезбеди скалабилност, високу

Како инсталирати Ванилла Форум на Убунту 16.04

Како инсталирати Ванилла Форум на Убунту 16.04

Користите другачији систем? Ванилла форум је апликација отвореног кода написана у ПХП-у. Потпуно је прилагодљив, једноставан за коришћење и подржава екстерне

Успон машина: Примене вештачке интелигенције у стварном свету

Успон машина: Примене вештачке интелигенције у стварном свету

Вештачка интелигенција није у будућности, она је овде управо у садашњости. У овом блогу Прочитајте како су апликације вештачке интелигенције утицале на различите секторе.

ДДОС напади: кратак преглед

ДДОС напади: кратак преглед

Да ли сте и ви жртва ДДОС напада и збуњени сте методама превенције? Прочитајте овај чланак да бисте решили своја питања.

Да ли сте се икада запитали како хакери зарађују новац?

Да ли сте се икада запитали како хакери зарађују новац?

Можда сте чули да хакери зарађују много новца, али да ли сте се икада запитали како зарађују толики новац? Хајде да причамо.

Гоогле-ови револуционарни изуми који ће вам олакшати живот.

Гоогле-ови револуционарни изуми који ће вам олакшати живот.

Да ли желите да видите револуционарне изуме Гугла и како су ти изуми променили живот сваког људског бића данас? Затим читајте на блогу да бисте видели Гооглеове изуме.

Фридаи Ессентиал: Шта се десило са аутомобилима које покреће вештачка интелигенција?

Фридаи Ессентиал: Шта се десило са аутомобилима које покреће вештачка интелигенција?

Концепт самовозећих аутомобила који путују на путеве уз помоћ вештачке интелигенције је сан који већ неко време имамо. Али упркос неколико обећања, њих нема нигде. Прочитајте овај блог да сазнате више…

Технолошка сингуларност: далека будућност људске цивилизације?

Технолошка сингуларност: далека будућност људске цивилизације?

Како се наука развија великом брзином, преузимајући многе наше напоре, расте и ризик да се подвргнемо необјашњивој сингуларности. Прочитајте шта би сингуларност могла да значи за нас.

Еволуција складиштења података – Инфографика

Еволуција складиштења података – Инфографика

Методе складиштења података су се развијале можда од рођења података. Овај блог покрива еволуцију складиштења података на основу инфографике.

Функционалности слојева референтне архитектуре великих података

Функционалности слојева референтне архитектуре великих података

Прочитајте блог да бисте на најједноставнији начин упознали различите слојеве у архитектури великих података и њихове функционалности.

6 невероватних предности поседовања паметних кућних уређаја у нашим животима

6 невероватних предности поседовања паметних кућних уређаја у нашим животима

У овом дигиталном свету, паметни кућни уређаји постали су кључни део живота. Ево неколико невероватних предности паметних кућних уређаја о томе како они чине наш живот вредним живљења и једноставнијим.

Ажурирање додатка за мацОС Цаталина 10.15.4 изазива више проблема него што их решава

Ажурирање додатка за мацОС Цаталина 10.15.4 изазива више проблема него што их решава

Недавно је Аппле издао мацОС Цаталина 10.15.4 додатак за исправку проблема, али изгледа да ажурирање изазива више проблема који доводе до квара Мац машина. Прочитајте овај чланак да бисте сазнали више