Како да направите РЕСТ АПИ за дубоко учење са Ворд2Вец и Фласком

Традиционалне приступе развоју је тешко одржати када се у производњи користе сложени модели машинског учења. Развој на лаптопу или локалној машини може бити спор да обучи модел машинског учења за инжењере дубоког учења. Као резултат тога, обично користимо машине у облаку са снажнијим хардвером за обуку и покретање наших модела машинског учења. Ово је добра пракса пошто апстрахујемо сложено израчунавање и уместо тога постављамо АЈАКС захтеве по потреби. У овом туторијалу учинићемо унапред обучени модел дубоког учења под називом Ворд2Вец доступним другим услугама тако што ћемо изградити РЕСТ АПИ од самог почетка.

Предуслови

• Инстанца сервера Убунту 16.04 са најмање 4 ГБ РАМ-а. За потребе тестирања и развоја, можете одабрати инстанцу са 4 ГБ РАМ-а
• Разумевање како да користите Линук оперативни систем за креирање/навигацију/уређивање фасцикли и датотека
• sudoкорисника

Шта су уградње речи?

Уграђивање речи је недавни развој у обради природног језика и дубоком учењу које је револуционисало обе области због брзог напретка. Уграђивање речи су у суштини вектори од којих сваки одговара једној речи тако да вектори значе речи. Ово се може демонстрирати одређеним феноменима као што је вектор за king - queen = boy - girl. Вектори речи се користе за изградњу свега, од механизама за препоруке до робота за ћаскање који заправо разумеју енглески језик.

Уграђивање речи није случајно; генеришу се обучавањем неуронске мреже. Недавна моћна имплементација за уграђивање речи долази од Гоогле-а под називом Ворд2Вец који се обучава предвиђањем речи које се појављују поред других речи у језику. На пример, за реч "cat", неуронска мрежа ће предвидети речи "kitten"и "feline". Ова интуиција речи које се појављују једна близу друге нам омогућава да их поставимо у векторски простор.

Међутим, у пракси, ми тежимо да користимо унапред обучене моделе других великих корпорација као што је Гоогле како бисмо брзо направили прототип и поједноставили процесе примене. У овом водичу ћемо преузети и користити Гоогле-ов Ворд2Вец унапред обучени уграђивања речи. То можемо да урадимо тако што ћемо покренути следећу команду у нашем радном директоријуму.

wget http://magnitude.plasticity.ai/word2vec/GoogleNews-vectors-negative300.magnitude

Инсталирање пакета Фласк и Магнитуде

Модел за уградњу речи који смо преузели је у .magnitudeформату. Овај формат нам омогућава да ефикасно упитамо модел користећи СКЛ, и стога је оптималан формат за уградњу за производне сервере. Пошто морамо да будемо у могућности да прочитамо .magnitudeформат, инсталираћемо pymagnitudeпакет. Такође ћемо инсталирати flaskда бисмо касније служили предвиђањима дубоког учења које је направио модел.

pip3 install pymagnitude flask

Такође ћемо га додати у наш алат за праћење зависности помоћу следеће команде. Ово креира датотеку са именом requirements.txtи чува наше Питхон библиотеке како бисмо их касније могли поново инсталирати.

pip3 freeze > requirements.txt

Испитивање модела Ворд2Вец

За почетак, направићемо датотеку за руковање отварањем и испитивањем уградње речи.

touch model.py

Затим ћемо додати следеће редове model.pyза увоз Магнитуде.

from pymagnitude import Magnitude
vectors = Magnitude('GoogleNews-vectors-negative300.magnitude')

Можемо се поиграти са pymagnitudeпакетом и моделом дубоког учења користећи queryметод, дајући аргумент за реч.

cat_vector = vectors.query('cat')
print(cat_vector)

За језгро нашег АПИ-ја, дефинисаћемо функцију која враћа разлику у значењу између две речи. Ово је окосница за већину решења за дубоко учење за ствари као што су машине за препоруке (тј. приказивање садржаја са сличним речима).

Можемо се играти са овом функцијом користећи функције similarityи most_similar .

print(vectors.similarity("cat", "dog"))
print(vectors.most_similar("cat", topn=100))

Калкулатор сличности имплементирамо на следећи начин. Овај метод ће позвати Фласк АПИ у следећем одељку. Имајте на уму да ова функција враћа реалну вредност између 0 и 1.

def similarity(word1, word2):
    return vectors.similarity(word1, word2)

Креирање РЕСТ АПИ-ја

Направићемо наш сервер у датотеци под називом service.pyса следећим садржајем. Ми увозимо flaskи requestуправљамо нашим могућностима сервера и увозимо similarityмотор из модула који смо раније написали.

from flask import Flask, request
from model import similarity

app = Flask(__name__)

@app.route("/", methods=['GET'])
def welcome():
    return "Welcome to our Machine Learning REST API!"

@app.route("/similarity", methods=['GET'])
def similarity_route():
    word1 = request.args.get("word1")
    word2 = request.args.get("word2")
    return str(similarity(word1, word2))

if __name__ == "__main__":
    app.run(port=8000, debug=True)

Наш сервер је прилично чист, али се лако може проширити креирањем више рута помоћу @app.routeдекоратора.

Упућивање АПИ позива

Можемо покренути наш Фласк сервер тако што ћемо покренути следеће команде да активирамо наше виртуелно окружење, инсталирамо наше пакете и покренемо повезану Питхон датотеку.

source venv/bin/activate
pip3 install -r requirements.txt
python3 service.py

Наш сервер ће бити доступан на localhost:8000. Можемо да упитамо нашу базу података localhost:8000/similarity?word1=cat&word2=dogи да видимо одговор било у нашем претраживачу или преко другог АЈАКС клијента.