Kā izveidot Deep Learning REST API, izmantojot Word2Vec un Flask

Tradicionālās attīstības pieejas ir grūti uzturēt, ražošanā izmantojot sarežģītus mašīnmācīšanās modeļus. Izstrāde klēpjdatorā vai vietējā mašīnā var būt lēna, lai apmācītu mašīnmācīšanās modeli dziļās apmācības inženieriem. Tā rezultātā mēs parasti izmantojam mākoņa mašīnas ar jaudīgāku aparatūru, lai gan apmācītu, gan darbinātu mūsu mašīnmācīšanās modeļus. Tā ir laba prakse, jo mēs abstrakti sarežģītu aprēķinu un tā vietā veicam AJAX pieprasījumus, ja nepieciešams. Šajā apmācībā mēs padarīsim iepriekš apmācītu dziļās mācīšanās modeli ar nosaukumu Word2Vec pieejamu citiem pakalpojumiem, izveidojot REST API no paša sākuma.

Priekšnoteikumi

• Ubuntu 16.04 servera gadījums ar vismaz 4 GB RAM. Testēšanas un izstrādes nolūkos varat izvēlēties gadījumu ar 4 GB RAM
• Izpratne par to, kā izmantot operētājsistēmu Linux, lai izveidotu/pārvietotos/rediģētu mapes un failus
• sudolietotāju

Kas ir vārdu iegulšana?

Vārdu iegulšana ir nesena attīstība dabiskās valodas apstrādē un dziļā apguvē, kas straujā progresa dēļ ir mainījusi abas jomas. Vārdu iegulšana būtībā ir vektori, no kuriem katrs atbilst vienam vārdam tā, ka vektori nozīmē vārdus. To var parādīt ar dažām parādībām, piemēram, vektoru king - queen = boy - girl. Vārdu vektorus izmanto, lai izveidotu visu, sākot no ieteikumu dzinējiem līdz tērzēšanas robotiem, kas faktiski saprot angļu valodu.

Vārdu iegulšana nav nejauša; tie tiek ģenerēti, apmācot neironu tīklu. Nesenā jaudīgā vārdu iegulšanas ieviešana nāk no Google ar nosaukumu Word2Vec, kas tiek apmācīta, paredzot vārdus, kas parādās blakus citiem valodas vārdiem. Piemēram, vārdam "cat", neironu tīkls prognozēs vārdus "kitten"un "feline". Šī vārdu intuīcija, kas parādās blakus viens otram, ļauj tos ievietot vektoru telpā.

Tomēr praksē mēs mēdzam izmantot citu lielu korporāciju, piemēram, Google, iepriekš apmācītus modeļus, lai ātri izveidotu prototipus un vienkāršotu izvietošanas procesus. Šajā apmācībā mēs lejupielādēsim un izmantosim Google Word2Vec iepriekš apmācītās vārdu iegulšanas iespējas. Mēs to varam izdarīt, izpildot šādu komandu mūsu darba direktorijā.

wget http://magnitude.plasticity.ai/word2vec/GoogleNews-vectors-negative300.magnitude

Kolbas un lieluma pakotņu uzstādīšana

Mūsu lejupielādētais vārda iegulšanas modelis ir .magnitudeformātā. Šis formāts ļauj efektīvi vaicāt modelim, izmantojot SQL, un tāpēc tas ir optimālais iegulšanas formāts ražošanas serveriem. Tā kā mums ir jāspēj nolasīt .magnitudeformāts, mēs instalēsim pymagnitudepakotni. Mēs arī instalēsim, flasklai vēlāk sniegtu modeļa sniegtās dziļās mācīšanās prognozes.

pip3 install pymagnitude flask

Mēs to arī pievienosim mūsu atkarības izsekotājam ar šādu komandu. Tādējādi tiek izveidots fails ar nosaukumu requirements.txtun tiek saglabātas mūsu Python bibliotēkas, lai mēs varētu tās vēlāk instalēt no jauna.

pip3 freeze > requirements.txt

Word2Vec modeļa vaicājumi

Lai sāktu, mēs izveidosim failu, lai apstrādātu vārdu iegulšanas atvēršanu un vaicājumu veikšanu.

touch model.py

Pēc tam mēs pievienosim tālāk norādītās rindiņas, model.pylai importētu lielumu.

from pymagnitude import Magnitude
vectors = Magnitude('GoogleNews-vectors-negative300.magnitude')

Mēs varam apspēlēt pymagnitudepaketi un dziļās mācīšanās modeli, izmantojot querymetodi, sniedzot argumentu vārdam.

cat_vector = vectors.query('cat')
print(cat_vector)

Mūsu API kodolam mēs definēsim funkciju, lai atgrieztu divu vārdu nozīmes atšķirību. Tas ir mugurkauls lielākajai daļai dziļo mācību risinājumu tādām lietām kā ieteikumu dzinēji (ti, satura rādīšana ar līdzīgiem vārdiem).

Mēs varam spēlēt ar šo funkciju, izmantojot similarityun most_similar funkcijas.

print(vectors.similarity("cat", "dog"))
print(vectors.most_similar("cat", topn=100))

Mēs ieviešam līdzības kalkulatoru šādi. Nākamajā sadaļā šo metodi izsauks Flask API. Ņemiet vērā, ka šī funkcija atgriež reālu vērtību no 0 līdz 1.

def similarity(word1, word2):
    return vectors.similarity(word1, word2)

REST API izveide

Mēs izveidosim savu serveri failā service.pyar šādu saturu. Mēs importējam flaskun requestapstrādājam savas servera iespējas, kā arī importējam similaritydzinēju no moduļa, kuru rakstījām iepriekš.

from flask import Flask, request
from model import similarity

app = Flask(__name__)

@app.route("/", methods=['GET'])
def welcome():
    return "Welcome to our Machine Learning REST API!"

@app.route("/similarity", methods=['GET'])
def similarity_route():
    word1 = request.args.get("word1")
    word2 = request.args.get("word2")
    return str(similarity(word1, word2))

if __name__ == "__main__":
    app.run(port=8000, debug=True)

Mūsu serveris ir diezgan tukšs, taču to var viegli pagarināt, izveidojot vairāk maršrutu, izmantojot @app.routedekoratoru.

API zvanu veikšana

Mēs varam palaist savu Flask serveri, izpildot šādas komandas, lai aktivizētu mūsu virtuālo vidi, instalētu pakotnes un palaistu saistīto Python failu.

source venv/bin/activate
pip3 install -r requirements.txt
python3 service.py

Mūsu serveris būs pieejams plkst localhost:8000. Mēs varam veikt vaicājumus mūsu datu bāzē vietnē localhost:8000/similarity?word1=cat&word2=dogun skatīt atbildi vai nu mūsu pārlūkprogrammā, vai izmantojot citu AJAX klientu.