本番で、簡単に機械学習モデル運用ーTensorflow Servingの紹介

こんにちは、次世代システム研究室のA.Zです。

機械学習モデルを作成した後、どうすれば本番で、簡単に誰でも利用できるかお悩みある方もいると思います。モデルを利用したい時、何かしらプログラムを実行し、そのあと結果を確認する時が多いと思います。また、外部システムと連携するときに、接続するためのコミュニケーションやテストなども以外と工数がかかります。

今回は機械学習モデルのサービング(serving)フレームワーク、Tensorflow Servingについて、簡単に紹介したいと思います。

 

はじめに

• オンライン
  
  • 必要な時、いつでも利用できます。
• 低遅延
• 複数モデル、複数バージョン対応
  
  • モデル検証や効果測定などかなり便利
  • モデルに問題があったら、すぐに切り戻せる
• containerベース設計なので、スケールしやすい

Tensorflow Serving概要

• Loader
  
  • Loaderファイルシステムモデルをload/unloadという役割。
• Version Manager
  
  • modelのバージョン管理の役割。
• Servable Handler
  
  • こちらの部分にはモデルを利用し、実際の計算・予測を行う部分です
• Client Side
  
  • こちら部分はクライアント用の専用インターフェースになります。２つインターフェス、REST APIとgRPCが用意されるので、使いやすさと外部システムの連携には良いと思います。

Tensorflow Servingを動かしてみる

docker pull tensorflow/serving

docker pull tensorflow/serving:latest-gpu

docker run -t --rm -p 8501:8501 -p 8500:8500 \
-v "$SAVED_MODEL_PATH:/models/$MODEL_NAME" \
-e MODEL_NAME=$MODEL_NAME \
--name tf-serving tensorflow/serving

docker run -t --rm -p 8501:8501 -p 8500:8500 \
-v "$SAVED_MODEL_PATH:/models/$MODEL_NAME" \
-e MODEL_NAME=$MODEL_NAME \
--gpus all
--name tf-serving tensorflow/serving:latest-gpu

• SAVED_MODEL_PATH
  
  • Tensorflow modelを保存したパス
• /models/$MODEL_NAME
  
  • こちらはTF serving Loaderがデフォールトで、モデルを探す場所。基本的に、docker側はHOST file systemからこちらのパスにマッピングする

-e TF_CPP_MIN_VLOG_LEVEL=1

curl -d '{"instances": <FEATURES>}' \
  -X POST http://localhost:8501/<MODEL_VERSION>/models/<MODEL_NAME>:predict

Tensorflow Servingの性能調査

• CPU : AMD Ryzen 2600x
• Memory : 32 GB
• OS : Arch Linux
• GPU : Nvidia GTX 1080 Ti
• Tensorflow 2.3

• 大規模モデルと小規模モデル
• GPUとCPU

Resnet50モデルの検証

avg req time: 52.0389 ms
max req time : 58.445 ms
min req time : 48.04 ms
median req time : 51.6385 ms

avg req time: 13.6731 ms
max req time : 15.166 ms
min req time : 12.181 ms
median req time : 13.73 ms

簡易モデルの検証

Model: "sequential_5"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense_15 (Dense)             (None, 100)               30100     
_________________________________________________________________
dense_16 (Dense)             (None, 50)                5050      
_________________________________________________________________
dense_17 (Dense)             (None, 1)                 51        
=================================================================
Total params: 35,201
Trainable params: 35,201
Non-trainable params: 0

model.save(<PATH>)

from __future__ import print_function

import requests
import numpy as np

# The server URL specifies the endpoint of your server running the ResNet
# model with the name "resnet" and using the predict interface.
SERVER_URL = 'http://localhost:8501/v1/models/test-model:predict'

def main():
  # Compose a JSON Predict request 
  req_feature=np.random.rand(1,300).reshape(1,-1).tolist()[0]
  predict_request = '{"instances" : [%s]}' % (req_feature) 

  # Send few requests to warm-up the model.
  for _ in range(3):
    response = requests.post(SERVER_URL, data=predict_request)
    response.raise_for_status()

  # Send few actual requests and report average latency.
  total_time = 0
  num_requests = 1000
  all_req_time=[]
  for _ in range(num_requests):
    response = requests.post(SERVER_URL, data=predict_request)
    response.raise_for_status()
    req_time=response.elapsed.total_seconds()
    total_time +=req_time 
    all_req_time+=[req_time]
    prediction = response.json()['predictions'][0]
    print(prediction)

  print('avg latency:', np.mean(all_req_time*1000))
  print('max req time :',np.max(all_req_time*1000))
  print('min req time :',np.min(all_req_time*1000))
  print('median req time :',np.median(all_req_time*1000))

if __name__ == '__main__':
  main()

avg latency: 0.0007489 ms
max req time : 0.000852 ms
min req time : 0.000678 ms
median req time : 0.0007455 ms

avg latency: 0.00107 ms
max req time : 0.001242 ms
min req time : 0.000986 ms
median req time : 0.0010575 ms

まとめ