[ML] 모델 저장/서빙/FastAPI

1. 모델 저장

TensorFlow 모델을 저장하는 예제를 제공합니다. 모델을 저장할 때 TensorFlow SavedModel 형식을 사용할 수 있습니다.

import tensorflow as tf

# 모델을 학습하고 저장
model = tf.keras.Sequential([...])  # 모델 정의
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5)
model.save("my_model")  # 모델 저장

2. 모델 서빙

TensorFlow Serving을 사용하여 모델을 서빙합니다. TensorFlow Serving은 모델을 불러와 예측 요청을 처리할 수 있는 서버를 제공합니다.

docker run -p 8501:8501 --name=tf_model_serving --mount type=bind,source=/path/to/saved_model/directory,target=/models/model_name -e MODEL_NAME=model_name -t tensorflow/serving

HOW?

• Docker 이미지 사용(Docker 이미지: 실행 가능한 컨테이너의 템플릿)

  3. API 구축

FastAPI를 사용하여 API를 구축합니다. FastAPI는 빠르고 간단한 방식으로 API를 구현할 수 있는 Python 웹 프레임워크입니다.

from fastapi import FastAPI
import requests

app = FastAPI()

@app.get("/predict")
async def predict(text: str):
    # API 요청을 TensorFlow Serving 서버로 전달
    response = requests.post("http://localhost:8501/v1/models/model_name:predict", json={"instances": [text]})
    prediction = response.json()

    return prediction