목록fastapi (1)

머신러닝이 머신데

모델 서빙 프레임워크를 비교해보자 [Flask vs FastAPI vs BentoML]

AI 모델 개발 파이프라인에서 모델을 개발하고 나면, 모델의 input-output을 맞는 형태로 감싸 통신해줄 서빙 프레임워크가 필요하다. AI 모델로 머리(뇌)가 생겼다면, 서빙 프레임워크를 붙여 귀와 입을 만들어줘야 한다. 모델 서빙 프레임워크란?웹 애플리케이션을 구축하고 클라이언트 요청을 처리하는 기능을 제공하는 소프트웨어 프레임워크.주로 HTTP 요청을 받아들이고, 적절한 응답을 생성하여 클라이언트(웹 브라우저, 모바일 앱, 다른 서버 등)에 반환하는 역할을 함.기존에 다양한 모델 서빙 프레임워크가 있는데, 파이썬 기반의 프레임워크를 보자면 많이 사용되는 Flask, 빠르다고 알려져있는 FastAPI, 마이크로 배치 프로세스로 기존 프레임워크들보다 모델에 더 최적화되었다고 알려진 BentoML이..
MLops 2025. 2. 4. 02:48
이전 Prev 1 Next 다음