AI 기반 음식 잔반 분석 시스템 - 발표용 핵심 내용
1. 기술적 과제와 해결책
기술적 과제
- 정확한 음식량 측정: 단일 이미지에서 3D 정보 없이 음식량을 정확히 측정하는 어려움
- 다양한 음식 유형: 색상, 질감, 형태가 다양한 음식들을 일관되게 분석해야 함
- 환경 요인: 조명, 카메라 각도, 식판 종류 등 변수에 강건한 시스템 필요
- 실시간 처리: 대량의 데이터를 빠르게 처리해야 하는 요구사항
해결 접근법: 다중 모델 융합
단일 방법론으로는 모든 과제를 해결할 수 없어, 상호 보완적인 세 가지 기술을 융합:
- 역투영 알고리즘: 음식 위치 파악 (2D 정보)
- MiDaS 깊이 추정: 음식 부피 계산 (3D 정보)
- ResNet 분류: 전역적 패턴 인식 (학습 기반)
2. 역투영 알고리즘: 음식 영역 분할
핵심 문제점
- 기존 세그멘테이션 방법(Mask R-CNN, U-Net 등)은 학습 데이터가 많이 필요하고 계산 비용이 높음
- 식판 내 음식 영역만을 정확히 분리해내는 효율적인 방법 필요
해결책: 색상 기반 역투영 알고리즘
- 원리: 참조 이미지(가득 찬 음식)의 색상 분포를 학습하고 대상 이미지에서 유사한 영역 검출
- 장점: 학습 없이 빠른 계산, 음식 종류에 관계없이 적용 가능
- 구현 흐름:
- HSV 색공간으로 변환 (RGB보다 조명 변화에 강건)
- 참조 이미지의 색상 히스토그램 생성
- 역투영으로 색상 유사도 맵 생성
- 임계값 적용 및 노이즈 제거로 음식 마스크 추출