2편에서는 MetricForest와 AI 기반 다단계 필터링을 통해 1-depth와 2-depth 계층 구조를 정확하게 탐색할 수 있게 되었습니다. "나의 네이버 유입이 어때?"라는 질문에 "채널별유입비율|naver|광고주"를 정확히 반환할 수 있었습니다.
하지만 실제 서비스를 하기에는 아직 많은 과정이 남아 있습니다.
GPT는 확신이 없으면 지표를 선택하지 않는 보수적 성향을 보였습니다. 특히 복잡한 분석 질문에서는 필요한 지표를 충분히 반환하지 않았습니다.
질문: "우리 사이트의 전반적인 성과를 분석해줘"
기대: 매출, 전환율, 유입 등 다양한 지표
실제: 총매출액 1~2개만 반환
우리가 보유한 지표는 한정적입니다. 사용자가 원하는 지표가 없을 때 단순히 "해당 지표가 없습니다"라고 답변하는 것은 좋은 사용자 경험이 아닙니다.
질문: "ROI가 어떻게 돼?"
보유 지표: ROI 없음, ROAS만 있음
기존 방식: "ROI 지표를 찾을 수 없습니다"
개선 방향: ROAS 같은 유사 지표를 함께 제공
이러한 문제를 해결하기 위해 두 가지 핵심 전략을 도입했습니다:
사용자 질문을 3가지 유형으로 분류하여 각각에 맞는 지표 선택 전략을 적용합니다:
단일 지표만 반환하지 않고, 관련 지표들을 함께 제공하여 더 많은 분석을 가능하게 합니다: