상반된 리뷰를 하나의 제품 속성으로 묶어 검증하는 법

"넓어서 좋다"는 리뷰가 12건, "좁아서 아쉽다"는 리뷰가 11건 있다고 해볼게요.따로 보면 하나는 칭찬이고 다른 하나는 불만이에요.하지만 둘 다 고객이 '크기'를 판단 기준으로 삼았다는 점에서는 같습니다.

핵심만 먼저상반된 표현은 서로 다른 주제가 아니라 같은 속성에 대한 다른 평가일 수 있어요.먼저 '크기·무게·두께'처럼 속성으로 묶고, 그 안에서 긍정·부정·혼합으로 나눕니다.속성의 중요도는 전체 언급 리뷰 수로, 불만의 크기는 부정 리뷰 수로 봐야 해요.두 숫자를 섞으면 순위가 왜곡됩니다.

둘을 '크기'라는 하나의 속성으로 묶으면 총 23건이에요.다만 크기가 23건 언급됐다고 해서 '크기 불만이 23건'인 것은 아닙니다.크기는 23건이 언급한 핵심 속성이고, 그중 불만은 11건이에요.

리뷰 주제 순위를 만들었는데 실제로 느끼는 문제와 전혀 맞지 않았던 적이 있어요.표를 다시 살펴보니 크기 리뷰가 '넓다', '좁다', '크다', '작다'로 흩어져 있더라고요.각 표현을 하나의 '크기' 속성으로 묶자 순위가 완전히 달라졌습니다.

아마 이런 경험, 한 번쯤 있으실 거예요.

• 리뷰 주제 순위 1위가 실제로 느끼는 문제와 맞지 않았던 적
• 같은 크기 이야기가 '넓다'와 '좁다'로 흩어져 여러 칸에 나뉘어 있던 적

리뷰를 분석할 때 비율보다 먼저 확인해야 할 건 '무엇을 같은 항목으로 묶었는가'예요.

반대되는 리뷰를 왜 하나로 묶어야 할까?

고객이 평가한 대상이 같기 때문이에요.

"넓다"와 "좁다"는 반대되는 말처럼 보이지만, 둘 다 제품의 크기에 대한 반응입니다.적어도 그 리뷰를 쓴 고객에게는 크기가 만족과 불만을 가른 기준이었다는 뜻이에요.

가상의 리뷰 데이터를 다음과 같이 정리해볼 수 있습니다.

이 표에서 알 수 있는 사실은 두 가지예요.

• 크기는 총 23건에서 언급된 주요 제품 속성입니다
• 크기와 관련된 불만은 11건입니다

어떤 질문에 답하려는지에 따라 봐야 할 숫자가 달라져요.

긍정과 부정을 합치는 이유는 불만을 부풀리기 위해서가 아니에요.흩어진 표현을 하나로 묶어, 고객이 어떤 특성에 자주 반응했는지 보기 위해서입니다.

묶을 표현은 어떻게 정해야 할까?

리뷰를 세기 전에 '속성 사전'을 먼저 만들어야 합니다.

속성 사전은 서로 다른 표현을 어떤 속성으로 묶을지 정한 기준표예요.휴대용 매트의 리뷰라면 다음과 같이 정리할 수 있습니다.

가능하면 단어 하나보다 실제로 쓰인 표현을 기준으로 묶는 게 좋아요.'들고'라는 단어만 보고 무게 리뷰로 분류하면 "마음에 들고"까지 잘못 포함됩니다.

'생각보다'도 마찬가지예요.

• 생각보다 작다 ▸ 크기
• 생각보다 가볍다 ▸ 무게
• 생각보다 얇다 ▸ 두께

그래서 '생각보다'라는 단어 자체를 크기로 분류하면 안 됩니다.뒤에 어떤 표현이 이어지는지 문맥을 함께 확인해야 해요.

처음부터 완벽한 사전을 만들 필요는 없습니다.먼저 리뷰 30건 정도를 직접 읽으며 반복되는 표현을 모아보세요.그다음 임시 속성 사전을 만들어 전체 리뷰에 적용하면 됩니다.

분류 기준을 중간에 바꿔야 한다면 앞서 분류한 리뷰에도 같은 기준을 다시 적용하세요.앞부분과 뒷부분에 서로 다른 규칙을 쓰면 건수를 비교할 수 없어요.

긍정과 부정은 언제 나눠야 할까?

속성과 평가 방향을 서로 다른 기준으로 저장하는 것이 핵심이에요.

리뷰 한 건을 다음과 같이 기록할 수 있습니다.

• 속성: 크기
• 평가 방향: 긍정
• 옵션: 대형
• 근거 문장: "아이 둘과 앉아도 넉넉해서 좋아요."

먼저 이 리뷰가 무엇을 평가했는지 정하고, 그다음 평가 방향을 붙이는 방식입니다.

평가 방향은 세 가지로 나누는 것이 안전해요.

• 긍정 ▸ 해당 속성을 장점으로 평가한 리뷰
• 부정 ▸ 해당 속성을 불만으로 평가한 리뷰
• 혼합 ▸ 같은 속성을 두고 장점과 단점을 함께 말한 리뷰

예를 들어 다음 리뷰는 혼합에 해당합니다.

"넓어서 가족이 함께 쓰기에는 좋은데, 접어도 부피가 커서 보관하기가 불편해요."

한 리뷰에서 크기와 무게처럼 여러 속성을 언급했다면 각 속성에 한 번씩 넣을 수 있어요.다만 같은 리뷰에서 '넓다'를 세 번 반복했다고 크기를 세 건으로 세면 안 됩니다.리뷰 수를 기준으로 분석한다면 하나의 속성은 리뷰 한 건당 한 번만 세는 게 좋아요.

단어가 몇 번 등장했는지 셀 것인지, 언급한 리뷰가 몇 건인지 셀 것인지도 미리 정하세요.상품 개선에 활용할 목적이라면 보통 '속성을 언급한 고유 리뷰 수'가 이해하기 쉽습니다.

평가가 갈리는 기준은 어떻게 찾을까?

같은 속성 안에서 긍정과 부정이 함께 나온다면 두 평가를 가르는 조건을 찾아야 합니다.

주로 비교할 수 있는 기준은 다음과 같아요.

• 구매 옵션
• 리뷰 작성 시기
• 사용 목적
• 상품 개선 또는 리뉴얼 전후
• 구매 수량이나 구성

옵션 정보가 리뷰 파일에 포함돼 있다면 옵션부터 비교하는 것이 가장 쉽습니다.다만 옵션별 건수만 비교하면 안 돼요.옵션마다 판매량이나 전체 리뷰 수가 다를 수 있기 때문입니다.

아래는 분석 방법을 보여주기 위한 가상의 예시예요.

크기 불만은 대형 옵션에서 2건, 소형 옵션에서 9건 나왔어요.전체 리뷰 수도 함께 보면 불만이 소형 옵션에 몰려 있다는 패턴이 보입니다.

하지만 이것만 보고 "소형 옵션의 설명이 잘못됐다"고 바로 결론 내리면 안 돼요.가능성은 여러 가지입니다.

• 실제 소형 옵션의 크기가 사용하기에 부족할 수 있습니다
• 고객이 상세페이지에서 치수를 제대로 확인하지 못했을 수 있습니다
• 대표 이미지 때문에 실제보다 크게 보였을 수 있습니다
• 특정 사용 목적을 가진 고객이 소형 옵션에 몰렸을 수 있습니다

옵션별 차이는 원인을 찾기 위한 단서이지, 원인 자체는 아니에요.대표 불만 리뷰 원문과 상세페이지의 옵션 안내, 실제 규격을 함께 확인한 뒤 판단하세요.

갈리는 기준을 찾지 못했다면 억지로 이유를 붙이지 마세요.

"크기 언급 23건, 긍정 12건, 부정 11건, 평가가 갈리는 원인은 아직 확인되지 않음."

여기까지만 적는 것도 충분히 유효한 분석 결과입니다.

분석할 때 꼭 지켜야 할 기준

같은 데이터를 다시 분석했을 때 비슷한 결과가 나오려면 기준을 먼저 고정해야 합니다.

• 무엇을 세는지 정하기 ▸ 단어 등장 횟수인지, 언급한 고유 리뷰 수인지 구분하기
• 속성과 평가 방향을 분리하기 ▸ '크기'로 먼저 묶고 그 안에서 긍정·부정·혼합 나누기
• 같은 속성은 리뷰 한 건당 한 번만 세기 ▸ 표현이 반복돼도 건수를 늘리지 않기
• 옵션별 전체 건수를 함께 보기 ▸ 판매량이 다른 옵션을 건수만으로 비교하지 않기
• 적은 표본은 건수와 모수를 함께 적기 ▸ '80%'가 아니라 '5건 중 4건'으로 적기
• 분류 후 원문을 다시 확인하기 ▸ 대표 리뷰를 읽어 잘못 묶인 표현이 없는지 보기
• 원인 미확인도 결과로 남기기 ▸ 확인되지 않은 이유를 추측으로 채우지 않기

5분 안에 확인해볼 것

리뷰에서 서로 반대되는 표현 한 쌍을 골라보세요.'넓다'와 '좁다'를 골랐다면 다음 순서로 확인합니다.

1. 두 표현이 들어간 리뷰를 찾습니다.
2. 실제로 제품 크기를 말한 리뷰만 남깁니다.
3. 같은 리뷰가 중복되지 않도록 각각의 리뷰 수를 셉니다.
4. 두 표현을 '크기'라는 하나의 속성으로 묶어 합계를 적습니다.
5. 긍정·부정·혼합 건수를 따로 기록합니다.

그 합계가 기존 속성 순위의 1위보다 크다면 다른 항목도 같은 기준으로 다시 묶어보세요.여기서 비교하는 건 '불만 순위'가 아니라 '제품 속성 언급 순위'라는 점을 기억하세요.

이 데이터만으로는 말할 수 없는 것

크기가 리뷰에서 많이 언급됐다고 모든 구매자가 크기를 중요하게 봤다고 말할 수는 없어요.리뷰를 작성하지 않은 고객의 생각은 데이터에 들어 있지 않기 때문입니다.

옵션별로 차이가 나타났다고 옵션이 문제의 원인이라고 단정할 수도 없습니다.옵션별 판매량과 사용 목적, 상세페이지의 안내 방식이 함께 영향을 줬을 수 있어요.리뷰에 사용 목적을 적지 않은 고객이 많다면 목적별 분석도 전체를 대표하지 않고요.

또 데이터를 여러 그룹으로 나눌수록 각 칸의 건수는 빠르게 작아져요.5건 중 4건을 80%라고만 적으면 결과가 확실해 보이지만, 한 건만 달라져도 60%입니다.표본이 작을 때는 '4/5건'처럼 실제 건수를 함께 적어야 해요.리뷰하운드에서도 5건 미만인 항목은 비율보다 건수를 먼저 보여주는 편이 안전합니다.

내 상품은 어떨까?

지금 리뷰에서 정반대로 갈리는 표현이 있나요?그 표현들이 정말 서로 다른 문제인지, 같은 속성에 대한 반대 평가인지부터 확인해보세요.

하나의 속성으로 묶었다면 다음 질문으로 넘어갑니다.

• 총 몇 건의 리뷰에서 언급됐나요?
• 긍정·부정·혼합은 각각 몇 건인가요?
• 특정 옵션이나 작성 시기에 평가가 몰려 있나요?
• 옵션별 전체 리뷰 수까지 고려해도 같은 패턴이 보이나요?
• 대표 리뷰 원문은 어떤 이유를 말하고 있나요?

한쪽으로 쏠리는 패턴이 보인다면 그 옵션의 실제 규격과 상세페이지 설명을 함께 확인하세요.고쳐야 할 것이 제품인지, 옵션 설명인지, 아직 판단할 수 없는지를 가르는 것까지가 데이터 검증입니다.

반대되는 리뷰를 나누기 전에, 두 리뷰가 같은 속성을 말하고 있는지부터 확인해보시는 건 어떨까요.숫자를 세는 것보다 먼저 해야 할 일이니까요.

이어서 읽으면 좋은 글

• 가장 많이 칭찬받은 장점이 약점으로 바뀌는 순간 ▸ 양면성이 왜 위험한지예요.
• 핵심 장점은 지키고 불만만 줄이는 포지셔닝 ▸ 장점을 지키는 쪽이에요.