별점과 리뷰 내용이 어긋나는 리뷰를 찾아내는 방법

"요즘 5점 리뷰인데 내용은 좀 애매해요."이 말을 들으면 저는 건수보다 먼저 기준부터 물어봅니다.

핵심만 먼저역접 표현으로 걸러낸 건 불일치 리뷰가 아니라, 문맥을 확인할 후보예요.별점이 향하는 방향과 본문 전체의 결론이 같은지를 읽고 판정해야 합니다.퍼센트를 말할 때는 기간과 분모, 판정 기준을 함께 남기세요.

"어디까지를 '별점과 내용이 어긋난 리뷰'로 셌나요?"

5점을 주고 '다만'이라고 썼다고 해서 모두 불일치 리뷰는 아닙니다.전체적으로는 만족하면서 작은 아쉬움을 함께 적었을 수도 있으니까요.

반대로 역접 표현이 없어도 별점과 본문의 방향이 완전히 다른 리뷰가 있습니다.

일주일 만에 고장 났어요. 다시는 구매하지 않을 것 같아요.

이 리뷰의 별점이 5점이라면 '그런데'가 없어도 명확한 불일치 후보예요.

아마 이런 경험, 한 번쯤 있으실 거예요.

• 리뷰가 좀 이상하다는 느낌까지는 갔는데 몇 건인지 못 세본 적
• 역접 표현이 들어간 리뷰를 세어놓고 실제 불만인지는 확인 못 한 적

중요한 것은 특정 단어가 들어갔는지가 아니에요.별점이 향하는 방향과 본문이 향하는 방향이 같은지를 확인해야 합니다.

먼저 '어긋난 리뷰'의 기준부터 정하세요

5점 만점 리뷰를 분석한다면 편의상 다음과 같이 방향을 나눌 수 있습니다.

• 4~5점: 긍정 평가
• 3점: 중립 또는 혼합 평가
• 1~2점: 부정 평가

다만 이것은 분석을 위한 출발 기준이에요.플랫폼별 별점 분포와 고객의 평가 방식이 다릅니다.실제 데이터에 맞게 조정해야 해요.

본문도 긍정 단어와 부정 단어의 개수를 세는 것이 아닙니다.글 전체의 결론을 기준으로 판단합니다.

여기서 중요한 점이 하나 있습니다.

5점 리뷰에 아쉬움이 적혀 있다고 무조건 어긋난 리뷰는 아니에요.고객은 장점과 단점을 모두 겪고도 전체적으로 만족하면 5점을 줍니다.

이런 리뷰는 강한 불일치가 아니라 조건부 만족으로 따로 분류하는 편이 정확해요.

고객이 왜 높은 점수를 주고도 아쉬움을 적는지는 이든의 글에서 다룹니다.

키워드는 판정이 아니라 후보를 찾는 도구예요

'그런데', '다만', '아쉽지만' 같은 역접 표현은 후보를 빠르게 찾는 데 도움이 됩니다.하지만 이런 표현이 들어갔다는 이유만으로 불일치라고 판정해서는 안 돼요.

색상은 마음에 들어요. 그런데 사진으로 보던 것보다 훨씬 예쁘네요.

'그런데'가 들어갔지만 내용은 오히려 긍정적입니다.

살짝 걱정했는데 생각보다 튼튼해요.

'살짝'과 '생각보다'가 들어갔지만 이 역시 긍정적인 리뷰예요.

반대로 다음 리뷰는 대표적인 부정 신호인데 역접 표현이 없습니다.

재구매는 하지 않을 것 같아요.

그래서 키워드 필터는 검토할 리뷰를 줄여주는 1차 선별 장치로만 써야 합니다.

출발점으로 쓸 수 있는 표현은 다음과 같아요.

상품에 따라 필요한 표현은 달라집니다.의류라면 사이즈와 비침, 수납용품이라면 내구성과 공간을 추가해야 해요.식품이라면 맛과 포장에 관한 표현이 필요하고요.

키워드 목록은 완성된 정답이 아니라 상품에 맞게 보완하는 검색 사전입니다.

엑셀에서는 어떤 순서로 찾을까?

리뷰를 엑셀로 확인한다면 다음 순서로 진행해보세요.

1. 분석할 기간을 먼저 정합니다

최근 30일, 90일 또는 최근 리뷰 500건처럼 범위를 고정합니다.

전체 누적 리뷰만 보면 과거의 긍정 평가가 최근 변화를 가릴 수 있어요.지난달과 비교하려면 기간 기준도 같아야 합니다.

2. 판정할 수 없는 리뷰를 분리합니다

별점이나 본문이 비어 있는 리뷰, 너무 짧아 판단하기 어려운 리뷰를 따로 뺍니다.

"좋아요", "잘 받았습니다"처럼 정보가 부족한 리뷰를 억지로 해석하면 결과가 흔들려요.같은 리뷰가 중복으로 들어왔다면 집계 전에 제거해야 합니다.

3. 별점 구간을 나눕니다

높은 별점 속 불만을 찾는 것이 목적이라면 45점 리뷰만 남깁니다. 전체 불일치를 보려면 45점, 3점, 1~2점을 각각 분리해 확인하는 편이 좋아요.

4. 키워드로 후보 리뷰를 표시합니다

역접이나 불편·고장·재구매 거부 표현이 들어간 행을 후보로 표시합니다.

이때 키워드별 검색 결과를 단순히 더하면 안 됩니다.한 리뷰에 '그런데', '조금', '아쉽다'가 모두 있으면 세 번 검색돼요.실제 리뷰는 한 건이니 리뷰 번호를 기준으로 중복을 제거해야 합니다.

5. 본문을 읽고 판정표를 붙입니다

후보 리뷰를 읽은 뒤 다음 중 하나로 분류합니다.

• 일치
• 조건부 만족
• 강한 불일치
• 평가 대상이 다름
• 판정 불가

이 판정표가 있어야 다음 달에도 같은 기준으로 비교할 수 있습니다.

키워드가 나온 비율이 불일치 비율일까?

가상의 데이터를 예로 들어볼게요.

이 경우 "고평점 리뷰의 11.6%가 불일치했다"고 말하면 안 됩니다.41건은 키워드로 걸러낸 후보일 뿐이기 때문이에요.

문맥을 확인한 뒤에는 다음처럼 표현할 수 있습니다.

최근 90일 동안 별점과 본문이 모두 있는 4~5점 리뷰 354건 중 27건(7.6%)에서 구체적인 아쉬움이 확인됐습니다.이 가운데 본문 방향이 별점과 반대인 강한 불일치는 6건(1.7%)이었습니다.

이 문장에는 네 가지 정보가 들어 있어요.

• 분석 기간
• 분석 가능한 전체 건수
• 판정 기준
• 실제 건수와 비율

퍼센트만 적는 것보다 훨씬 정확하고, 다음 달 데이터와도 비교할 수 있습니다.

명사가 아니라 고객이 겪은 경험을 묶어야 해요

후보 리뷰를 찾은 다음에는 반복되는 문제를 분류해야 합니다.이때 역접 표현 뒤에 나오는 명사만 세면 의미가 어긋날 수 있어요.

• "냄새가 났어요."
• "비닐 향이 강했어요."
• "개봉하자마자 쿰쿰했어요."

쓴 단어는 다르지만 모두 '개봉 직후 냄새'라는 같은 경험을 말합니다.

반대로 같은 단어라도 의미가 다를 수 있습니다.

• "얇아서 가볍게 들고 다니기 좋아요."
• "너무 얇아서 금방 찢어질 것 같아요."

두 리뷰 모두 얇다고 말하지만 첫 번째는 휴대성의 장점이에요.두 번째는 내구성에 대한 우려고요.

그래서 리뷰는 다음 세 요소를 함께 묶어야 합니다.

어떤 속성에서 + 무슨 경험이 있었고 + 어떤 조건에서 발생했는가

예를 들면 다음과 같아요.

• 개봉 직후 냄새
• 세탁 후 색 빠짐
• 대형 옵션의 수납 불편
• 장시간 사용 시 손잡이 통증
• 추운 날씨에서 접착력 저하

이렇게 묶어야 표현이 다른 리뷰도 하나의 문제로 집계할 수 있습니다.

리뷰 건수와 문제 건수는 어떻게 구분할까?

한 리뷰에서 두 가지 문제가 함께 언급될 수도 있습니다.

냄새도 심했고 손잡이도 금방 떨어졌어요.

이 리뷰는 불일치 리뷰로는 한 건이에요.다만 문제별 집계에서는 냄새 한 건과 손잡이 내구성 한 건으로 각각 셀 수 있습니다.

그래서 결과표에는 다음 두 숫자를 구분해서 적는 것이 좋아요.

• 해당 리뷰가 몇 건인가
• 해당 리뷰에서 언급된 문제가 몇 건인가

이를 구분하지 않으면 어떻게 될까요.리뷰 10건에서 문제 15개가 나왔는데 불만 리뷰가 15건인 것처럼 보입니다.

가장 많이 언급된 게 가장 위험한 문제일까?

반복 횟수는 중요하지만 빈도만으로 우선순위를 정해서는 안 됩니다.

포장 색상이 아쉽다는 리뷰가 30건이라고 해볼게요.과열 위험을 언급한 리뷰가 한 건이라면 먼저 볼 것은 과열 문제예요.

문제를 판단할 때는 다음 요소를 함께 봐야 합니다.

• 몇 개의 고유한 리뷰에서 언급됐는가
• 전체 리뷰에서 차지하는 비율은 얼마인가
• 최근 들어 늘었는가
• 특정 옵션이나 생산 시기에 집중됐는가
• 상품의 핵심 기능과 관련됐는가
• 안전·위생·파손처럼 심각도가 높은 문제인가

많이 나온 문제는 자주 발생하는 문제입니다.가장 먼저 고쳐야 할 문제인지는 별도의 판단이 필요해요.

AI로 분류해도 검증 기준은 남아야 해요

리뷰가 수백 건을 넘어가면 사람이 전부 읽고 분류하기 어렵습니다.이때는 AI로 후보 추출과 의미 분류를 자동화할 수 있어요.

다만 AI가 붙인 판정도 그대로 정답으로 쓰면 안 됩니다.

먼저 일부 리뷰를 사람이 직접 분류해 기준표를 만드세요.그다음 AI가 같은 기준으로 판정하는지 확인해야 합니다.특히 다음과 같은 문장은 잘못 분류되기 쉬워요.

• 반어법이나 비꼬는 표현
• 오타가 많은 문장
• 긍정과 부정이 섞인 긴 리뷰
• 제품과 배송을 따로 평가한 리뷰
• "안 불편해요"처럼 부정어가 긍정 의미로 쓰인 문장

처음에는 무작위로 뽑은 리뷰 50~100건을 사람이 확인해보세요.AI가 잘못 잡은 리뷰와 놓친 리뷰를 보고 판정 기준을 보완하면 됩니다.그래야 이후 집계의 일관성이 높아져요.

자동화의 목적은 사람의 판단을 없애는 것이 아니에요.같은 기준을 더 많은 리뷰에 적용하는 겁니다.

5분 안에 확인해볼 것

지금 전체 데이터를 분석하기 어렵다면 최근 4~5점 리뷰 50개만 먼저 보세요.

1. 역접·불편·재구매 관련 표현이 있는 리뷰를 표시합니다.
2. 표시된 문장을 직접 읽고 실제 아쉬움이 있는지 확인합니다.
3. 조건부 만족과 강한 불일치를 나눕니다.
4. 같은 의미의 문제를 하나로 묶습니다.
5. 몇 건 중 몇 건인지와 분석 기간을 함께 기록합니다.

예를 들어 이렇게 적으면 됩니다.

최근 4~5점 리뷰 50건 중 8건에서 구체적인 아쉬움이 확인됐고, 그중 4건이 '개봉 직후 냄새'를 언급했습니다.

이 결과는 전체 상품의 결론이 아니라 1차 점검 결과예요.같은 문제가 보인다면 기간을 넓혀 전체 리뷰에서 다시 검증해야 합니다.

이 데이터로 말할 수 없는 것

리뷰 분석은 고객이 직접 남긴 문장을 기준으로 합니다.리뷰를 쓰지 않고 떠난 고객의 경험은 포함되지 않아요.

또 리뷰 본문만으로는 다음 내용을 확정할 수 없습니다.

• 고객이 실제로 재구매했는지
• 문제 때문에 환불하거나 이탈했는지
• 문제의 원인이 제품·포장·배송 중 어디에 있는지
• 리뷰를 남긴 고객이 전체 구매자를 대표하는지

그래서 "구매자의 7.6%가 불만족했다"고 표현하면 안 됩니다.정확한 표현은 "판정 가능한 고평점 리뷰의 7.6%에서 아쉬움이 언급됐다"예요.

문제가 실제 구매 행동에 미친 영향은 문의·반품·교환·재구매 데이터로 확인해야 합니다.

숫자를 믿기 전에 판정 기준부터

별점과 본문이 어긋난 리뷰를 찾는 일은 특정 단어를 세는 작업이 아니에요.

키워드로 후보를 찾고, 문맥을 읽어 방향을 판정합니다.그다음 같은 경험끼리 묶고, 분모를 붙여 집계하는 작업이고요.

"그런데가 34번 나왔다"는 검색 결과입니다."고평점 리뷰 354건 중 27건에서 아쉬움이 확인됐다"는 검증된 데이터고요.두 문장은 비슷해 보이지만 판매자가 내릴 수 있는 판단은 전혀 다릅니다.

숫자를 믿기 전에 그 숫자를 만든 기준부터 남겨보시는 건 어떨까요.같은 기준으로 다시 셀 수 있어야 비로소 비교할 수 있는 데이터가 됩니다.

이어서 읽으면 좋은 글

• 5점 리뷰 속 경고를 상세페이지에 반영하는 방법 ▸ 카이가 반영할 자리를 정리했어요.
• 별점 4.9인데도 판매자가 안심하면 안 되는 이유 ▸ 왜 위험 신호인지 다뤄요.