🐥 사주 서비스 실측 벤치마크 비교 v2 — 개인화 지표를 고치고 다시 쟀다

1. 무엇을 고쳤나 — 범용 boilerplate 자동 제거

v1의 personalizationScore()는 서로 다른 사람 리포트를 단어 bigram Jaccard 유사도로 비교했는데, 본문에 "모두에게 완전히 똑같이 나가는 고정 문단"이 섞여 있으면 실제 개인화 수준과 무관하게 유사도가 부풀려진다. 이걸 우리 서비스만의 특수 케이스로 손보지 않고, 어떤 서비스에도 똑같이 적용되는 범용 로직으로 고쳤다:

2. 재검증 결과 — 고쳐진 부분과 남은 부분

개선폭(0.62→0.68)은 있지만 순위는 그대로다. 즉 "개인화가 약해 보이는 게 순전히 측정 버그 때문"이라는 가설은 기각됐다 — 버그는 진짜 있었고 고쳤지만, 그걸 걷어내고 봐도 우리가 5곳 중 압도적으로 낮다.

3. 남은 격차의 진짜 원인 — 구조적 반복

문단 단위 boilerplate 다음으로 의심되는 건 헤더(소제목) 반복이었다. 우리 comprehensive 리포트는 10개 대분류 안에 【타고난 기질】·【행운의 숫자 · 색】처럼 5~8개씩 소제목이 있는데, 이 소제목 자체는 모든 유저에게 똑같은 문구로 나간다(내용은 달라도 "제목"은 같다). 이것도 걷어내고 재확인했다.

헤더까지 걷어내도 0.73으로, 경쟁사(0.92~0.99)와는 여전히 큰 차이가 남는다. 남은 원인은 구조 자체로 보인다 — 우리 리포트는 10개 대분류 + 그 안의 다단계 소제목이라는 정교한 뼈대를 모든 유저에게 동일하게 씌우고 그 안의 문장만 슬롯 조합으로 바꾸는 방식인데(§B, 슬롯 조합형 생성), 이 뼈대 자체가 경쟁사(4~7개 flat 카테고리, 소제목 없음)보다 훨씬 크고 반복적이라 구조적으로 유사도가 높게 잡힐 수밖에 없다.

4. 왜 여기서 멈췄나 — 지표 튜닝의 함정

5. 최종 결론

이건 사실 "나쁜 소식"이라기보다 트레이드오프다 — 같은 구조로 반복되는 뼈대가 있기 때문에 우리는 ①분량(9,378자, 6.5배) ②구체성(77회, 8.5배) ③근거제시(12종, 12배)에서 압도적으로 앞설 수 있었다(§v1 §3). 정교한 뼈대와 슬롯 조합형 생성이 밀도의 원천이면서 동시에 "구조적 유사도"의 원천이기도 한 것 — 이 지표 하나만 떼어서 "개인화가 약하다"고 결론 내리면 안 되고, 분량·구체성·근거제시와 함께 트레이드오프로 읽어야 정확하다.

실제로 콘텐츠 내용 자체(용신·신살·격국 판정, 슬롯 선택 결과)가 사람마다 크게 다르다는 건 이미 자체 구축 자산 인벤토리 §B에서 재현성(같은 사람=같은 결과)과 별개로 확인된 사실이다 — 이번 지표가 낮게 나온 건 "내용이 안 달라서"가 아니라 "뼈대가 커서"라는 게 이번 v2 조사로 분리된 결론이다.