AI-Only 운영 플레이북
웹 검색·리서치 에이전트 없이, AI 모델과의 대화만으로 조사·작성·검증을 진행하는 방침을 정리했어요
이 스터디의 방침 웹 검색·리서치 에이전트를 쓰지 않습니다. 모든 조사·작성·검증을 AI 모델과의 대화만으로 진행합니다. 목표가 "AI 기획자가 되는 것"이니, 도구부터 AI-native로 갑니다.
1. 먼저 알아야 할 위험 — 환각 위에서 토론하기
검색을 끄면 AI는 매출·MAU·투자금액 같은 숫자를 그럴듯하게 지어냅니다. 그것도 아주 자신 있게요.
이 상태로 을 하면 스터디 전체가 존재하지 않는 사실 위에서 진지하게 토론하게 됩니다. 8주 내내 헛것을 배우는 거죠.
그래서 원래 규칙을 이렇게 바꿉니다.
| 기존 규칙 | AI-Only 규칙 |
|---|---|
| 숫자 3개 + 출처 필수 | 숫자 3개 + 신뢰도 등급 필수 |
| DART·뉴스에서 확인 | 다중 모델 교차검증으로 확인 |
| 출처 없으면 발표 불가 | 등급 없으면 발표 불가 |
이게 손해처럼 보이지만 아닙니다. "AI가 준 답을 어디까지 믿을 것인가"를 판정하는 훈련은 AI 프로덕트 기획자가 매일 하는 일 그 자체입니다. 이걸 8주 동안 반복하면 그게 곧 설계 감각이 됩니다.
2. 신뢰도 등급 체계
모든 사실 주장에 등급을 붙입니다. 문서에 [A] [B] [C]로 표기하세요.
| 등급 | 기준 | 스터디에서 쓸 수 있나 |
|---|---|---|
| [A] 확신 | 여러 모델이 같은 답 + 상식·구조와 부합 + 모델이 근거를 설명함 | ✅ 논거로 사용 가능 |
| [B] 추정 | 방향은 일치하나 수치가 모델마다 흔들림 | △ "대략 이 정도 규모" 수준으로만 |
| [C] 환각 의심 | 모델마다 답이 다름 / 지나치게 구체적인데 근거를 못 댐 | ❌ 논거 사용 금지 |
발표 때 이렇게 말합니다.
"당근 MAU는
[B]1,500~2,000만 수준으로 추정됩니다. 2023년 흑자 전환은[A]고요. 광고 매출 비중 90%는[C]라서 논거에서 뺐습니다."
이 한 문장을 말할 수 있게 되는 게 이 스터디의 숨은 목표입니다.
3. 교차검증 3단 프로토콜 (검색 없이)
숫자나 사실이 나올 때마다 이 순서로 돌립니다. 3분이면 됩니다.
1단 — 다중 모델 대조
같은 질문을 서로 다른 모델 3개에 그대로 던집니다.
Claude / ChatGPT / Gemini — 답이 갈리면 그 자체가
[C]신호입니다.
당근마켓의 매출 구조를 알려줘.
숫자를 말할 때는 반드시 (1) 몇 년 기준인지 (2) 네 확신도가 몇 %인지 같이 써줘.
모르면 "모른다"고 답해. 추측을 사실처럼 쓰지 마.2단 — 역질문 (근거 심문)
같은 모델에게 되묻습니다.
방금 말한 숫자의 근거가 뭐야?
너의 학습 데이터에 실제로 있던 수치야, 아니면 유사 기업에서 추론한 거야?
둘 중 어느 쪽인지 솔직하게 구분해서 말해줘.얼버무리거나 말을 바꾸면
[C]입니다. 이게 가장 잘 먹히는 검증법이에요.
3단 — 반대 심문
방금 네가 말한 내용이 전부 틀렸다고 가정하고,
그 주장을 반박하는 근거를 최대한 강하게 만들어봐.쉽게 무너지면
[C]. 반박이 잘 안 되면[A]에 가깝습니다.
4. 회차별 AI 활용 프롬프트
그대로 복사해서 쓰세요. 각 프롬프트 뒤에는 반드시 3단 프로토콜을 돌립니다.
1회차 — 형용사 금지 훈련
내가 쓴 서비스 설명이야: "[여기에 내 문장]"
이 문장에서 아무것도 설명하지 않는 형용사를 전부 찾아내.
그리고 왜 그 단어가 무의미한지 하나씩 지적해줘.
대안을 대신 써주지는 마. 내가 다시 쓸 거야.⚠️ AI에게 대신 써달라고 하지 마세요. 지적만 받고 내가 다시 씁니다. 대신 써주면 훈련이 안 됩니다.
2회차 — BM 역기획
[회사명]의 비즈니스 모델을 분석해줘. 다음 형식으로:
1. 누구의 어떤 문제를 푸나 (형용사 금지, 한 문장)
2. 돈이 흐르는 경로 — 누가 → 누구에게 → 얼마를 → 왜
3. 관련 숫자 3개
→ 각 숫자마다 [A/B/C] 등급과 그 이유를 함께 써
4. 되돌릴 수 없는 결정 1개와 그 대가
모르는 건 "모른다"고 써. 지어내지 마.2회차 — 예측 봉인용 (검색·확인 금지)
[회사명]의 [N년] 시점 상황만 알려줘.
그 이후에 무엇을 했는지는 절대 말하지 마. 스포일러 금지야.
그 시점의: 주력 제품 / 매출 구조 / 경쟁 상황 / 알려진 고민그다음 AI 없이 혼자 예측을 씁니다. 이 예측만큼은 AI를 쓰면 안 됩니다.
3회차 — 예측 대조
[회사명]이 [N년] 이후 실제로 한 주요 의사결정을 시간순으로 알려줘.
각 항목에 [A/B/C] 등급을 붙여줘.
그리고 내 예측은 이거였어: "[내 예측]"
내 예측이 놓친 관점이 무엇인지, 냉정하게 지적해줘.
위로하지 말고.3회차 — AI 프로덕트 역기획
[AI 제품명]을 AI 기획 관점에서 분석해줘.
1. 이 회사는 이 AI 기능이 잘 되는지 뭘로 판단할까? (eval 추정)
2. AI가 틀렸을 때 UX가 어떻게 설계돼 있나?
3. 왜 AI여야 했나? 규칙 기반으로 충분한 부분은 어디인가?
4. 토큰 비용을 요금제로 어떻게 감당하나?
추정인 부분은 명확히 "추정"이라고 표시해.4회차 — PRD 작성 (⚠️ 사용법 주의)
AI에게 를 써달라고 하면 안 됩니다. 순서를 뒤집습니다.
[1단계] 내가 PRD를 먼저 씁니다. AI 없이.
[2단계] 그다음 AI에게:
내가 쓴 PRD야: "[전문]"
너는 이 기획을 반드시 반려시켜야 하는 심사위원이야.
다음을 집중적으로 공격해:
- "문제"가 관찰된 사실인가, 상상인가?
- "안 할 것"이 진짜 안 할 것인가, 나중에 할 것인가?
- "실패 조건"이 실제로 발생 가능한 조건인가?
- 이 기능을 안 만들면 무슨 일이 일어나나?
대안을 제시하지 마. 공격만 해.5회차 — AI 페르소나 인터뷰
⚠️ 이 회차는 아래 5장을 반드시 먼저 읽으세요. 그냥 하면 망합니다.
너는 [구체적 인물 설정]이야.
예: "서울에서 자취 3년차, 월 250 버는 28세 직장인. 배달앱을 주 4회 쓴다."
규칙:
- 너는 새로운 서비스에 냉소적이다. 웬만하면 안 쓴다.
- 예의상 좋다고 말하지 마라. 관심 없으면 없다고 해라.
- 돈을 쓰겠다는 말은 진짜 쓸 것 같을 때만 해라.
- 내가 유도질문을 하면 "그건 유도질문이네요"라고 지적해라.
이제 내가 질문할게. 그 사람으로서만 답해.인터뷰가 끝나면 반드시 이어서:
역할에서 빠져나와서, 방금 내 인터뷰를 평가해줘.
- 내가 던진 유도질문은 몇 개였고 어떤 것이었나?
- 내가 아이디어를 노출한 순간이 있었나?
- The Mom Test 원칙을 어긴 지점은?이 뒷부분이 5회차의 진짜 산출물입니다. 답변 내용보다 내 질문의 품질을 보는 회차예요.
6회차 — 지표 설계
내 서비스의 North Star 지표 후보를 3개 제안해줘.
각각에 대해 반드시 함께 써:
- 이 지표가 오르는데도 사업이 망할 수 있는 시나리오
- 이 지표를 10배로 만들라고 하면 어떤 나쁜 짓을 하게 되는가
제안만 하고 고르지는 마. 내가 고를 거야.7회차 — 아이디어 공격
내 아이디어 원페이저야: "[전문]"
너는 이 아이디어에 투자하지 않기로 이미 결정한 투자자야.
왜 투자하지 않는지 가장 강한 이유 5개를 대라.
- 특히 "이 문제는 사람들이 돈 내서 해결할 만큼 아프지 않다"는 각도로
- 그리고 "이미 존재하는 대안으로 충분하다"는 각도로
격려하지 마. 나는 반박을 원해.8회차 — 회고
내 8주치 산출물이야: "[요약]"
1주차의 나와 8주차의 나 사이에 실제로 바뀐 것이 무엇인지,
문서에 드러난 근거만 가지고 짚어줘.
바뀌지 않은 것도 솔직히 말해줘.5. ⚠️ AI 인터뷰의 치명적 한계 (5회차 필독)
AI 페르소나는 진짜 유저가 아닙니다. 그리고 그 실패 방식이 하필 The Mom Test가 경고하는 바로 그것입니다.
| 진짜 유저 | AI 페르소나 |
|---|---|
| 관심 없으면 답장을 안 함 | 항상 성실하게 답함 |
| 자기도 자기 행동을 잘 모름 | 논리적으로 정연하게 설명함 |
| 돈 얘기에서 태도가 급변함 | 돈 얘기를 추상적으로 함 |
| 예상 못 한 맥락을 던짐 | 당신이 준 설정 안에서만 답함 |
핵심 문제: AI는 당신이 듣고 싶어 하는 말을 합니다. 아무리 냉소적으로 설정해도, 결국 당신이 만든 프레임 안에서 움직입니다.
그래서 이렇게 합니다
5회차를 "AI 인터뷰 vs 실제 인터뷰 1명" 비교 회차로 운영하세요.
- AI 페르소나 5명 인터뷰 (30분이면 됩니다)
- 실제 사람 딱 1명 인터뷰
- 두 결과를 나란히 놓고 발표
이렇게 하면 얻는 게 두 배입니다. 인터뷰 기법도 배우고, AI가 어디서 거짓말하는지도 배웁니다. 후자가 AI 기획자에게 더 중요합니다.
실제 1명이 정말 불가능하다면 AI만으로 진행하되, 발표 때 "이 결론은 AI 페르소나 기반이라 실제 시장 신호가 아니다"를 반드시 명시하세요. 그 한계를 아는 것까지가 학습입니다.
6. AI가 절대 대체 못 하는 것
이걸 아는 게 이 스터디의 마지막 수확입니다.
| AI로 되는 것 | AI로 안 되는 것 |
|---|---|
| 구조 파악, BM 추론 | 비공개·최신 실제 수치 |
| 문서 초안, 반박, 비판 | 진짜 유저의 지갑 |
| 페르소나 리허설 | 예상 못 한 맥락 |
| 아이디어 발산, 가설 생성 | 시장의 실제 반응 |
| eval 설계 보조 | 내 결정에 대한 책임 |
마지막 줄이 핵심입니다. AI는 선택지를 잘 늘어놓습니다. 고르는 건 여전히 사람입니다. 그리고 기획자는 고르는 사람이에요.
7. AI-Only 모드 운영 규칙 (기존 규칙에 추가)
| 규칙 | 왜 |
|---|---|
모든 사실 주장에 [A/B/C] 등급 표기 | 등급 없으면 발표 불가 |
[C] 등급은 논거로 사용 금지 | 환각 위 토론 방지 |
| 다중 모델 교차검증 최소 1회 | 모델 1개만 쓰면 그 모델의 편향을 그대로 물려받습니다 |
| PRD·원페이저는 내가 먼저 쓴다 | AI가 쓴 걸 다듬으면 기획 근육이 안 붙습니다. AI는 공격수로만 쓰세요 |
| AI에게 "대신 써줘" 금지, "공격해줘"만 허용 | 이 스터디의 가장 중요한 규칙입니다 |
| 매 회차 "AI가 틀렸던 순간" 1개 공유 | 8주 쌓이면 그게 곧 AI 신뢰 한계선 지도가 됩니다 |
8. 매 회차 5분 추가 코너 — "AI 오답 노트"
체크인 때 한 사람당 1분씩.
"이번 주에 AI가 나에게 자신 있게 틀린 말을 한 순간"
8주 모으면 이런 게 남습니다.
- 어떤 종류의 질문에서 AI가 잘 틀리는가 (구체적 수치, 최근 사건, 비공개 정보)
- 어떤 프롬프트가 을 줄이는가
- 내가 어떤 걸 검증 없이 믿는 경향이 있는가
이 노트가 8주차에 가장 값나가는 산출물이 됩니다. AI 프로덕트를 기획할 때 그대로 쓰이거든요.