지난 2월 4일에 GPT 프로 구독 결재를 했는데 어느덧 한 달이 다 되어갑니다. 상당히 광범위한 주제에 대해 닥치는 대로 다 테스트 해봤는데 (지인들이 의뢰하는 것도 포함) 생각보다 실망스러운 경우도 있었지만 잘 쓸 경우 정말 뒤로 넘어갈 수준의 충격적인 결과를 내놓기도 합니다. 이에 대해 나름대로의 후기를 써보려 합니다.

1. 먼저 얘기할 사항
지난주를 기점으로 120회/한달 (플러스는 10회/한달)로 사용 제한량이 증가했는데 아직 120회 다 쓰지 못해서 여기 회원분들 대상으로 딥리서치에 물어볼 질문을 받아볼까 하는데 있으시면 댓글로 달아 주세요. 일단 5개 선착순으로 받고 답변 공유 드려 보겠습니다.
딥리서치에 질문하고 얘가 써주는 6페이지 짜리 보고서 읽는 것도 꽤나 머리 쓰는 작업이라 더 이상 질문하기가 좀 머리가 아프네요.....

수능 수학이나 과학 수준은 킬러 문제도 어린애 손목 비트는 정도로 가지고 논다는 게 증명되서 그건 질문 안 받습니다. 그리고 너무 밑도 끝도 없는 질문이면 제가 먼저 한번 좀 더 구체적으로 여쭤보고 그래도 너무 밑도 끝도 없으면 죄송하지만 그 다음 분 질문을 선택하겠습니다.

2. 작동 방식
- 프로 구독 유저 (120회/월), 플러스 구독 유저 (10회/월)에 한해서 입력창 밑에 망원경 모양으로 한글로 ‘심층 리서치’ 버튼이 생기게 되는 데 이걸 누르고 질문하면 됩니다. 모델을 뭘고르고 하던 의미가 없습니다. 알려진 바로는 아직 정식 출시 안된 추론 모델 full o3를 기반으로 돌아간다고 알려져 있습니다. o3-mini는 이미 출시가 됐습니다만은 o3-mini와는 거의 하늘과 땅 수준의 지능차이를 보입니다.
- 질문을 하면 유저의 질문 사항에 대한 chatGPT의 역질문이 나오고 (이건 개수 차감 안됨) 이것까지 입력하게 되면 연구가 시작되고 개수 하나 차감이 된 후에 평균 5~6분 정도의 시간 후에 한글기준 워드 6페이지 분량의 보고서가 나옵니다. 플러스에 풀리기 이전에는 10페이지 정도 뽑아 줬는데 이제는 워드 6페이지 분량이고 퀄리티도 예전에 비해서는 살짝 떨어졌습니다.

3. 성능
- 질문의 성격에 따라 많이 갈리지만 지식의 깊이에 대해서는 분야를 막론하고 대체적으로 해당분야 전문가의 평균 수준은 도달했다고 봐야 합니다.
- 같은 분야라도 정립이 아주 잘되어 있어서 학습할 거리가 많은 사안이면 전문가 평균 위고, 정립이 아직 덜 되어있고 학습할 거리가 많이 없는 사안에 대해서는 평균 아래라고 봐야 할 것 같습니다.
- 하지만 창의력과 인사이트는 해당분야 전문가 평균에 미치지 못하는 것으로 보입니다. 근데 솔직히 전문가들도 창의력 생각보다 별로인 경우는 많아서….
- 일단 수능 수학 문제는 완전 정복입니다. 이젠 수능문제 따위에 쓰기 아까울 정도의 지능입니다. 대학교 학부 수준 수학이나 전공 문제들도 아주 아주 어려운 문제 아니면 다 해치워 준다고 봐야 합니다. 일단 어느정도 정립이 잘 되어있는 분야에서 답이 명확하게 있는 문제는 틀리는 경우를 아직까지 ‘전혀’ 목격하지 못했습니다. 만약 틀렸다면 출제자가 문제를 잘못 만들었거나 인간이 만든 풀이가 틀린 게 아닌지 의심해봐야 할 정도의 정확도입니다.
- 수능 수학은 역대 수능 수학에서 정답률 가장 낮은 문제 중 하나였다는 2017년 수리 가형 30번 물어봐도 60초만에 어린애 손목 비트는 수준으로 해치웁니다. (이 문제는 o1 프로도 왔다리 갔다리 함). 임용고시 수학 증명 문제도 정확하게 한다고 합니다. (전공자가 정확하게 했다고 검증해줌)
- 기존 LLM들이 약했던 기하, 도형도 좌표 때려 박아서 무식하게 푸는 게 아니라 진짜 기하학적인 원리를 적용해서 풀어 냅니다.

2017년 수리가형 30번: https://chatgpt.com/c/67c39dfa-0b5c-8000-8cac-faf45af184bc
임용고사 수학 문제 (증명 포함): https://chatgpt.com/g/g-p-67a477335e8881919710293fd9203415-dibriseoci/c/67c017ec-8e10-8000-9c1f-b690753ffe0a

- 답이 어느정도 정해져있고, 이미 정립되어 있는 분야에 대한 문제인 경우 거의 99.9프로 정확하게 답을 내놓는다고 봐야 합니다. 어떤 분야 건 막론하고 그리고 상당히 까다롭고 어려운 문제라도…. 이걸 이용하면 이공계 연구직에서는 굉장히 파워풀하게 사용할 수 있다고 봐야 합니다. 여기와 연계해서 좀 더 자세한 얘기는 3.에서….
- 프로그래밍은 저한테는 수준 높은 프로그래밍이 필요하지는 않고, 생각보다 주변에 전문 프로그래머 분들이 없어서 테스트 표본이 부족하지만 기대치보다는 잘하는 거 같지는 않습니다. 완전 초반에 프로그램에 대한 전체적인 구조 잡을 때 유용할 수는 있어 보이는 데 사용하면서 발생하는 디테일한 에러에 대한 디버깅은 딥리서치 쓰기는 아깝고 생각보다 잘하지도 않는 것으로 보입니다. 현존 LLM 중에 프로그래밍 끝판왕이라는 클로드 3.7 쓰는 게 좋을 거 같습니다.
- 딥리서치 나온 후 ‘기획쪽은 이제 끝났다’라는 말이 있었지만 아직은 아닌거 같습니다. 새로운 분야이고 정보가 없을수록, 창의력과 인사이트가 필요할수록 실망스러운 결과를 보여 줍니다. 여기와 연계해서 더 자세한 얘기는 3.에서…


4. 어떻게 사용해야 할까?
4.1 이공계 or 사회과학 연구자들이 연구하는 도중에 내가 잘 모르는 분야에 대한 지식이 필요해서 해결해야 할 사안에 생겼을 경우.
- 어느정도 정립이 되어있는 분야의 지식으로 답을 낼 수 있을 것으로 보이나 본인이 잘 모르는 분야의 지식이고, 물어볼 사람도 딱히 없을 때 상당히 유용할겁니다.
- 예시로 지인의 부탁으로 특정 조건을 만족하는 인공위성의 궤도 찾고, 그와 관련된 추가 계산을 수행할 일이 있었는데 해당 분야의 전문가도 교과서+논문 이것저것 뒤적여야 답 줄 수 있는 specific한 사안에 대한 걸 깔끔하게 해결해줬습니다. 공짜로는 안 해줄 수준의 작업이라고 하네요. 나중에 시뮬레이터로 검증해보니 요구사항에 맞게 궤도 잘 찾아주고 추가적인 계산도 꽤 정확하게 해줬습니다. 공유하고 싶은 마음도 있는데 이건 의뢰자 연구 보안에 걸릴만한 사항이라 공유는 못할 것 같습니다.

4-2. 어렴풋이는 알고 있지만 트렌드를 잘 따라가지 못한 분야에 대한 동향에 대해 Follow up 하고 싶을 때
- 기존에 있던 지식을 정리해달라는 게 아니라 좀 모호한 질문 (미래 방향에 대해 예측해봐라, 뭔가 새로운걸 제시해봐라)을 할 경우에는 이미 그 분야에 대한 이해가 어느 정도 있다면 누구나 할 법한 뻔한 얘기를 많이 합니다.
- 하지만 그 분야 평범한 전문가 수준이 모두 알만한 내용은 정확하게 잘 정리 해줍니다. 해당 분야에 대한 트렌드를 잘 못 따라갔고 이해도가 낮은 상황에서 Follow-up 해야 할 상황일때 상당히 유용합니다. 아는 사람 통해서 물어봐도 구두로 말만 해주지 6페이지 정도의 보고서로 정리해 써달라 그러면 아무리 친해도 공짜로 엥간해서는 안 해줄 것이기 때문에 (솔직히 이런 요구를 공짜로 했다간 절연당할 수도…) 이 정도만 해줘도 매우 유용합니다.
- 이것도 밑도 끝도 없는 질문 말고 구체적으로 어떤 분야의 지식을 어느정도의 범위로 한정해서 정리가 필요한지 구체화가 필요합니다.
- 근데 아직도 open-access인 곳 말고는 출처를 제대로 못 긁어오고, 블로그 같은 곳에서 출처를 퍼오는 경우도 꽤 있어서, 내용 검증은 필요 합니다. GPT 검색엔진이 후진 것도 문제입니다. 그래서 정립이 아직 잘 안 되어있고 정보가 충분치 않은 사안에 대해서는 크로스 체크가 필요합니다. 어차피 reference를 달아 주기 때문에 크로스 체크가 어렵지는 않습니다.

5. 팁
- 질문을 좀 구체적으로 하는 게 좋고, 3,4 항목에서 이미 언급했지만 너무 창의성 요구하거나 고도의 인사이트가 필요하거나 밑도 끝도 없는 두리뭉실한 내용보다는 기존 지식을 활용해서 뭔가 구체적이고 꽤나 난이도 있는 작업을 시킬 때 가장 좋은 퍼포먼스를 보입니다.
- 딥리서치한테 질문하기 전에 좀 더 저렴한 모델한테 질문의 범위 및 구체적으로 어떤 작업을 시킬건지 먼저 어느정도 좁혀놓고 가는 게 좋습니다. 아예 대놓고 딥리서치한테 물어볼건데 어떻게 물어볼까?라고 해도 좋구요.
- 요구사항이 너무 길고 많으면 다 반영하지 못하는 느낌이고 요구사항의 각각의 항목이 길면 2~3개 정도, 짧으면 5개 정도 선에서 정리하는 게 좋습니다. 이전보다 답변길이가 짧아져서 짧게 5개 보다는 긴 요구사항 2~3개 정도로 하는 게 더 좋아 보입니다. 요구사항 개수에 맞게 chapter로 정리해서 답변하는 경향이 있음. 6페이지 보고서에서 chapter가 너무 많아 지면 요구사항마다의 깊이가 떨어질 수 밖에 없겠죠. 더 길게 해달라면 할 수는 있지만 억지로 분량만 늘려서 퀄리티가 떨어지는 느낌입니다.
- 프로 유저면 월 120개가량의 보고서를 다 읽고 (한 개당 6페이지라고 하면 720페이지) 질문하는 거만 해도 꽤 벅차기 때문에 그냥 딥리서치로 연속 질문 하면서 narrow-down 해가는 작업도 진행하는데 종종 써도 괜찮다 봅니다만, 플러스 유저면 고작 월 10개 이기 때문에 최대한 다른 모델로 질문을 잘 다듬어서 물어보는 게 좋습니다.
- 그리고 질문을 하게 되면 보고서 쓰기 직전에 역질문을 하는 데 이것도 잘 활용해야 합니다. 되묻는 거에 성의 없이 답변하지 말고 구체적으로 정해줘 보세요. 보통 유저가 너무 두리 뭉실하고 넓은 범위로 질문한 것에 대해 캐치하고 주제를 더 한정시키기 위해 물어보는 경우가 많습니다. 이 역질문을 보면서 저 스스로도 ‘내가 좀 너무 두리뭉실하고 명확하지 않게 생각하고 있었구나’라는 깨달음을 얻을 때도 있었음. 이미 답이 명확한 기존의 문제를 풀리는 거면 ‘이거 답있는 문제니까 shut up and calculate’이라고 해도 되지만…..


6. 가장 결과가 만족스러웠던 예시 3개 소개
저나 의뢰인이나 가장 만족했던 결과를 보였던 보고서에 대한 질문을 간략히 소개해봅니다. (구체적인 질문내용과 답변은 의뢰자나 저의 업무 보안 관련 사항이라 안됨. 공유는 해드리고 싶으나....)

사례 1 하기의 조건을 만족하는 인공위성 궤도를 찾아줘.
조건 1) 어쩌구 저쩌구 조건 2) 어쩌구 저쩌구 조건 3) 어쩌구 저쩌구
그리고 이 인공위성 궤도에서 이러저러한 상황에서 이러이러한 현상이 생길 수 있는데 이것에 대해서도 계산해봐.
현상 1) 어쩌구 저쩌구 2) 어쩌구 저쩌구 3) 어쩌구 저쩌구

사례 2 업체에서 견적이 왔는데 너무 비싸게 온거 같아. 이 프로젝트에 대한 개요와 견적 참부파일로 알려 줄 테니 견적을 협상할 근거를 마련해봐. 개인적으로 하기 항목에 대해서 이런식으로 협상했으면 해
1) 항목은 이런식으로 어쩌고 저쩌고 2) 항목은 이런식으로 어쩌구 저쩌구

사례 3 내 Boss가 ‘xx 제품’에 들어가는 어떤 요소에 대한 매우 난이도가 높은 시뮬레이션을 해보라고 했는데 조건과 상황은 다음과 같아.
상황 1) 어쩌구 저저구 상황 2) 어쩌구 저쩌구 상황 3) 어쩌구 저쩌구
조건 1) 어쩌구 저쩌구 조건 2) 어쩌구 저쩌구 조건 3) 어쩌구 저쩌구
SW A의 이러 저러한 Tool을 이용해서 (구체적으로 무슨 Tool인지 다 지정해줌) 어떤 식으로 시뮬레이션을 진행해야 할지 심도있고 구체적으로 가이드 해줘. SW B는 이 목적에 딱 맞는 SW는 아니지만 A에 비해서 이러저러한 장점이 있다고 하는데 우리의 조건에서 이 SW B에서 시뮬레이션 할 방법이 있는지 심도있고 구체적으로 검토 해줘.