:: GPT 4.5와 지능이론 그리고 한국의 미래 ::

GPT 4.5가 나왔습니다. 기본모델이죠. GPT 4 이후로, 약 2년만입니다. 비용은 매우 많이 들어가고, 그러나 성능 향상은 대단치 않은 듯합니다. 벤치마크는 결국 o2 o3 o4 추론모델에서 보여줄 것 같습니다.

이미 빅데이터는 다 학습시켜서, 더이상 발전하기 힘들다는 얘기가 있었죠. 스케일에 창발성이 있다면서, 기대를 하는 사람들이 있었습니다. 그러나 스케일 대비 성능향상이 대단치 않은 듯합니다. 아마 비용을 줄인 GPT 4.5o가 앞으로 나오겠지만, 한계는 보여준 것 같습니다.

이제 계속 증류 등을 통해 비용을 줄여갈 테고, 기본모델에 이것저것 덧붙여서 추론모델을 발전시킬 것이고, 보다 많은 위임을 하고 도와주는 에이전트가 나올 것입니다. 그에따라 효용을 늘려가고, 수익을 만들려 할 것입니다.

즉 앞으로 특별한 일은 없고, 그저 예상할 수 있는대로 흘러갈 듯합니다. 기본모델의 성능한계는 두 가지로 요약되는 듯합니다. 하나는 데이터의 한계입니다. 이미 질좋은 데이터는 거의 싹 긁어모은 거라 이해합니다. 데이터가 더 없습니다. 학습시키면 오히려 성능이 더 떨어지는 그런 데이터야 많습니다만, 그걸로는 곤란합니다.

다른 하나는 트랜스포머의 한계입니다. 알고리즘의 한계이고, 지능이론의 한계입니다. 기본모델은 트랜스포머 그 자체의 성능을 보여주는 것이고, 트랜스포머로 할 수 있는게 이 정도까지다라 할 수 있습니다. Scale is All you need. 라며 스케일을 강조하는 사람들이 있지만, 한계를 확실히 확인하게 되는 시점이 바로 지금 GPT 4.5가 될 것입니다.

이와 관련하여 몇 가지 생각을 간단히만 적어보겠습니다.  

(1) 디지털 경제는 한계비용 제로라면서, 유저수를 늘릴 때에, 비용은 거의 들지 않는다는 이야기가 있습니다. 그에 따른 비즈니스 특성이 있고요. 구글검색이나 페이스북이 이에 해당할 것입니다. 그러나 AI는 그런 특성이 약한 듯합니다. 유저가 늘면, 비용도 늘어납니다. GPT 4.5가 pro 사용자에게만 공개된 것도, GPU가 모자라서인 걸로 압니다. 곧 plus 사용자에게도 공개된다고 하지만, 비용에 부담을 갖는 건 맞는 것 같습니다.

(2) 낙관론자와 비관론자가 그동안 여러 목소리를 내왔습니다. 이제 비관론자들의 '제 말 맞죠?'란 얘기에 힘이 예전보다 더 실릴 듯합니다. 지금은 트랜스포머와 함께, 이미 있는 기술들을 잘 엮어서 어디까지 갈 수 있는지 해보고 있는 중이라 이해할 수 있습니다. 막대한 자본과, 뛰어난 인재들이 있습니다. 정치적으로도 커다란 관심을 받고 있습니다. 미국과 중국과 유럽을 읽는 주된 키워드가 AI가 되어버렸습니다. 지금으로도 세상에 큰 변화를 일으킬 수 있을 것입니다. 경제적으로도 큰 영향을 줄 수 있을 것입니다. 그러나 한계도 있습니다.

결국 알고리즘에 혁신이 있어야 합니다. 지능이론에 혁신이 있어야 합니다. 그것은 어쩌면 앞으로 100년안에도 창조되지 않을 수 있습니다. 불확실한 요소입니다.

(3) 과학기술이 성숙한 단계에 이르르면, 팔로워가 활약하기 유리한 거라 봅니다. 선두와 격차가 점점 벌어지는게 아니라, 오히려 좁혀질 것입니다. 다만 팔로워에게는 자본이 필요합니다. 실리콘과 전력, 그리고 인재가 필요합니다. 선두는 가만히 앉아서 비슷해져버리지 않을 것입니다. 어떻게든 해자를 만들어나가려고 할 것입니다. 그러나 그 해자라는게, 기존 기업과 계약에 의해서 만들어지는 거라면, 그 계약은 파기될 수도 있는 일이라 봅니다.

이를테면 지금 당장은 애플이 오픈AI나 구글의 것을 가져다 쓰더라도, 애플도 결국은 상당히 높은 성능의 AI를 스스로 만들어낼 테고, 그러면 계약파기입니다. 계약파기하는데 별 지장이 없는 정도로만 도입하고, 스스로 만들어낼 때까지 버티면 됩니다. 관건은 애플이 자본을 얼마나 쓰고 있는지가 될 것입니다. GPU와 인재를 얼마나 모으고 있는지일 것입니다. 일론 머스크의 경우에는 GPU를 많이 사들였고, Grok 3가 나왔는데, 이미 프론티어입니다.

그러므로 중요한 해자 중 하나는 자본 규모인 듯합니다. 트랜스포머를 이용한 기본모델의 한계가 있고, 해자를 만드는데 한계가 있고, 그러므로 자본 규모로 경쟁자를 줄인 뒤에, 그 안에서 극소수 기업들간 승부를 보는 것입니다.

인재도 중요한 해자라 할 수 있는데, 오픈AI의 샘 알트만이 언론과 접촉을 활발히 하면서,  미래 비전을 이야기하는 이유 중 하나는 자본을 모으기 위함이고, 다른 하나는 인재를 모으기 위함이라 봅니다. 뛰어난 인재들은 단지 돈에만 끌리지 않는다고 봅니다. 세상에 커다란 변화를 줄 수 있을 것 같을 때, 그것이 마음을 고양시키는데, 그게 바로 어느 기업에 들어갈지 결정하는데 큰 변수로 작용할 수 있는 거라 봅니다. 혁신적인 분야에 있어서 최선두에 있는 기업들이 갖는 강점이라 할 수 있을 것입니다. 그 기업이 스타트업이더라도 마찬가지입니다. 그리고 뛰어난 인재들을 모으면, 그 인재들이 다른 인재들을 끌어들입니다. — 뛰어난 인재는 뛰어난 인재와 일하고 싶어합니다.

마지막으로 이상한 얘기를 해보겠습니다. 현재 AI는 미국이 1위이고, 중국이 2위입니다. 프랑스가 AI에 투자를 할 생각인 것 같은데, 그러면 프랑스가 3위가 되지 않을까 싶습니다. 프랑스는 핵발전소가 있어서 유리한 점이 있습니다. 그리고 Mistral이라고 이미 인공지능이 있습니다. AI 4대천왕이라는 얀 르쿤 교수는 프랑스 사람입니다. 페이스북을 위해 일하고 있지만, 그를 통해 인재가 공급될 수도 있을 것입니다. 자본 투자가 필요할 뿐입니다.

앞서 트랜스포머로는 한계가 있고, 지능이론의 혁신이 있어야 한다고 했습니다. 별 근거없이 하는 얘기지만, 제 생각은 이렇습니다.

그 이론이 한국에서 나올 수도 있는 거라 봅니다. 그것은 꼭 현재 AI 논문을 얼마나 많이 내고 있는지로 좌우된다고 보기 곤란합니다. 현재의 논문들은 기존 패러다임내에서 여러 구체적 모색을 하면서 만들어지는 거라 봐야 합니다.

일부 미국인들은 그런 관점에서, 중국이 내는 논문들은 생각보다 그리 질이 좋지 않고, 논문인용도 자기들끼리 하는 것이고, 결국 그들은 우리것을 베껴다가 하는 거라 주장하는데, 그건 아마도 약간은 사실일 것입니다. 그런데 여기에 의문이 가해지는 것은, 그렇다면 미국은 순수히 자기들이 해낸 거냐는 것입니다.

이번에 AI로 노벨상을 받은, 제프리 힌튼 교수와, 데미스 하사비스가 있습니다. 각각 딥러닝의 아버지와 알파고의 아버지라 불리기도 하죠. 그런데 그들이 미국인인가요?

힌튼 교수는 캐나다 사람이고, 하사비스는 영국 사람입니다. 앞서 얀 르쿤 교수는 프랑스 사람입니다. 또다른 AI 4대천왕인, 요수아 벤지오는 캐나다 사람입니다. 다만 앤드루 응은 미국 사람이지만, 그의 부모가 홍콩 사람인 걸로 압니다. 중국계 미국인입니다.

오픈 AI를 대표하는 기술자로 일리야 수츠케버가 있었습니다. 캐나다인이죠. 오늘날 뛰어난 인공지능 알고리즘 상당수는 그 기원을 어느 독일인에 둘 수 있습니다. 위르겐 슈미트후버입니다. 무언가 새로운 알고리즘 논문이 나왔다고 하면, 알고보면 옛날에 그 사람이 했던 겁니다. 트랜스포머마저도 90년대에 그와 유사한 걸 그가 해낸 걸로 압니다. 그는 Fast와 Slow 개념을 가지고 만들었습니다. 그러나 당시에는 컴퓨팅 자원이 빈약했죠.

즉 미국도 갖다 쓰고 있는 거라 할 수 있는 것입니다. 이론과 알고리즘을 다른 나라 사람들이 만들어놓은 걸 갖다 쓰는 것이고, 나아가 아예 인재 자체를 미국으로 데려와서 쓰는 것입니다. 인재를 데려올 수 있는 이유는, 탁월한 인재들이 활약하기에 좋은 환경이 만들어져 있고, 또한 막대한 자본투자를 할 수 있기 때문인 것이죠. 자본투자가 가능한 이유는 주식시장이 발달해 있고, 벤처캐피탈이 발달해 있기 때문일 것입니다. 그리고 유럽보다 규제가 현저히 적기 때문일 것입니다. 그리고 미국에는 발전하고자 하는 열망과 자신감이 있기 때문일 것입니다.

즉 이론적 관점에서 볼 때, 논문수만 보고, 패러다임 전환을 미국이나 중국에서 해내리라 판단하는 건 적절성이 떨어진다고 봅니다. 새로운 지능이론과 혁신적인 지능 알고리즘은, 유럽이 해낼 수도 있고, 한국이 해낼 수도 있는 거라 봅니다.

제 생각에 한국은 지금이 전성기라 할 수 있습니다. 전성기에는 무언가 탁월한게 만들어질 수 있습니다. 창의성이 pressing에 의해서 만들어진다고 본다면, 미국과 중국 사이에 끼어있는 것도, 의미심장합니다.

제가 이 이상한 얘기를 별 근거도 없으면서 하는 이유는, 사람들이 너무 부정적인 생각만 하고 살아서는 좋지 않다고 생각하기 때문입니다. 긍정적인 생각도 활발히 해서 밸런스를 맞추고, 어느 정도는 낙관적인 기대감도 갖고 있는 게 좋다고 봅니다.

부정적인 생각이 많아지면, 능력이 떨어지게 됩니다. 잠재력이 발휘되기가 힘듭니다. 그뿐만 아니라, 사람들끼리 서로 다툼이 많아지게 됩니다. 이렇게 된게 누구탓이라면서 싸움이 늘어날 때, 그리고 혐오와 거짓이 늘어날 때, 그게 정말 위험한 거라 할 수 있을 것입니다. 부정적인 생각을 하는 이유는, 위험에 대처하기 위함인데, 부정적인 생각에 과몰입한 결과, 재앙이 일어날 가능성이 훨씬 더 커질 수 있는 것입니다.

아시아에서 무언가 근본적으로 창조적인 걸 해낸다면, 유력한 국가는 한국이라 봅니다. 한국은 아시아 국가 중에 가장 자유로운 나라라 봐도 과언은 아닐 것입니다. 중국이 자유롭나요? 일본이 자유롭나요? 이란이 자유롭나요? 러시아가 자유롭나요? 베트남이나 인도네시아는 어떻죠? 자유의 관점에서 한국이 아시아를 대표합니다. 식민지와 내전으로 폐허가 되었고, 수십년만에 산업화와 민주화를 모두 해낸 기적 같은 국가입니다. 문화도 발전하여, 현재 한국의 소프트파워가 전세계적으로 빛을 발하고 있습니다.

뿐만 아니라 한국은 열정이 있습니다. 그 열정이 소모적으로 쓰이기도 하지만, 아무튼 사람들은 에너지가 있습니다. 그건 마치 토양이 비옥한 것과 유사한 거라 봅니다.

그리고 중국, 일본, 러시아, 미국에 둘러싸여있고, 저 북쪽에 핵무기 개발한 폭력적인 세력도 있지만, 그런 압박감과 긴장감이 오히려 혁신을 자극하는 수도 있는 거라 봅니다. 사회 활력으로 보면, 유럽보다 한국이 유리합니다.

너무 급격한 발전으로 인해, 세대 갈등이 심하지만, 그러나 그걸 혼합이라 본다면, 그 안에서 특별한게 만들어질 가능성이 오히려 큰 것일 수도 있다고 봅니다. 시대적으로 세대적으로 문화적으로, 관성적 상태보다는 혼합된 상태에서, 특별한게 만들어질 수 있다는 거죠.

그리고 역사라는 건 이렇게 봅니다. 그것에는 운도 작용하는 거라 봅니다. 저 미국에서도 운이 작용하여 역사가 바뀐 걸 볼 수 있습니다. 몇 달 전에, 트럼프 대통령이 후보이던 때에, 총알이 귀에 스치는 일이 벌어졌습니다. 주먹을 들었고, 선거에 크게 승리했습니다. 그런데 만약 암살되었다면, 역사는 크게 바뀌는 거였다고 봅니다.

즉, 역사는 운으로 얻어걸리는 부분도 있는 것입니다. 불운일 수도, 행운일 수도 있는 것이고요.

미래를 예측할 때에는 어느 정도 운의 요소까지도 포함해서, 기대감을 가질 필요가 있는 거라 봅니다. 한국에는 운이 따를까요? 아니면 이대로 어떤 운도 없이 진행되는 걸까요?

저는 이렇게 봅니다. 한국은 운이 따를 것입니다. 한국에 지하자원도 없고, 토양도 비옥하지 않고, 외교는 너무 어려운 조건이고, 그렇다면 운이라도 따라줘야죠. 운이 따를 것이고, 관건은 그때에 그 운을 이로움으로 얼마나 만들어낼 수 있는지, 이를 위한 준비를 얼마나 할 수 있는지가 될 것입니다.