🗞️ OpenAI의 차세대 시스템인 Q*(큐-스타)에 대한 추가 정보 유출 Q*는 복잡한 문제 해결 과정에서 발생하는 인간의 내적 사고 과정을 모방하여, 더 깊은 분석을 가능케 한다고 합니다. 이를 통해 복잡한 문제나 장기 계획에 대해서도 더 나은 의사 결정을 내릴 수 있다고 합니다. Q*는 전통적인 토큰 예측 방식이 아닌, 에너지 기반 모델(EBM)을 사용한다고 하는데요. 간단하게 설명하자면, 주어진 질문에 대한 응답의 적합성을 스칼라 값으로 평가하고, 이 값을 응답의 "에너지"로 하여, 에너지가 낮으면 적합성이 높고 (좋은 답변), 에너지가 높으면 적합성이 낮은 (나쁜 답변) 것으로 평가하는 방식입니다. 따라서 Q*는 가능한 답변을 전체적으로 평가하기 때문에, 토큰의 순차적 예측을 넘어 프롬프트에 대한 답변의 기본적인 관련성과 적절성을 이해할 수 있게 됩니다. 여기서 Q*의 혁신은 텍스트 문자열의 공간이 아닌, 추상적 표현 공간 내에서 최적화 과정이 이루어진다는 데 있다고 하는데요. 기본적으로 경사 하강법을 적용하여 프롬프트와 관련하여 가장 낮은 에너지를 생성하는 표현을 점진적으로 찾는다고 합니다. 그 다음, 최적의 추상적 표현을 찾아내면, Q*는 자동 회귀 디코더(GPT)를 사용하여 이를 일관된 텍스트 응답으로 변환하여 사용자에게 제공합니다. 아주 정확한 비유는 아니지만, 마치 GPT-4 Vision이 이미지를 텍스트로 설명하는 과정과 유사한 방식이라고 보면 될 것 같습니다. 이 설명을 보면서 OpenAI가 최근에 내 놓은 동영상 생성 모델인 Sora가 생각났는데요. 이 유출된 내용이 맞다면 아마도 Sora는 Q*를 연구하면서 만들어진 부수적인 결과물이 아닐까 싶습니다. 아무튼, 이 설명에 따르면 이제 정말로 인간의 사고 과정을 모방한다는 말이니 정말로 AGI가 나올 날도 얼마 남지 않은게 아닐까 싶습니다. 며칠 전 진행된 Sam Altman의 인터뷰에 따르면, GPT-4의 다음 버전을 뭐라 부를지 정해지진 않았지만, GPT-3에서 GPT-4 정도 수준의 큰 변화가 있을 것이라고 예고 했는데요. 이에 따르면 유출된 이 내용이 진짜일 수도 있지 않을까 싶습니다. 여러 소식통에 의하면 이 다음 버전은 2분기 후반이나 3분기쯤 출시 될거라는 루머가 있는데요. 관객석에 있는 저는 그동안 팝콘이나 한빠께스 튀기고 있어야겠습니다. 😎🍿🥤

서울대에서 강의하는 프로그래밍 강의의 방식을 올 해 완전히 바꿨다. — 👨🏻‍🏫 이전 방식 1. 기초 문법을 상세하게 알려준다 2. 샘플 프로그램을 한글자 한글자 따라서 입력하고 실행한다 3. 샘플 코드의 특정 부분을 수정해본다 👩🏻‍💻 현재방식 1. 기본 개념을 알려준다 2. AI(ChatGPT, Gemini, Claude)와 코딩하는 법을 알려준다 3. 샘플 프로그램의 범위를 알려주고 원하는 것을 AI와 함께 만들고 실행해본다 4. AI가 생성한 코드에서 궁금한 내용을 물어본다 5. AI와 함께 추가 기능을 더해본다 — 이렇게 했을 때의 장점은 이렇다 1. 실습 시간을 훨씬 많이 확보 할 수 있다 2. 코드 작성보다 몇 배나 중요한 디버깅하는 연습을 제대로 할 수 있다 (AI가 완벽히 의도한 코드를 작성해주진 않으므로) 3. 무엇보다 프로그래밍이란 코드 쓰는 법을 배우는게 아니라, 원하는 프로그램을 만드는 것이라는 인식을 심어줄 수 있다 (재밌다) 프로그래밍 뿐 아니라 앞으로 모든 교육이 이런 방식으로 바뀌어야(바뀌게) 되지 않을까 싶다.