Round Here

LLM Explorer LLM Explorer: A Curated Large Language Model Directory. LLM List. 20442 Open-Source Language Models. Browse 20442 open-source large and small language models conveniently grouped into various categories and llm lists complete with benchmarks and analytics. llm.extractum.io Chatbot Arena 서베이_@2023

처음에 Attention .. 논문을 읽고 computation 흐름, 특히 행렬연산 흐름을 정리했던 내용. 이후에 나온 인터넷 자료들 (The Illustrated Transformer, The Annotated Transformer) 의 내용/그림을 추가해 작성. 오랜만에 다시 보니 영 .. 설명이 별로다. 만들 때는 나중에 다시 볼 때 금방 생각나도록 신경 써 했건만. 첨부:

GPT-4의 아키텍쳐가 Mixture of Experts (MoE) 구조를 갖고 있다는 얘기가 퍼져 있었다. 여기 말대로 느슨한 (Loosely connected, 또는 Sparse) 한 전문가들의 연합으로 Monolithic 구조보다 더 나은, 더 효과적인 인공지능에 다가설 수 있을 것이라는 생각은 정말 오래 되었다. 내 대학원 당시에도 그랬다. 이는 지구에 있는 모든 고등 생명체의 지적 활동이 MoE 구조를 갖는 프로세서에 기반하는 사실에서도 감을 잡을 수 있었다. 문제는 늘, 어떤 전문가들이 어떤 경우에 필요하고, 이들을 어떻게 얻나 (개별 훈련, 함께 훈련)? 전문가들의 전문성/독립성 대비 compliance 특성을 어떻게 가져가야 하나? 이들을 어떻게 coordinate 해야 하나? 등등. 전혀..

85년 이래 인공지능을 했지만 지금처럼 정신없이 전진이 이루어지는 때를 본 적이 없다. 뭐니 뭐니 해도 가장 큰 놀라움은 Backprop에 바탕한 신경망에 적절한 구조, 크기, 데이터, 학습 방법이 결합하면 지금 우리가 보는 이런 모델들이 가능하다는 것. Backprop 말고 좀 더 쌈박한 학습 이론, 뭔가 새로운 구조 같은 것이 요구되지 않을까 했는데, 잘 못 생각한 것 같다. Backprop이 자연계의 진화에 사용되는 장치보다 비교 불가능하게 훨씬 효율적임을 알고는 있었지만, 이 정도로 universal한 방법인 것은 상상하기 어려웠다. ChatGPT만 해도 Turing test 급 능력은 아득히 넘어섰고, 실제 감각과 경험에 바탕한 World Model에 grounding 되지 않고 단지 글로 세상..

이제 진짜 인공지능을 활용한 프로그래밍 시대가 본격적으로 시작되는 중이다. 아직 다양한 AI assisted 코딩 플랫폼이나 이들을 깊게 많이 사용하진 않았지만 그간 경험으로도 새로운 시대가 도래하고 있다는 것을 알기에는 충분하다. 앞으로 10년~20년은 아니더라도 다음 세대 즈음이면 코딩 단계를 건너 띄고 AI에게 사람들이 사용하는 자연어로 새로운 task를 주문할 수 있을 것 같다. 글쎄, 정말 새로운 알고리즘이 필요하면 이를 좀 더 구체적으로 설명하는 것은 필요할 수 있겠지만. 물론, 그 때 즈음에도 사람이 새로운 것을 생각해 내는 것에서 AI보다 더 나아야 하겠지만. Copilot 같은 전용 도구말고도 지금도 Python같은 일반 프로그램에서 API를 활용해 일반 ChatGpt에 chain-of-..

are cats sentient? There is no definitive answer to this question as it is currently a topic of debate among scientists, philosophers, and animal welfare advocates. Some people believe that cats are sentient beings with the capacity to feel emotions and experience consciousness, while others believe that they are less complex and have a lower level of sentience than humans and other animals. Cat..

인공지능은 컬러로 꿈을 꿀까? 전에 (영화 Blade Runner의 바탕인) "Do Androids Dream of Electric Sheep?" 을 읽으며 "좀 쉽게 생각하자" 하며 만들었다. 사실 "컬러"는 의미없다. AI/안드로이드가 꿈을 꾸고 그가 그게 꿈이라는 것을 인지함은 무슨 뜻이지? 타자에 대한 공감(empathy)은 어떻게 생겨나지? 뭐가 요구되지? 우선, 그는 깨어있어야 (awake) 겠다. 무엇이 "깨어있다"는 말일까? 단순히 외부 자극에 대해 반응하면? 아니면 "이 세상/우주는 왜 있고 (이유가 있어야 하나?), 어떤 이치로 돌아가고 (우리가 이해하도록 있는 것은 아닐테고), 내 미래가 어떻게 그려지면 좋겠고 (나의 희망), 나는 어떻게 해야 하나 (나의 계획과 의지)" 이런 정도를..

인공지능의 주요 한 축인 확률 - 베이지언 네트워크 - 그래픽 모델/Reasoning 을 잇는 Probabilistic Programming의 Probabilistic Programming for Advancing Machine Learning (PPAML) 진행이 어떻게 되는지 궁금하다. 금년까지인데. Judea Pearl 교수님의 근래 영상. 20분 즈음부터 김진형교수님과 함께 했던 Belief Propagation 얘기를 하신다. 강의말고 보통 때도 Pearl 교수님이 이렇게 유머스러운지 궁금하다. Pearl 교수님의 Causality는 철학의 형이상학/인식론에서 고전으로 읽힌다는데. 철학에서 받기만 했는데 줄 수 있어 기분 좋다. 훌륭한 전통을 지닌 이 분야가 세상을 깜짝 놀라게 해 주기를 기대한..

강호 무림계에 여러 문파가 있듯 인공지능계도 그렇다. 한동안 기호문파, 베이지언 그래픽파 목소리가 크게 들렸는데 요즘은 신경망파에 찍 눌려있다. 페드로 도밍고스교수의 인공지능 다섯 지파 얘기 이후 인공지능 문파에 관한 여러 글이 보인다. 원래 인공지능의 문파는 이렇게 시작되었는데...We propose that a 2 month, 10 man study of artificial intelligence be carried out during the summer of 1956 at Dartmouth College in Hanover, New Hampshire. The study is to proceed on the basis of the conjecture that every aspect of learnin..

학생때 지도교수님이 자신의 지도교수님, 그리고 한 때 같이 일했던 동료 얘기를 몇 번 했다. 위너, 핏츠, 샤논. 폰 노이만, 튜링 얘기도 조금. 체 게바라가 한 때 싸이버네틱스에 관심이 있었다고 교수님이 얘기한 것 같은데... 인공지능과 사람 얘기. 이런 것 필요하지 않나? 위너, 예측 안되는 진짜 천재로 그 양반이 어떤 분야이건 몇 년 몸 담으면 새로운 이론이 나올 것이라 사람들이 말했다고.도밍고스교수의 "The master algorithm" 책 강력 추천. 딥러닝 논문 몇 편 보는 것 보다 더 의미있고 앞으로 힘이 될 수 있는 그런 글이라 생각한다. 재미도 있다. 유머, 위트가 철철 넘치고. 인공지능하는 사람이 이렇게 (야한 단어가 들어가면서 내용있고) 재미있는 글을 쓸 수 있다는 것을 보여준다 ..