처음에 Attention .. 논문을 읽고 computation 흐름, 특히 행렬연산 흐름을 정리했던 내용.
이후에 나온 인터넷 자료들 (The Illustrated Transformer, The Annotated Transformer) 의 내용/그림을 추가해 작성.
오랜만에 다시 보니 영 .. 설명이 별로다. 만들 때는 나중에 다시 볼 때 금방 생각나도록 신경 써 했건만.
첨부:
Transformer Matrices.pdf
0.60MB
'물질 두뇌 마음 인공지능... 이것저것 > Brain, Mind, & AI' 카테고리의 다른 글
| Mixtral - Mixture of Experts (MoE) Architecture (1) | 2024.01.14 |
|---|---|
| Probabilistic Programming (0) | 2017.09.14 |
| 인공지능의 여러 분파 (0) | 2017.09.09 |
| From Bacteria to Bach and Back: The Evolution of Minds (0) | 2017.08.08 |
| 옛날 생각, 지금, 앞으로는... (0) | 2017.07.08 |