Learning & Reasoning/Math Revisit 14

시그마, 다변수 미적분, 확률, Matrix Calculus

전공책을 보면 다변수 식(Multi variables expression)에 시그마 ∑가 씌어지고 [참고], 또 여기에 미분/편미분이 적용되고, 확률/random process operator가 있고, Matrix Calculus 형태로 된 것을 종종 접한다. 일반 상식인 우리나라 학생들 수학 실력이 좋다는 말이 실감나지 않을 때가 있다. 배웠다고 하는데 시켜보면 모르고, 계산하면서도 그게 무슨 뜻인지 모른다. 대입 수능 수학 시험를 보니 비슷한 문제가 있고, 어느 정도 풀 수 있었기에 대학에 올 수 있었을 터인데 왜 이런지? ∑ , 미분등이 섞여있는 식에서 어떤 것이 변수고, 어디까지 변수로 보아야 하고, 그들에 수학 operation을 어떻게 적용해야 하는지 어려워한다. 아래 함수 f(x)의 미분을 ..

Implicit Differentiation

AI 수학 ■ Implicit (Partial) Differentiation[Khan의 Implicit Differentiation]대학 때 부터는 미분을 implicit한 방식으로 많이 풀면서도 엄밀하지 않은 방법으로 했다. Differential operation (operator 인가?)을 사용해 마치 dx, dy를 분자, 분모 같이 사용할 때는 부정행위하는 것 같고 께름찍하다. 함수 생각 :위와 같은 식이 있으면, h 라는 함수가 있는데 이 함수는 변수 x, y 에 좌우된다는 뜻임을 명확히(explicit) 나타낸다. 따라서 b, w, a 는 상수임을 안다. 함수 h에서 y는 고정하고 x 만 변화할 때의 미분은 함수 h에서 y만 변화할 때의 미분은 하여 구한다. 그런데, 함수 h(x, y)를 종속..

Multi variable 미적분 - Differentials and Gradients

Ref : Differential과 Derivative의 차이는? 어떻게 이해해야 하나? ■ Differentials z = f(x, y). If △x and △y are the increments of x and y, then the increment of z is △z = f(x + △x, y + △y) - f(x, y) Definition: If z = f(x, y), then f is differentiable at (a, b) if △z can be expressed as, If z = f(x, y), then f is differentiable at (a, b) if the partial derivatives fx and fy exist and are continuous at (a, b) Fo..

극한으로 가면

후배가 "형, 0과 1 사이의 수가 1과 ∞ 사이의 수 만큼 된다고 어떻게 설명하면 될까나?" 글쎄... "1과 ∞ 사이의 수들은 1/x 하면 0과 1 사이에 들어오잖아" 그렇지. 그 좁은 사이로 그 뒤의 그 큰 범위내의 수 개수 만큼 어떻게 들어가나? 1뒤의 모든 수를 1/x 하고 거기에 1 더하면 1과 2사이에 들어가고, 그 수들도 다시 1/x하면 다시 0-1 사이에 들어간다는 얘기인데... 계속 싸이클을 도네. 이런 것 closed form이 있나? 고등학교에서 극한, ex에 대해 배울 때 생각이...문제는 f'(x)를 구하려는데 f'(0)가 오히려 필요한 점. 그런데 f'(0)에는 더 이상 x가 안보임. f'(0)의 극한이 0/0 형태인데 극한값이 존재할까? 존재한다면 위 f'(0) 식에서 보이듯..

Applications of Eigenvalues and Eigenvectors

Eigenvalue/Eigenvector는 어디서나 보인다. 전자공학, 전산학은 물론, 과학, 공학, 사회, 경제 분야에서 널리 쓰인다 (참고, 구글). 여러 버젼이 있지만 아인슈타인에게 어떤 미녀가 묻기를 "상대성이론에서 시간이 빨리 가기도 한다던데, 그게 예쁜 미녀와 얘기하면 시간이 빨리 가는 것과 비슷한 원리라고 하던데요" 아인슈타인이 말하길, "바로 그것입니다"전공, 과학, 기술에서 어떤 것은 정말 필수 기본 교양이라 이것을 모르고 어떻게 그 분야를 한다고 할 수 있을까 하는 그런 지식이 있다. Eigenvalue/Eigenvector가 그 중 하나다. 이의 숙달없이 인공지능을 말함은 한국말, 한글도 모르는 사람이 우리말로 시를 짓는다는 것과 같다. 그들이 얘기하는 수준은 앞의 미녀가 이해하는 상..

Eigenvalues and Eigenvectors (고유값과 고유벡터)

A가 n×n matrix 일 때, Ax = λx 를 만족하는 0 이 아닌 벡터 x∈Rn , scalar λ가 존재하나? 만약 x, λ가 존재하면; - A의 column들을 x의 entry를 weight 삼아 linear combination한 결과가 x를 λ로 scale 한 것과 같다는 뜻. - 벡터 x를 matrix A로 linear transform하면 x를 λ로 scale 한 것과 같음 - A의 row들과 x가 inner product 하면 λx 와 같다는 뜻 ■ Introduction Definition of eigenvalue and eigenvector Let A be an n x n square matrix. The scalar λ is called an eigenvalue(고유값) of A..

Determinants

Ref:Khan AcademyWolframWikibook ■ Definition of Determinant* determinant of 1 × 1 square matrix A = [a] is defined to be det(A) = a Determinant는 n × n square matrix를 scalar 로 변환하는 mapping이다. Square matrix A의 determinants를;det(A), det A, 또는 |A| 로 나타낸다. (|A| does not mean the absolute of A here) 위 정의에서 A1j 는 A의 submatrix로서 A matrix의 1번 row와 j번 column을 제거하고 남은 matrix이다. 위의 경우처럼 반드시 첫째 row를 기준으로 구하지..