Vector Spaces

Ref : 

Definition and Examples of Vector Spaces

Khan Academy

■ Vector Space

지금껏 Rⁿ  에서의 vector operation들을 보았다.  Vector addition, scalar multiplication property를 보면;

 

Rⁿ  에서의 vector, vector operation 개념을 확장(추상화)해 일반화한 vector, vector operation, & 그 벡터들로 된 set을 다음과 같이 정의한다.

* vector space V의 정의에 따르면 V는 벡터들로 구성된 집합으로 그 element인 vector가 어떤 모양인지, vector에 적용하는 "addition"과 "scalar multiplication"이 구체적으로 어떤 작업인지 규정하지 않고 있다.   

* note that vector space is a set with : vectors as its element, two operations (addition & scalar multiplication) can be defined for vectors. and the above 10 axioms hold.  어떤 vector space V를 규정하거나 언급할 때 vector들에 적용되는 addition과 scalar multiplication을 확실히 해 두어야 함.  단,  scalar는 보통 real number라 가정.

* R¹ (Real number) 은 확실히 vector space.  (just let u and v be any real number, and the axioms above hold using the usual addition and real number multiplication). 그러면 R의 basis는 어찌 되나?  어떤 vector space의 basis는 unique하다.  1이 R의 basis 될 수 있나?  R의 어떤 숫자(1-tuple 벡터)라도 1의 linear combination으로 만들 수 있으니 당연히 basis.  dimension은?  basis에 1개 element만 있으면 되니 1.   

* The set of integers is not a vector space.  ( 0.3 x 4 = 1.2 is not a integer : Closure under scalar multiplication violated)  

* 지금껏 보아온 Rⁿ  에서의 vector와 vector addition, scalar multiplication, closure 특성을 보면 Rⁿ 은 vector space.  Similarly, the set of all m x n matrices is a vector space.  

 

선형대수학에서 어떤 공간 (벡터들의 집합)이나 행렬을 다룰 때  Rⁿ 의 subspace 를 종종 다음 두 형태로 접하게 된다 : (1) as the set of all solutions to a system of homogeneous linear equations or (2) as the set of all linear combinations of certain specified vectors.

■ Subspace

n개 변수를 갖는 homogeneous system of linear equations 의 solution set, 원점을 통과하는 plane에 속한 vector들의 set이 그 자신 vector space이면서 R³ 에 속하듯이 어떤 vector space가 다른 (더 넓은 범위의) vector space에 속할 경우가 있다.  

If W is s subspace of V, this implies :

- W 는 벡터 공간이며 (즉, 벡터들을 element로 갖는 집합)

- W가 V의 subset (W의 모든 벡터들이 V에 있는 것이고)

- W의 벡터들에 대해서 V의 벡터들에 대해 정의되었던 vector addition, scalar multiplication 이 똑 같이 적용되고, 또 이 말은 W 에 대해서도 위 10개 axiom 들이 적용된다.

 

W가 V의 subspace임을 보이려면 :

- W가 V의 subset임을 보이고

- V의 vector addition, scalar multiplication에 따라 W에 대해 (즉, W의 벡터에 대해) 위 10개의 operation이 성립함을 보인다.

- 그런데, W의 벡터들은 V의 벡터이기도 하고, 이 벡터들에 대해 행해지는 vector addition과 scalar multiplication이 V 것이기도 하니 위 10개 axiom 중에 2, 3, 7, 8, 9, 10 axiom은 안될 수가 없고 자동적으로 따라오게 된다.  따라서 특별히 이 axiom 들이 동작함을 보이는 것은 필요없다.

- 문제가 될 수 있는 것은 1, 4, 5, 6 axiom 이다.  1번, 6번은 closure에 관한 것이다.  따라서, W 벡터들에 대한 vector addition과 scalar multiplication 벡터 또한 W에 속함을 보여야 한다.  

- W 에 대한 4번 axiom (There is a vector 0 in W such that u + 0 = u) 을 보여야 한다.  그런데, V의 zero vector 0는 하나였고, W는 V의 부분집합이기에 W의 zero vector가 있다면 그 zero vector는 V의 zero vector 이어야 한다. 

- W 에 대한 5번 axiom (For each u in W, there is -u∈W such that u + (-u) = 0 ) 을 보여야 한다. 그런데, 만약 W에 대해 6번 (closure under scalar multiplication) axiom이 성립하면 이 5번 axiom은 자연히 성립한다 - because for each u in W, we can multiply -1 to it and the resulting vector -u is in W and u + (-u) = 0

▶ 결과적으로, W가 V의 subspace를 보이려면;

＊Show that the W is a subset of V

＊Show that the zero vector of V is in W

＊Show that W is closed under vector addition : if u, v ∈ W, then u + v ∈ W

＊Show that W is closed under scalar multiplication : if u ∈ W and c ∈ R, then cu∈ W

Ex: 

- The set of all 2 x 2 symmetric matrices W is a subspace of vector space of (general) 2 x 2 matrices with the standard matrix addition and scalar multiplication. 

- Subspace relationship among functions

 

 

 

■ Generalization of linear combination, span, spanning set for vector space

 

 

* V = span(S) means that every vector of V can be written as a linear combination of vectors in S

ex) The set S = {(1,0,0), (0,1,0), (0,0,1)} spans R³ because any vector x =(x1,x2,x3) can be written as linear combination;  x = x1(1,0,0) + x2(0,1,0) + x3(0,0,1) = (x1,x2,x3)

ex) The set {(1, 2, 3), (0, 1, 2), (-2, 0, 1)} spans R³ while the set {(1, 2, 3), (0, 1, 2),  (-1, 0, 1)} isn't.   

■ Null Space of a Matrix : set of all solutions to a system of homogeneous linear equations

- Nul A can also be viewed as the set of all x in Rⁿ that are mapped into the zero vector of R^m via the linear transformation A onto x

- Note that null space of a matrix A∈R^m×n  is a vector space

- The null space of an mxn matrix A is a subspace of Rⁿ. Equivalently, the set of all solutions to a system Ax = 0 of m homogeneous linear equations in n unknowns is a subspace of Rⁿ

- If Nul A contains non-zero vectors (즉, Ax=0의 솔루션이 non-trivial), there is a spanning set for Nul A  and it is linearly independent.  The number of vectors in the spanning set for Nul A equals the number of free variables in the equation Ax=0

 

* Linear Transformation (also called Linear Mapping, Linear Map) 다시 보기

 

* Kernel (Null Space) of Linear Transformation (also called, kernel of Linear Map, Null space of Linear Map)

The kernel (also known as null space) of a linear map T : V → W  between two vector spaces V and W, is the set of all elements v of V  for which T(v) = 0, where 0 denotes the zero vector in W. That is, 

Kernel(T) = { v : v∈V, T(v) = 0 } 

The range of T is the set of all vectors in W of the form T (x) for some x in V .

- If T happens to arise as a matrix transformation - say, T(x)= Ax for some matrix A - then the kernel and the range of T are just the null space and the column space of the matrix A

- Kernel of T is a subspace of V.

■ Column Space of a Matrix (also called range of a matrix)

 

- Col A 는  range(A) = { v ∈ R^m : v = Ax,  x ∈ Rⁿ } 와 같은 말

- "range"는 보통 function, mapping, transformation에서 image의 범위(set of all images) 를 말한다.  matrix의 range 는 matrix(linear) transformation Ax의 range, 즉 for arbitrary x ∈ Rⁿ  에 linear transform operator A를 적용했을 때, image v=Ax 로 된 set.

■ Linearly Independent Sets; Bases & Dimension

An indexed set of vectors {v₁, ... v_p} in vector space V is linearly independent if the vector eq1.

        c₁v₁ + c₂v₂ + ......  + c_pv_p = 0     has only the trivial solution, c₁ = c₂ , ... c_p = 0.  And, the

set {v₁, ... v_p} is linearly dependent if the (eq1) has a nontrivial solution.  Note that,

- a set containing a single vector v is linearly independent if and only if v ≠ 0.  

- a set of two vectors is linearly dependent if and only if one of the vectors is a scalar multiple of the other

- any set with more than two vectors is linearly dependent if it contains the zero vector.  (because then the coefficient for that zero vector can be any real number besides 0 )

A set of vectors {v1, v2, ... vp} in V is said to be linearly independent if no vector can be represented as a linear combination of the remaining vectors. 

 

Definition 

- A subspace can contain a infinite number of vectors.  However, some problems involving a subspace are handled best by working with a small finite set of vectors that span the subspace.  The smallest possible spanning set is the linearly independent vectors.  

- A basis (vectors) of a vector space V is a spanning set for V whose vectors are linearly independent (Basis is a set of vectors).  So, given a basis of V, every vector of V can be uniquely expressed as a linear combination of basis vectors.  Coefficients of the linear combination is called vector coordinates/components. 즉, 어떤 벡터공간 V의 basis는 linearly independent 벡터들로 구성된 V의 spanning set 으로  불필요한 중복적인 벡터가 없는 가장 간결한 spanning set.  

- A vector space can have several distinct sets of basis vectors; however each such set has the same number of elements, with this number being the dimension of the vector space (뒤에 "dimension"을 자세히 언급).

- Basis for Nul A :  Independent vectors of the solution set x for the Ax = 0 that spans Nul A.  

- The number of the free variables (i.e., the number of non-pivot columns) in a Matrix A is the number of the independent vectors forming the basis for Nul A  (즉 dim (Null A) = A의 free variable 개수) 

- The pivot columns of a matrix A form a basis for the column space of A.  (주의. A의 basis를 구성할 때 A의 echelon form에서의 pivot column으로 구성되는 것이 아니라 원래 A의 pivot column으로 구성되어야 함.  그 이유는 Col A's_echelon_form 과 원래 Col A 가 같지 않을 수 있기 때문)  

Definition : dimension of V is the number of vectors in a basis for V

- Dimension of Nul A : Nul A공간을 몇 개의 independent 벡터들의 linear comination으로 나타낼 수 있나? 즉, cardinality of basis(Nul A).  Just the number of free variables in A

- Dimension of Col A :  cardinality of basis(Col A).   Just the number of pivot columns in A

- If a subspace H has a basis of p vectors, meaning that p vectors that are independent can span H, then every basis of H must consist of exactly p vectors. That is, while the subpace H can have many different bases, each basis has exactly p vectors. 

- The space Rⁿ has dimension n.  이 말은 Rⁿ 의 basis는 n개의 independent 벡터들로 이루어진 집합으로, 이 공간의 모든 element(vector) 들을 나타내려면 이 n 개의 linear independent vector 들의 linear combination으로 가능하다는 말.  

■ Coordinate Systems : 

An important reason for specifying a basis B for a vector space V is to impose a “coordinate system” on V . We will see that if B contains n vectors, then the coordinate system will make V act like Rn. If V is already Rn itself, then B will determine a coordinate system that gives a new “view” of V .

 

 

 

■  Rank of a Matrix - 행렬 관련 벡터 공간의 dimension을 다룰 때 특별히 "rank"라는 단어를 사용

Rank of a matrix A is the dimension of the vector space generated (or spanned) by its columns (Rank of A is a dimension of the column space of A).  즉, Rank(A)는 Col A 의 basis 가 몇 개의 벡터로 구성된 집합인가를 말하며, 이는 A의 column 중 어떤 것, 몇 개가 linearly independent 인지를 말한다.  앞에서 보았듯이 이 basis column들은 A의 pivot column들이며 따라서  A의 pivot column 들 개수가 rank A. 

- matrix A의 row 에서 최대 몇 개의 row가 linearly independent 한 가를 나타내는 row rank를 말할 수 있다. But, rank(A) = row_rank(A) 이기에 row rank는 보통 취급하지 않는다. 

- For A∈R^mxn  , rank(A) ≤ min(m,n).  If rank(A) = min(m,n), then A is said to be full rank 

- The Rank Theorem : If a matrix A has n columns, the rank A + dim Nul A = n  (즉, A의 pivot column 개수 + A의 free variable 개수(A의 non-pivot column 개수) = n ).  즉, 어떤 행렬의 rank나 Nul A의 dimension 중 하나를 알면 다른 하나는 자동적으로 알게 됨. 때로 Nul A 의 dimension인  dim Nul A 를 "nullity" 라 하기도 한다.

▶즉, 어떤 벡터 공간 V의 basis가 어떻게 되나를 알려면:   만약 dim V가 n 이라는 것을 알고 있다면 V에 속한 n개로 된 independent vector set을 임의로 만들면 된다.  물론 가장 간단한 것은 standard basis.  만약 주어진 벡터 set이 basis과 되는 지를 확인하려면 일단 벡터 개수가 맞는 지 보고, 맞으면 이들이 V에 속하면서 independent한 가를 보면 됨 (Independence로 판별하는 것이 주어진 set이 V를 span 하는 지 보는 것 보다 쉬움).  

* refer https://en.wikipedia.org/wiki/Rank_%28linear_algebra%29  for further knowledge