Round Here

Theano, Caffe, Tensorflow를 함께 쓰려니 능력이 안된다. TensorFlow 1.0 이 얼마전 정식으로 나왔다. 진행이 빠르다. Android 같은 모바일 기기에도 적용하기 좋을 것이라 한다. TensorFlow로 신경망, Brain Simulation 하자.Ubuntu에 Tensorflow 1.0 gpu 버젼을 쓰고 있다. 윈도우즈엔 TensorFlow 0.12 cpu 버젼을 별도의 environment에서 Anaconda와 같이 쓰고 있다. 윈도우즈에 1.0 버젼을 설치하려고, Anaconda 3 64bit, python 3.6 최신 버젼을 새롭게 설치하고, 별도의 "tensorflow_1.0" environment를 만들어 거기에 anaconda를 역시 설치했다. Tensorfl..

“If we knew what it was we were doing, it would not be called research, would it?” 우리가 하는 일이 무엇인지 안다면 그 것을 연구라고 할 수 있나? - 아인슈타인 (여기를 읽다가) jupyter colab

두뇌, 개구리 두뇌에 아무리 데이터를 많이 주어도 결코 사람 레벨의 지능을 발달시키지 못한다.높은 수준의 인지 작용에 관여하는 대뇌 피질의 신경세포 수를 보니 사람이 200억이 넘어 다른 동물들보다 확실히 많다. 그런데 Long-finned pilot whale은 370억개로 사람보다 더 많다. 흠...인공지능, 머신러닝 관점에서,해석성 또는 overfit 염려로 비슷한 성능이면, 아니면 좀 성능이 못해도 단순한 모델이 낫다고 생각하는 사람들이 많다. 뭐, 그렇다면. Neural Net을 보는 근본적인 차이가 있다. 어떤 사람들은 Neural Net을 포함하는 머신러닝을 인공지능을 만드는 수단으로, 또 다른 사람들은 데이터를 분석하기 위한 알고리즘으로 간주한다. 이해하기, 해석하기 쉬운 단순한 모델로 사..

전공책을 보면 다변수 식(Multi variables expression)에 시그마 ∑가 씌어지고 [참고], 또 여기에 미분/편미분이 적용되고, 확률/random process operator가 있고, Matrix Calculus 형태로 된 것을 종종 접한다. 일반 상식인 우리나라 학생들 수학 실력이 좋다는 말이 실감나지 않을 때가 있다. 배웠다고 하는데 시켜보면 모르고, 계산하면서도 그게 무슨 뜻인지 모른다. 대입 수능 수학 시험를 보니 비슷한 문제가 있고, 어느 정도 풀 수 있었기에 대학에 올 수 있었을 터인데 왜 이런지? ∑ , 미분등이 섞여있는 식에서 어떤 것이 변수고, 어디까지 변수로 보아야 하고, 그들에 수학 operation을 어떻게 적용해야 하는지 어려워한다. 아래 함수 f(x)의 미분을 ..

AI 수학 ■ Implicit (Partial) Differentiation[Khan의 Implicit Differentiation]대학 때 부터는 미분을 implicit한 방식으로 많이 풀면서도 엄밀하지 않은 방법으로 했다. Differential operation (operator 인가?)을 사용해 마치 dx, dy를 분자, 분모 같이 사용할 때는 부정행위하는 것 같고 께름찍하다. 함수 생각 :위와 같은 식이 있으면, h 라는 함수가 있는데 이 함수는 변수 x, y 에 좌우된다는 뜻임을 명확히(explicit) 나타낸다. 따라서 b, w, a 는 상수임을 안다. 함수 h에서 y는 고정하고 x 만 변화할 때의 미분은 함수 h에서 y만 변화할 때의 미분은 하여 구한다. 그런데, 함수 h(x, y)를 종속..

Introduction to Statistical Learning 내용를 파이썬으로 구현하는 것을 이 것으로 끝낸다. 10장 - Unsupervised Learning Principal Component Analysis (PCA) 간단히 직접 PCA를 만들어 PCA 이해 scikit-learn PCA 사용하기 Clustering K-Meansscikit-learn의 Hierarchical ClusteringSciPy의 Hierarchical Clustering실습 - NCI60 데이터 활용 NCI60에 PCA 적용하기NCI60에 Clustering 적용 전체 데이터Principal Component에 대해 NCI60에 Classification 실행 - Gene Expression으로 종양 타입 예측 P..

Introduction to Statistical Learning 9장 - Support Vector Machines : Python 실습 (GitHub)nbviewer Support Vector MachineGrid Search CV를 통한 Test Performance 추정 및 패러미터 튜닝Randomized Search CV를 통한 Test Performance 추정 및 패러미터 튜닝Gradient Boosting, SVM, Grid Search CV 및 Randomized Search CV 를 이용해 'Heart' 데이터 예측분석 과정 실습 을 담음

Introduction to Statistical Learning8장 내용인 Tree기반 Supervised Learning: Decision Tree (의사결정 트리)Random ForestGradient BoostingRegression, Classification 사용과 Cross-Validation 또는 Train/Test split을 통해 Test Performance 추정 및 패러미터 튜닝을 익힌다.pdf

Introduction to Statistical Learning5장 내용인 Regression 모델과 Classification 모델의 Test Performance 추정 Validation Set Approach (Train/Test Split)K-Fold Cross ValidationRegression Model의 Test MSE 추정Hyper Parameter 튜닝 : KNN Regression 에서 K 선정Classification Model에서 Cross-Validated AUC 계산pdf

scikit-learn 라이브러리를 사용하기 위해 전처리(preprocessing)을 해야 할 경우가 흔히 생김.ISLR 3장의 Linear Regression 중 Categorical 변수, Interaction, 변수의 Non-linear Tranformation 을 scikit-learn에서 활용하기 위해 필요한 간단한 전처리 과정 a little preprocessing