Linear Equation? Linear System?
Overview 이름이 그렇게 붙여진 데에는 이유가 있다. 그러나 그 이유를 알고자 단어에 너무 집착하다보면 혼란스러울 때가 있다. 이번이 그랬다. 머신러닝의 ‘Linear Regression’을 배우는 도중 ‘Linear’란 뜻에 대해서 곰곰히 생각해보게 되었다. 다음 명제가...
Posts by Tag
- Basics 13
- Machine Learning 7
- Probability Distribution 5
- Python 4
- C++ 4
- Work 3
- Deep Learning 3
- UML 2
- Architecture 2
- C 2
- Embedded System 2
- Graduate School 1
- Blog 1
- Likelihood 1
- Probability Density 1
- Linear Regression 1
- ElasticNet 1
- Lasso 1
- Ridge 1
- Clustering 1
- K-Means 1
- KNN 1
- Naive Bayes 1
- Support Vector Machine 1
- PCA 1
- DBSCAN 1
- Perceptron 1
- Batch Normalization 1
- Regularization 1
- Optimizer 1
- CNN 1
- Pattern Recognization 1
- Bayesian Inference 1
- Web Crawling 1
- Pandas 1
- Beautiful Soup 1
- Data structure 1
- Algorithm 1
- MCU 1
- Inertial Navigation 1
- IMU 1
Basics
Bayes Filter - 모든 필터의 근본
Overview Bayes filter, 또는 recursive Bayesian estimation은 측정치와 process model을 사용하여 원하는 state의 probability density(continuous), 혹은 distribution(discrete)을 추정할 ...
여러 번의 시행 중 몇 번 성공할 확률? Binomial Distribution
1. Intro Binomial distribution은 한 번의 시행의 성공/실패에 대한 확률 분포를 나타낸 Bernoulli distribution의 여러 시행에 대한 확장판이다. Binomial distribution에 대한 대표적인 예시는 앞면이 나올 확률이 0.5인 동전을...
어떤 한 번의 시행이 성공할 확률? Bernoulli Distribution
1. Intro Bernoulli distribution 결과가 성공/실패 와 같이 두 종류만 있는 어떤 시행에 대한 확률 분포로 가장 기초적인 확률 분포이며, Binomial distriubiton, Poisson distribution 등 여러가지 확률 분포의 기초가 된다.
Normal-Gamma Distribution
1. Intro Normal-Gamma distribution은 말 그대로 정규화 된 Gaussian distribution인 Normal distribution과 Gamma distribution을 곱한 형태로, 평균 $\mu$ 과 표준편차 $\sigma$ 가 parameter로...
여러 이벤트의 발생 확률에 대한 확률분포, Dirichlet distribution
1. Intro 한 이벤트가 발생할 확률에 대한 확률 분포를 뜻하는 Beta distribution을 여러 이벤트에 대해 확장한 것이 Dirichlet distribution이다. 기상청에서 ‘화창한 날씨’를 예보하는 상황을 들어보자. 만약 Beta distribution을 사용한...
한 이벤트의 발생 확률에 대한 확률 분포, Beta distribution
1. Intro 흔히 알려져 있는 Normal distribution의 경우, 평균이 0이고 그 외에 값에 대해선 표준 편차에 의해 확률 변수 값이 정해진다. 예를 들어 표준 편차가 1인 경우 확률 변수 값이 10일 때 probabiltiy density 값은 매우매우 작은 값을 ...
작업량의 측면에서 해석된 확률 분포간 차이, Wasserstein Distance
Wasserstein Distance는 쉽게 말해 비교 대상이 되는 확률 분포끼리 가지는 유사도를 나타내는 단위로, 물리학에서 정의된 일 ($work = force * distance$)과 비슷한 개념을 사용하여 정의 된다.
칼만필터 유도 - 2. Minimum variance based method
본 포스트의 내용은 Simon, Dan. Optimal state estimation: Kalman, H infinity, and nonlinear approaches. John Wiley & Sons, 2006. 저서에 기반하고 있습니다.
칼만필터 유도 - 1. Maximum likelihood based method
지난 포스트의 4. 결론 부분에서 posterior density는 측정치가 반영된 확률 모델이 가지는 추정치에 대한 likelihood라고 했습니다. 그리고 이 likelihood를 최대화 하는 과정에서 kalman filter가 유도 된다고 했습니다. 이번 시간에는 maximu...
Likelihood vs Conditional Probability Density (우도와 조건부확률밀도)
Bayesian filtering에 기반한 이론을 공부하다 보면 조건부 확률 밀도 함수(conditional probability density function, CPDF)와 우도 함수(likelihood function)을 혼용하여 사용하는 경우가 많습니다. 둘은 어떤 차이가 있...
Why probability is necessary?
확률적 표현이 필요한 이유?
말로 설명해보는 칼만필터
칼만 필터를 검색해봤다면, 아마도 전자과나 기계쪽을 전공하시는 공대생일 겁니다. 이 글에서는 칼만 필터가 왜 ‘필터’로 불리는지, 그 원리가 간단하게 어떤 건지 설명해보겠습니다.
Machine Learning
Data Science Lecture 1 - Basic data types
Newly Learned replace() 반복 사용 파이썬 문법 중에는 특정 문자를 지정한 문자로 바꾸는 replace()라는 함수가 있다. str type의 내장함수이며 여러 문자를 지우고 싶을 때는 다음과 같이 .replace를 반복한 구문으로 쓰면 편하다.
Machine Learning Lecture 8 - PCA & DBSCAN
Overview PCA Feature가 여러 개여서 높은 차원으로 표현되는 데이터들에 대해서, 이 데이터들을 잘 표현할 수 있는 주 축들을 설정하고 그 축들이 상대적으로 어느정도로 데이터를 표현하는데 기여하는지를 분석한다. 주 축에 해당하는 것이 데이터의 Covariance mat...
Machine Learning Lecture 7 - Support Vector Machine
Support Vector Machine Overview Support Vector Machine은 Decision tree나 Naive bayes와는 달리 비선형적이고 고차원의 공간에서도 높은 classifier 성능을 보여준다. SVM의 원리는 아래 그림과 같이 데이터를 나누는...
Machine Learning Lecture 6 - Naive Bayes
Naive Bayes Overview 조건부 확률의 정의를 사용해서 여태까지 관측한 결과를 바탕으로 전체의 확률을 예측하는 방식이다.
Machine Learning Lecture 5 - K Nearest Neighbors
Overview Target이 정해져 있는 지도 학습 (Reference 값이 이미 정해져 있음) 예를 들어 결정사에서 사람의 학벌, 페이, 키 등의 속성으로 1군~N군을 분류된 reference를 보유한다고 하자. 신규 유입된 회원에 대해서 속성에 대한 distance를 K 개의...
Machine Learning Lecture 3 - Linear Regression
Linear Regression
Probability Distribution
여러 번의 시행 중 몇 번 성공할 확률? Binomial Distribution
1. Intro Binomial distribution은 한 번의 시행의 성공/실패에 대한 확률 분포를 나타낸 Bernoulli distribution의 여러 시행에 대한 확장판이다. Binomial distribution에 대한 대표적인 예시는 앞면이 나올 확률이 0.5인 동전을...
어떤 한 번의 시행이 성공할 확률? Bernoulli Distribution
1. Intro Bernoulli distribution 결과가 성공/실패 와 같이 두 종류만 있는 어떤 시행에 대한 확률 분포로 가장 기초적인 확률 분포이며, Binomial distriubiton, Poisson distribution 등 여러가지 확률 분포의 기초가 된다.
Normal-Gamma Distribution
1. Intro Normal-Gamma distribution은 말 그대로 정규화 된 Gaussian distribution인 Normal distribution과 Gamma distribution을 곱한 형태로, 평균 $\mu$ 과 표준편차 $\sigma$ 가 parameter로...
여러 이벤트의 발생 확률에 대한 확률분포, Dirichlet distribution
1. Intro 한 이벤트가 발생할 확률에 대한 확률 분포를 뜻하는 Beta distribution을 여러 이벤트에 대해 확장한 것이 Dirichlet distribution이다. 기상청에서 ‘화창한 날씨’를 예보하는 상황을 들어보자. 만약 Beta distribution을 사용한...
한 이벤트의 발생 확률에 대한 확률 분포, Beta distribution
1. Intro 흔히 알려져 있는 Normal distribution의 경우, 평균이 0이고 그 외에 값에 대해선 표준 편차에 의해 확률 변수 값이 정해진다. 예를 들어 표준 편차가 1인 경우 확률 변수 값이 10일 때 probabiltiy density 값은 매우매우 작은 값을 ...
Python
Data Science Lecture 2 - Web Crawling
Overview 사실 베이지언 추론을 기반으로 하는 s/w 알고리즘을 개발하는 입장에서 웹 크롤링은 별 쓸모가 없을 수 도 있다. 머신 러닝 강의라길래 들으러 갔는데 pandas와 Beautiful Soup 라이브러리 기반 웹 크롤링 수업을 해서 간단하게 배운 점을 적어본다. (이...
Deep Learning Lecture2 - DeepLearning Techniques!
Learning with Various Optimizers 지난 포스트에서 설명했듯이, Multilayer Perceptron 기반 deep learning 방식은 다음과 같다.
Deep Learning Lecture1 - How do Perceptrons Work?
Overview Learn by Single Layer Perceptron Perceptron은 뉴런을 모방한 모델로, 뉴런처럼 행동하기 때문에 구조도 간단하다. 그저 input 신호에 대해서 weight를 곱하고 bias를 더한 신호에 activation function (sig...
Data Science Lecture 1 - Basic data types
Newly Learned replace() 반복 사용 파이썬 문법 중에는 특정 문자를 지정한 문자로 바꾸는 replace()라는 함수가 있다. str type의 내장함수이며 여러 문자를 지우고 싶을 때는 다음과 같이 .replace를 반복한 구문으로 쓰면 편하다.
C++
객체 소유권 이동과 std::move()에 대한 이해
해당 글은 C++의 생성자(Constructor), 대입연산자 overloading(operator=())에 대한 이해를 하고 있음을 전제로 합니다.
C++에서 배열을 인자로 받는 함수 작성법
C++ 에서 배열을 인자로 받는 함수 작성
Array를 Eigen 형태로 mapping 시 속도 차이
tldr: 그냥 for loop 쓰는 게 빠르다.
Method “Insert” for list vs vector
Insert() 메서드 사용시 vector와 list 의 차이
Work
알고리즘 공부 중…
어떤 일을 잘 하기 위해선 알아야 할 게 끝도 없다…
우리가게 정상영업합니다
회사에서 규모가 큰 일을 맡고 있어 4개월 째 고생하고 있는 중입니다… 일을 마치는대로 돌아오겠습니다.
대학원 진학에 대하여
이번 포스팅에서는 제가 석사 과정 2년을 왜 하게 되었는지, 과정은 어땠는지, 하고나서 어떤 점을 느꼈는지 얘기해보려고 합니다. 글이 길어질 것 같아서 이번 글에는 지원 동기를 위주로 작성하고자 합니다.
Deep Learning
Deep Learning Lecture3 - DeepLearning by Convolutional Neural Network
Convolutional Neural Network 지난 포스트1와 포스트2를 통해 Perceptron의 작동 원리 및 다층 perceptron을 통한 deep learning 테크닉 들을 살펴보았다. 이번엔 이미지 내 객체 인식에 초점을 맞춘 Convolutional Neural...
Deep Learning Lecture2 - DeepLearning Techniques!
Learning with Various Optimizers 지난 포스트에서 설명했듯이, Multilayer Perceptron 기반 deep learning 방식은 다음과 같다.
Deep Learning Lecture1 - How do Perceptrons Work?
Overview Learn by Single Layer Perceptron Perceptron은 뉴런을 모방한 모델로, 뉴런처럼 행동하기 때문에 구조도 간단하다. 그저 input 신호에 대해서 weight를 곱하고 bias를 더한 신호에 activation function (sig...
UML
UML for automotive s/w architecture_Lecture 2
s/w architecture 설계 과정 1. Specify software system and context
UML for automotive s/w architecture_Lecture 1
s/w architecture 개요 s/w architecture 등장 배경
Architecture
UML for automotive s/w architecture_Lecture 2
s/w architecture 설계 과정 1. Specify software system and context
UML for automotive s/w architecture_Lecture 1
s/w architecture 개요 s/w architecture 등장 배경
C
Embedded C_Lecture 2
Embedded C Overview
Embedded C_Lecture 1
Micro Controller Unit (MCU) 개요 Microco Controller Unit(MCU)는 micro processor(core or CPU), 메모리, 입/출력(I/O or peripheral) 을 통합한 집적 회로 (integrated circuit, IC)를...
Embedded System
Embedded C_Lecture 2
Embedded C Overview
Embedded C_Lecture 1
Micro Controller Unit (MCU) 개요 Microco Controller Unit(MCU)는 micro processor(core or CPU), 메모리, 입/출력(I/O or peripheral) 을 통합한 집적 회로 (integrated circuit, IC)를...
Graduate School
대학원 진학에 대하여
이번 포스팅에서는 제가 석사 과정 2년을 왜 하게 되었는지, 과정은 어땠는지, 하고나서 어떤 점을 느꼈는지 얘기해보려고 합니다. 글이 길어질 것 같아서 이번 글에는 지원 동기를 위주로 작성하고자 합니다.
Blog
블로그 개설 목적
크게 두 가지 이유입니다.
Likelihood
Likelihood vs Conditional Probability Density (우도와 조건부확률밀도)
Bayesian filtering에 기반한 이론을 공부하다 보면 조건부 확률 밀도 함수(conditional probability density function, CPDF)와 우도 함수(likelihood function)을 혼용하여 사용하는 경우가 많습니다. 둘은 어떤 차이가 있...
Probability Density
Likelihood vs Conditional Probability Density (우도와 조건부확률밀도)
Bayesian filtering에 기반한 이론을 공부하다 보면 조건부 확률 밀도 함수(conditional probability density function, CPDF)와 우도 함수(likelihood function)을 혼용하여 사용하는 경우가 많습니다. 둘은 어떤 차이가 있...
Linear Regression
Machine Learning Lecture 3 - Linear Regression
Linear Regression
ElasticNet
Machine Learning Lecture 3 - Linear Regression
Linear Regression
Lasso
Machine Learning Lecture 3 - Linear Regression
Linear Regression
Ridge
Machine Learning Lecture 3 - Linear Regression
Linear Regression
Clustering
Back to top ↑K-Means
Back to top ↑KNN
Machine Learning Lecture 5 - K Nearest Neighbors
Overview Target이 정해져 있는 지도 학습 (Reference 값이 이미 정해져 있음) 예를 들어 결정사에서 사람의 학벌, 페이, 키 등의 속성으로 1군~N군을 분류된 reference를 보유한다고 하자. 신규 유입된 회원에 대해서 속성에 대한 distance를 K 개의...
Naive Bayes
Machine Learning Lecture 6 - Naive Bayes
Naive Bayes Overview 조건부 확률의 정의를 사용해서 여태까지 관측한 결과를 바탕으로 전체의 확률을 예측하는 방식이다.
Support Vector Machine
Machine Learning Lecture 7 - Support Vector Machine
Support Vector Machine Overview Support Vector Machine은 Decision tree나 Naive bayes와는 달리 비선형적이고 고차원의 공간에서도 높은 classifier 성능을 보여준다. SVM의 원리는 아래 그림과 같이 데이터를 나누는...
PCA
Machine Learning Lecture 8 - PCA & DBSCAN
Overview PCA Feature가 여러 개여서 높은 차원으로 표현되는 데이터들에 대해서, 이 데이터들을 잘 표현할 수 있는 주 축들을 설정하고 그 축들이 상대적으로 어느정도로 데이터를 표현하는데 기여하는지를 분석한다. 주 축에 해당하는 것이 데이터의 Covariance mat...
DBSCAN
Machine Learning Lecture 8 - PCA & DBSCAN
Overview PCA Feature가 여러 개여서 높은 차원으로 표현되는 데이터들에 대해서, 이 데이터들을 잘 표현할 수 있는 주 축들을 설정하고 그 축들이 상대적으로 어느정도로 데이터를 표현하는데 기여하는지를 분석한다. 주 축에 해당하는 것이 데이터의 Covariance mat...
Perceptron
Deep Learning Lecture1 - How do Perceptrons Work?
Overview Learn by Single Layer Perceptron Perceptron은 뉴런을 모방한 모델로, 뉴런처럼 행동하기 때문에 구조도 간단하다. 그저 input 신호에 대해서 weight를 곱하고 bias를 더한 신호에 activation function (sig...
Batch Normalization
Deep Learning Lecture2 - DeepLearning Techniques!
Learning with Various Optimizers 지난 포스트에서 설명했듯이, Multilayer Perceptron 기반 deep learning 방식은 다음과 같다.
Regularization
Deep Learning Lecture2 - DeepLearning Techniques!
Learning with Various Optimizers 지난 포스트에서 설명했듯이, Multilayer Perceptron 기반 deep learning 방식은 다음과 같다.
Optimizer
Deep Learning Lecture2 - DeepLearning Techniques!
Learning with Various Optimizers 지난 포스트에서 설명했듯이, Multilayer Perceptron 기반 deep learning 방식은 다음과 같다.
CNN
Deep Learning Lecture3 - DeepLearning by Convolutional Neural Network
Convolutional Neural Network 지난 포스트1와 포스트2를 통해 Perceptron의 작동 원리 및 다층 perceptron을 통한 deep learning 테크닉 들을 살펴보았다. 이번엔 이미지 내 객체 인식에 초점을 맞춘 Convolutional Neural...
Pattern Recognization
Deep Learning Lecture3 - DeepLearning by Convolutional Neural Network
Convolutional Neural Network 지난 포스트1와 포스트2를 통해 Perceptron의 작동 원리 및 다층 perceptron을 통한 deep learning 테크닉 들을 살펴보았다. 이번엔 이미지 내 객체 인식에 초점을 맞춘 Convolutional Neural...
Bayesian Inference
Bayes Filter - 모든 필터의 근본
Overview Bayes filter, 또는 recursive Bayesian estimation은 측정치와 process model을 사용하여 원하는 state의 probability density(continuous), 혹은 distribution(discrete)을 추정할 ...
Web Crawling
Data Science Lecture 2 - Web Crawling
Overview 사실 베이지언 추론을 기반으로 하는 s/w 알고리즘을 개발하는 입장에서 웹 크롤링은 별 쓸모가 없을 수 도 있다. 머신 러닝 강의라길래 들으러 갔는데 pandas와 Beautiful Soup 라이브러리 기반 웹 크롤링 수업을 해서 간단하게 배운 점을 적어본다. (이...
Pandas
Data Science Lecture 2 - Web Crawling
Overview 사실 베이지언 추론을 기반으로 하는 s/w 알고리즘을 개발하는 입장에서 웹 크롤링은 별 쓸모가 없을 수 도 있다. 머신 러닝 강의라길래 들으러 갔는데 pandas와 Beautiful Soup 라이브러리 기반 웹 크롤링 수업을 해서 간단하게 배운 점을 적어본다. (이...
Beautiful Soup
Data Science Lecture 2 - Web Crawling
Overview 사실 베이지언 추론을 기반으로 하는 s/w 알고리즘을 개발하는 입장에서 웹 크롤링은 별 쓸모가 없을 수 도 있다. 머신 러닝 강의라길래 들으러 갔는데 pandas와 Beautiful Soup 라이브러리 기반 웹 크롤링 수업을 해서 간단하게 배운 점을 적어본다. (이...
Data structure
Method “Insert” for list vs vector
Insert() 메서드 사용시 vector와 list 의 차이
Algorithm
Method “Insert” for list vs vector
Insert() 메서드 사용시 vector와 list 의 차이
MCU
Embedded C_Lecture 1
Micro Controller Unit (MCU) 개요 Microco Controller Unit(MCU)는 micro processor(core or CPU), 메모리, 입/출력(I/O or peripheral) 을 통합한 집적 회로 (integrated circuit, IC)를...
IMU
Inertial Navigation System
1. Frame 간 벡터 표현