Concave Function
convex function 의 반대 함수
2. 주어진 함수가 Concave 인지 확인하는 법
2 차 미분이 음수인것을 확인하면 된다.
2.1. 예시
Q) 가 concave 한지 판단하라.
A) 를 일 때 만족하므로, (log 함수) 는 concave function 이다.
1 min read
convex function 의 반대 함수
2 차 미분이 음수인것을 확인하면 된다.
Q) g(x)=logx 가 concave 한지 판단하라.
A) g′′(x)=(log(x))′′=(x1)′=−x21 를 x>0 일 때 만족하므로, g(x)(log 함수) 는 concave function 이다.
여기서 log 함수는 concave function 이므로, Jensen’s inequality 에 의해 Expectation sign 이 안으로 들어갈 수 있다. 또한, p(x)dx=1 이다. C) Forward KL vs. Rev...
Quadratic Function quadratic 함수란 가장 높은 degree 가 2 면서 한개 이상의 변수를 가지는 polynomial 함수를 의미한다. 예시 예를 들어 단일 변수 (univariate) 에 대한 quadratic function 은 다음과 같다.
Convex ? Concave f(x) is convex, iff f^{\prime\prime}(x)\geqslant0,\forall\mathrm{x}\in R f(x) is strictly convex, iff f^{\prime\prime}(x)>0,\forall\mathrm{x}\in R f(x) is...
Conjugate Gradients conjugate gardients 는 Newton-Raphson method 방식에서 파생된 Hessian matrix 의 inverse 계산을 효율적으로 피하기 위해 고안된 방법으로, conjugate directions 을 반복적으로 줄이는 (descending) 방식으로...
Simplex 정의 geometry 에서, simplex 란 임의의 차원에 대한 일반화된 삼각형을 의미 simplex 는 어떤 임의의 차원 공간에서 polytope(다포체) 를 표현하기 가장 쉬운 의미라서 사용됨 예시) 0-simplex 는 점 1-simplex 는 선 2-simplex 는 triangle...
Gaussian Integral A.1) 정의 Euler–Poisson integral (엘룰러 - 푸아송 적분) 이라고 부르기도 하며, 다음과 같은 적분을 의미한다 \displaystyle\int {-\infty}^{\infty}e^{-x^{2}}dx=\sqrt{\pi} - 일반적인 form은 다음과 같다:...
Indicator Function Products of Indicator Functions Because 0·1=0, the product of indicator functions can be combined into a single indicator function with a modified condition.
Law of Cosines B) Proofs dot product 를 활용한 증명 c=\mathbf{a}-\mathbf{b} \begin{aligned} c \cdot c &=(\mathbf{a}-\mathbf{b}) \cdot(\mathbf{a}-\mathbf{b}) \\ &=\mathbf{a}...
Cosine Similarity \displaystyle\operatorname{sim}(u,v)=\frac{u^{\top}v}{\|u\| {2}\|v\| {2}} 두 벡터가 서로 유사할수록, Cosine similarity 값은 커진다. B) Vs.
Interpolation Interpolation(인터폴레이션, 보간) 이란 알려진 지점의 값 사이 (중간) 에 위치한 값을 알려진 값으로부터 추정하는 것을 말한다.