convex function 의 반대 함수
주어진 함수가 Concave 인지 확인하는 법
2 차 미분이 음수인것을 확인하면 된다.
예시
Q) 가 concave 한지 판단하라.
A) 를 일 때 만족하므로, (log 함수) 는 concave function 이다.
1 min read
convex function 의 반대 함수
2 차 미분이 음수인것을 확인하면 된다.
Q) g(x)=logx 가 concave 한지 판단하라.
A) g′′(x)=(log(x))′′=(x1)′=−x21 를 x>0 일 때 만족하므로, g(x)(log 함수) 는 concave function 이다.
여기서 log 함수는 concave function 이므로, Jensen’s inequality 에 의해 Expectation sign 이 안으로 들어갈 수 있다. 또한, p(x)dx=1 이다. Forward KL vs. Revers...
quadratic 함수란 가장 높은 degree 가 2 면서 한개 이상의 변수를 가지는 polynomial 함수를 의미한다. 예시 예를 들어 단일 변수 (univariate) 에 대한 quadratic function 은 다음과 같다.
Convex ? Concave f(x) is convex, iff f^{\prime\prime}(x)\geqslant0,\forall\mathrm{x}\in R f(x) is strictly convex, iff f^{\prime\prime}(x)>0,\forall\mathrm{x}\in R f(x) is...
conjugate gardients 는 Newton-Raphson method 방식에서 파생된 Hessian matrix 의 inverse 계산을 효율적으로 피하기 위해 고안된 방법으로, conjugate directions 을 반복적으로 줄이는 (descending) 방식으로 진행한다.
지수의 역함수다. b^y = x 를 만족하는 y 를 \log b x 로 쓴다. “밑 b 를 몇 번 곱해야 x 가 되는가” 를 묻는 것이다. 정의역은 x > 0 이다. 양수를 아무리 거듭제곱해도 0 이나 음수가 되지 않기 때문이다.
how quickly the output changes when we move a small distance in input space away from x Jacobian matrix second derivative f& 039;& 039;(x): how quickly the gradient is...
정의 Euler–Poisson integral (엘룰러 - 푸아송 적분) 이라고 부르기도 하며, 다음과 같은 적분을 의미한다 \displaystyle\int {-\infty}^{\infty}e^{-x^{2}}dx=\sqrt{\pi} - 일반적인 form은 다음과 같다: 증명: 극좌표 (polar...
정의 geometry 에서, simplex 란 임의의 차원에 대한 일반화된 삼각형을 의미 simplex 는 어떤 임의의 차원 공간에서 polytope(다포체) 를 표현하기 가장 쉬운 의미라서 사용됨 예시) 0-simplex 는 점 1-simplex 는 선 2-simplex 는 triangle 3-simplex 는...
Products of Indicator Functions Because 0·1=0, the product of indicator functions can be combined into a single indicator function with a modified condition.
\displaystyle\operatorname{sim}(u,v)=\frac{u^{\top}v}{\|u\| {2}\|v\| {2}} 두 벡터가 서로 유사할수록, Cosine similarity 값은 커진다. Vs.
Proofs dot product 를 활용한 증명 c=\mathbf{a}-\mathbf{b} \begin{aligned} c \cdot c &=(\mathbf{a}-\mathbf{b}) \cdot(\mathbf{a}-\mathbf{b}) \\ &=\mathbf{a} \cdot...