인공신경망(Artificial Neural Network)의 Sigmoid Function

인공신경망(Artificial Neural Network) 은 다수의 입력변수들에 학습을 통해 가중치(신경망의 연결강도)를 부여하여 다수의 출력값을 산출하는 모형이다. 여기에서 학습(모수추정과 유사함)이란 가중치 정하는 것인데 산출된 출력값과 실제값과의 차이를 최소화하기 위해 수많은 Trial and Error 를 통해 최적의 가중치를 찾게 된다. 인공신경망의 또 다른 특징 중 하나는 은닉층(Hidden Layer) 을 통해 조금 더 정교한 모형개발이 가능하다는 것이다. 

인공신경망은 입력변수를 결합하는 합성함수(Combination Function) 와 입력정보를 결합하여 변형하는 활성함수(Activation Function) 를 사용하게 된다. 합성함수(Combination Function)는 입력정보들을 하나의 정보로 만들어 주는 것인데 가중평균을 가장 많이 이용하며, 활성함수(Activation Function)는 입력정보의 합성값을 출력층 또는 은닉층에 전달하는 함수로 입력정보의 결합값을 일정범위의 값으로 전환해주는 함수이다. 

먼저 입력변수의 Scale 을 일정범위로 변환하고 학습을 통해 최적의 가중치를 찾아낸다. 다수의 입력변수에 대한 가중치가 부여되면 활성함수(Activation Function)를 통해 하나의 출력값으로 나타낸다. 시그모이드 함수(Sigmoid Function)가 활성함수(Activation Function) 중에 가장 많이 사용되며, 시그모이드 함수(Sigmoid Function) 로는 로지스틱(logistic) 함수형태인 단극성 시그모이드 함수(Sigmoid Function) 와 양극성 시그모이드 함수(Sigmoid Function) 인 하이볼릭 탄젠트 함수 등이 있다. 

함수	함수 형태	범위
logistic(x)		(0,1)
tanh(x)		(-1,1)

시그모이드 함수(Sigmoid Function) 은 값들이 0에 가까울 때 linear function 에 매우 근사하게 된다. 또한 값들이 증가함에 따라 non-linear 의 형태를 보이게 된다. 따라서 linear, near-linear, non-linear 에 대한 문제를 모두 해결할 수 있다. 또한, 단위가 매우 큰 입력변수라 하더라도 아주 작은 범위로의 변환을 통해 가중치를 산출함에 있어 다른 입력변수들에 영향력을 무시하는 경향을 예방할 수 있다. 즉, 이들 함수는 x 값이 아주 크거나 아주 작을 때 입력층에 대한 작은 변화는 출력층에 거의 영향을 주지 않는다.

단극성 시그모이드 함수	양극성 시그모이드 함수