|
|
|
|
인공지능시대(22): 다층 신경망
|
|
2021년 03월 09일(화) 16:43 [주간문경] 
|
|
|
| 
| | | ↑↑ 지홍기
영남대학교 명예교수
문경대학교 특임교수
문경시지역발전협의회 의장 | ⓒ (주)문경사랑 | |
다층 신경망
다층 신경망(Multi-layer Neural Network)은 하나 이상의 인공 신경(Neuron)을 토대로 고안되어 간단한 연산기능만을 갖는 처리기로서 신경세포(노드)를 의미한다. 단층 신경망은 인공지능(AI)의 진화 초기에는 유용했지만, 오늘날 사용되는 대부분의 신경망은 다층 형태로 이루어지고 있다. 일반적으로 생물학적인 뇌는 시간의 흐름 없이는 작동할 수 없다. 그러나 인공 신경망의 경우는 입력값만 주면 시간의 흐름과는 상관없이 출력값이 생산되고 있다.
다층 신경망은 일반적으로 입력 계층이 일련의 숨겨진 계층으로 가중 입력을 전송하는 하나 이상의 입력 계층과 출력 계층이 있다. 이러한 보다 정교한 설정은 인공 뉴런의 발화 또는 활성화를 지시하는 시그모이드(Sigmoid: S자형 곡선)와 다른 기능을 사용하는 비선형 구조와 관련이 있다. 이러한 시스템 중 일부는 물리적인 물질로 구축될 수 있지만, 대부분은 신경 활동을 모델링하는 소프트웨어 기능으로 만들어진다.
다층 신경망의 작동 원리
다층 신경망은 하나 혹은 그 이상의 “은닉층”이 있는 순방향 신경망이며, 이는 하나의 입력층과 출력층 및 다수의 은닉층으로 이루어져 있다. 다층 신경만은 하나의 은닉층으로 모든 연속함수를 표현할 수 있으며, 두 개의 은닉층으로 불연속 함수의 표현이 가능하다. 즉, 단순하게 연속함수를 표현할 경우 하나의 은닉층이면 충분하다.
출력층은 은닉층의 출력신호(자극 패턴)를 받아들여 전체 신경망의 출력 패턴을 정하게 되고, 은닉층의 인공신경(뉴런)은 신호의 특성을 파악하게 되며, 가중치를 통해 입력패턴에 숨겨져 있는 특성을 알 수 있다. 또한 출력층은 이 특성을 사용하여 출력패턴을 결정하게 된다. 은닉층의 연산부담은 은닉층 하나를 추가할 때마다 계산 부담은 지수적으로 늘어난다. 따라서 실제 응용 사례에서는 보통 3개 층 정도만 사용한다.
| 
| | ⓒ (주)문경사랑 | |
다층 신경망의 학습
단층 신경망의 근본적인 한계 때문에 신경망은 필연적으로 다층 구조로 발전할 수밖에 없었다. 그러나 은익층 하나를 추구하는데 수십 년이 걸렸으나, 문제는 다층 신경망의 학습 규칙을 찾아내지 못했다. 최근에 비로소 다양한 학습 알고리즘이 개발되면서 역전파 알고리즘의 학습규칙이 널리 사용되고 있다.
다층 신경망의 학습 문제는 역전파 알고리즘으로 해결할 수 있으며, 이 알고리즘은 은닉층 노드들의 오차를 결정한 다음에, 델타 규칙에 따라 이 오차들로 가중치들을 조절한다는 것이 역전파 알고리즘의 핵심이다. 여기서 델타 규칙은 “경사 하강법”이라는 수치해석 기법으로서 임의의 초기값에서 시작해 단계적으로 정답을 찾아간다. 마치 산에서 공을 굴리면 경사가 가장 급한 길을 따라 가장 낮은 곳까지 굴러가는 것과 비슷하게 정답을 찾아간다고 해서 붙인 이름이다.
퍼셉트론 한계와 다층 신경망
퍼셉트론(Perceptron; 감지기)은 다수의 신호를 입력으로 받아 하나의 신호를 출력하는 학습 방식이다. 시기(Epoch)를 반복하는 학습과 연산을 통해서 “AND, OR”에 대한 수렴된 가중치를 구할 수 있다. 그러나 특이한 OR(XOR) 연산자는 단층 퍼셉트론으로 학습할 수 없으며, 단층 퍼셉트론은 어디까지나 선형 분리만 가능하다. ”AND, OR”는 선형 분리이지만 비선형 분리인 XOR은 학습할 수 없다.
따라서 퍼셉트론은 입력 하나에 가중치와 출력이 각각 하나뿐이지만 다층 신경망에서는 가중치가 여러 개로서 각각의 가중치는 두 개 이상의 출력에 영향을 미친다. 즉, 다층 신경망의 학습은 퍼셉트론과 유사한데, 입력패턴에 대한 훈련 집합을 신경망에 제시하면 신경망은 출력 패턴과 목표 출력 간의 오차가 줄어들도록 가중치를 조정해주는 혁신기술로 진화하고 있다.
|
|
|
|
홈페이지관리자 기자  .
“주간문경을 읽으면 문경이 보인다.”
- Copyrights ⓒ주간문경.
무단 전재 및 재배포 금지 -
|
|
|
|
 주간문경
기사목록 | 기사제공 : 주간문경
|
|
|
|
|
|
|
|
|
|
실시간
많이본
뉴스
|
|
|
|
|
|
종합
커뮤니티
