|
|
|
|
인공지능시대(44): 인공지능과 데이터 라벨링
|
|
2021년 10월 19일(화) 16:51 [주간문경] 
|
|
|
| 
| | | ↑↑ 지홍기
영남대학교 명예교수
문경대학교 특임교수
문경시지역발전협의회 의장 | ⓒ (주)문경사랑 | |
데이터 과학
데이터 과학(Data Science)이란 정보와 데이터를 과학적인 방법으로 사용해서 유용한 정보나 기능을 만들어 내는 분야이다. 데이터 과학을 인공지능(AI)과 같은 것이라고 보기에는 첫 출발점이 다르지만, 현재 우리가 보고 있는 대부분 AI는 데이터 과학을 뼈대로 지어진 것들이다.
과거에는 정보의 양이 한정적이고 컴퓨터의 성능에 한계가 있어, 웹과 컴퓨터 상에 있는 정보들은 제한적이었다. 그러나 오늘에 와서는 양질의 데이터, 라벨링(表記), 빅데이터(Big Data) 및 DB(Data Base) 구축 상황이 많이 바뀌었다.
데이터 라벨링
데이터 라벨링(Data Labeling)은 AI를 학습시키는데 필요한 데이터를 만들기 위해 원시(비정형) 데이터에 라벨(Label: 부호 또는 꼬리표)을 붙이는 작업이다. 데이터 라벨링은 컴퓨터가 인식할 수 있도록 비정형 데이터를 알기 쉽게 변형하거나, 가공하는 과정을 즉, “학습 데이터”를 구축하는 작업이다.
데이터 라벨링은 AI 기술들과 마찬가지로 자동화 수순을 밟고 있다. 수작업 기반으로 라벨링 작업을 할 경우 많은 데이터를 감당하기 힘들고 시간과 비용이 많이 들며, 휴먼 에러(인간 오류)도 발생할 수 있다. 따라서 비정형 데이터를 툴에 적용해 라벨링을 하는 작업까지 자동화되고 있으며, 이전의 설계 단계와 검수 단계에 인력을 투입해 피드백을 얻고, 검수한 후 개선점을 찾는 방향으로 나아가고 있다.
데이터 라벨링과 DB구축
좋은 성능을 가진 AI는 데이터 가공 프로세스 설계와 원천 데이터 검수에 있다. 맛집은 요리비법에 있는 것과 같은 이치이다. AI 역시 제대로 설계되고 컨설팅을 거친 학습 데이터가 중요하다. 음식에서 식재료 배합이 중요한 것처럼 원천 데이터가 라벨링 과정에서 좋은 학습 데이터를 생성해냈는지, 검수 단계도 중요하다.
1단계(원시 데이터): 데이터는 정형(텍스트) 데이트와 비정형(영상, 음성) 데이터로 나눌 수 있으며, DB도 대상이 될 수 있다. 이때 주의할 점은 원시 데이터의 저작권과 보안(개인정보) 문제를 사전에 해결해야 한다.
2단계(데이터 수집/정제): 수집된 데이터가 AI 학습시키는데 필요한 목표와 기준을 평가하는 과정이 필요하며, 데이터의 부정성/적정성을 식별하여 수집하고 정제된 데이터를 대상으로 DB를 구축한다.
3단계(데이터 라벨링): 데이터의 라벨링 대상은 영상, 음성 및 텍스트로 구분하며, 영상은 이미지 주석기법으로 영상을 분석하고 각 객체에 라벨링을 진행하고 음성은 전사를 기반으로 라벨링을 하며, 텍스트(원문)는 형태소(形態素: 가장 작은 단위) 기반으로 분류 테그(꼬리표)를 부여하게 된다.
4단계(데이터 검증): 라벨링이 된 데이터는 유효성을 확인하고 개인정보와 같은 민감정보는 비식별화 여부를 검증하게 된다.
5단계(데이터 베이스 구축): AI는 인위적으로 라벨링 데이터를 통해서 지속적으로 기계학습을 시키는 과정이며, 이 데이터는 DB로 구축하여 수시로 사용할 수 있도록 안정하게 보관한다.
데이터 활용 방안 구체화
정확도 높은 AI학습을 위해서는 데이터의 양, 적합성, 편향성, 가공방법 등을 고려하여 데이터를 수집 및 가공해야 한다. 또한 AI 컨설턴트, 정책전문가, AI 데이터 컨설턴트, 데이터 플랫폼 개발자 등 전문가 그룹은 컨설팅을 통해 목적을 구체화하여 프로젝트 리스크를 최소화한다.
따라서 AI 기술의 채택을 방해하는 요인은 “데이터 부족 또는 품질 문제”이다. 데이터를 다루는 데이터 과학자, 분석가, AI 개발자들에게 “좋은 데이터”는 목표에 도달하기 위해 가장 중요한 요소이다. 결과적으로 AI는 좋은 데이터에서 시작한다는 사실에 주목해야 한다.
|
|
|
|
홈페이지관리자 기자  .
“주간문경을 읽으면 문경이 보인다.”
- Copyrights ⓒ주간문경.
무단 전재 및 재배포 금지 -
|
|
|
|
 주간문경
기사목록 | 기사제공 : 주간문경
|
|
|
|
|
|
|
|
|
|
실시간
많이본
뉴스
|
|
|
|
|
|
종합
커뮤니티
