이미지 복구에 사용되는 NVIDIA의 Neural Network

안녕하십니까! Hun!입니다!

오늘은 지포스 시리지로 그래빅 카드(GPU)가 유명한 엔비디아(NVIDIA)사가 인공지능의 기술 중 하나인 뉴런 네트워크를 이미지에 사용하였다는 기사를 접하여서 이를 번역하여 소개해드리고자합니다. 아래의 글이 그 기사로 'slashgear' 사이트의 〈NVIDIA neural network reconstructs images with missing parts by JC Torres〉를 번역하여 저의 생각을 담아 정리한 글임을 미리 공지합니다. 물론 저작권 관련 문제가 생기게 될 경우 삭제 및 수정을 하도록 하겠습니다.

NVIDIA 신경 네트워크는 누락된 부분이 있는 이미지를 재구성시킵니다.

기계학습과 컴퓨터 이미징의 발전으로 인상적이지만 현실에서 불가능했던 범죄 드라마의 장면이 마침내 현실에서도 가능하도록 만들고 있습니다. 마치 악명이 높은 CSI 방법인 “zoom in, enhance”와 같이 말입니다. 그 동안 적극적으로 실리콘을 밀어붙여왔던 NVIDIA로부터의 최근 성과는 기계학습 연구의 프로세서인 테슬라 V100 GPU와 같습니다. 앞서 언급한 향상된 기술과는 달리 이 딥러닝 기술은 이미지의 구멍과 누락된 부분을 원래의 것으로 보이게 현혹시키는 무언가로 대신 이 부분을 채울 수 있습니다.

이 프로세스는 "이미지 복원(인페인팅)"이라고 불리지만 이는 새로운 것이 아닙니다. 물론NVIDIA 연구진들은 지금까지 그 어떤 다른 기술보다 그들의 기술이 우수하다고 자랑하고 있으며 그들은 분명하게 이에 대한 예시를 보여줄 수 있습니다. 그 전의 이미지 복원 기술이 원래 이미지의 가운데와 가까운 작은 직사각형 영역에만 제한이 되었던 것에 비해 NVIDIA의  기술은 크기와 모양, 위치 심지어 화질의 누락된 부분일지라도 상관없이 복구시킬 수 있습니다. 

신경 네트워크를 훈련시키기 위하여 NVIDIA 연구진들은 다양한 줄무늬와 구멍을 가진 55,000개 이상의 무작위 마스크를 기본적인 필터로써 신경 네트워크에 제공해주었습니다. 또 일찍이 이미지에 구멍을 만들도록 적용된 세트인 마스크가 있는 곳을 테스트하기 위해서 수천 개의 이미지들을 사용했습니다. 그리고 신경 회로망이 속임수가 아님을 확실하게 하기 위하여 연구진들은 또한 일찍이 사용된 세트가 아닌 전적으로 새로운 구멍과 누락된 부분들만 사용하였습니다. 그 결과는 가끔 조금 이상한 점까지는 아니더라도 확실히 인상적이고 설득력이 있었습니다.

NVIDIA는 이러한 애플리케이션이 사진을 복원하거나 원하지 않는 콘텐츠를 제거하는데 있어 사진 편집 소프트웨어에 큰 도움이 될 것으로 기대하고 있습니다. 물론 이것은 덜 무고한 목적(less innocent purposes)을 위해서 사용될 수도 있는데 이것으로 인해 가짜 뉴스 같은 가짜 콘텐츠를 식별하는 것이 조금 더 어려워지게 만들 수 있다는 것을 의미합니다.

인공지능에서 신경 회로망 이론을 사용한 것이 딥러닝인데 이 기술은 이미 기사에서도 밝힌 것처럼 이미 존재했고 우리 일상에 사용되고 있습니다. 예를 들면 어도브 사의 포토샵이 바로 그 예인데 포토샵에서도 사진을 인식하여 누락된 부분을 주변의 배경과 비슷하게 만들 수 있는 것을 아실 것입니다. 엔비디아에서 이미지 복원 기술을 좀 더 발전시켜서 포토샵보다 더 뛰어난 편집기능을 발휘할 수 있는 소프트웨어 개발에 기여를 한다고 이 기사는 주장하는 것 같습니다. 또 이미지 인식 알고리즘으로 딥러닝의 CNN(Convolutional neural network)이 많이 사용되는데 엔비디아에서도 이 알고리즘을 사용해 연구했는지 궁금하기도 합니다.