Deep Learning through deep learning

논문 및 코드 링크 (sota) https://paperswithcode.com/paper/c-rnn-gan-continuous-recurrent-neural Papers with Code - C-RNN-GAN: Continuous recurrent neural networks with adversarial training Implemented in 2 code libraries. paperswithcode.com 네 번째 논문은 역시나 GAN 논문이다. 다른 점은 모델에 사용될 데이터가 기존의 수치나 이미지가 아닌 연속적인 음악 데이터라는 것이다. 연속적인 데이터를 다루기 위해 RNN을 GAN에 접목했다는 것은 매우 흥미로운 주제라고 생각했다. 몇 달 전에 CNN과 RNN을 접목하여 텍스트 데이터와 이..

논문 및 코드 링크 (sota) https://paperswithcode.com/method/gan Papers with Code - GAN Explained A GAN, or Generative Adversarial Network, is a generative model that simultaneously trains two models: a generative model $G$ that captures the data distribution, and a discriminative model $D$ that estimates the probability that a sample came from the tra paperswithcode.com 세 번째 논문은 연구 주제의 가장 근간이 되었던 GAN 에 ..

해당 논문 링크 https://www.dbpia.co.kr/pdf/pdfView.do?nodeId=NODE11485084 DBpia 논문, 학술저널 검색 플랫폼 서비스 www.dbpia.co.kr 앞선 논문은 GAN 모델에 대한 논문이었다. 같은 GAN 모델을 다루지만 이번에는 DCGAN 모델을 기반으로 한 노이즈 제거 모델에 대한 논문 리뷰를 하려고 한다. 영어 논문에 비해 상대적으로 술술 읽혔지만 핵심을 중점으로 파악하기 위해 노력했다. 최대한 논문에 대한 핵심을 위주로 리뷰를 정리해 나가고자 한다. Topic 논문에서 제시하는 아이디어의 배경을 요약하자면, X-선 촬영에 있어 이미지의 노이즈가 병명 진단의 정확성을 떨어뜨리는 요인이 되며, 이러한 노이즈를 제거하고자 한다. 기존의 노이즈 제거 방법과..

해당 논문링크 https://openaccess.thecvf.com/content_ICCV_2019/papers/Liu_Coherent_Semantic_Attention_for_Image_Inpainting_ICCV_2019_paper.pdf 어느덧 대학 졸업을 앞두고 석사의 길로 발을 들이게 되었다. 어깨 너머로 박사님, 석사님 혹은 같은 인턴들을 여럿 보아오면서 기존의 공부 방식에 대한 고민을 하게 되었다. 딥러닝이라는 분야 속 이미지관련 영상처리 분야를 혼자 독학하기도 하고, 교수님의 지도를 받고, 비슷한 처지의 사람들의 조언을 받으면서 어찌어찌 공부를 해온 것이 지난 1년 6개월 부터이다. 그러던 와중에 이제는 프로그래밍의 구현 및 창조밖에 답이 없을까 싶은 시기에 비슷한 목표를 가진 석사형의 조..

2D 이미지에 Moire 패턴을 투영시켜 얻은 이미지를 토대로 3D 높이 측정을 할 수 있다. 수많은 공장 부품이나 소자들의 높이를 2D 이미지만으로 측정할 수 있으며, 이를 위해서는 Moire 패턴이 투영된 이미지가 필요하다. 이미지는 총 4장의 이미지가 사용되며 0도, 90도, 180도, 270도로 투영된 Moire 이미지이다. 높이 측정에 앞서 Phase Map 이미지를 제작해보고자 한다. Introduction PCB 부품의 4장의 Moire 패턴이 투영된 이미지는 다음과 같다. 각각 각도가 다른 Moire 패턴이 투영되어 cos파를 이훈다. 픽셀값이 점차 어두워졌다가 밝아졌다를 반복하며 Moire 패턴이 만들어진다. 이 4장의 사진을 통해 Phase Map 으로 변환한 결과 이미지는 다음과 같다..

이번에도 어김없이 대회를 진행하면서 라벨링의 필요성을 느꼈고 그 과정에 대해 공유하고자 한다. 이번 대회는 k-ium 에서 주최하는 의료경진대회이다. 이미지를 보고 뇌동맥류 여부를 판별하는 모델을 구축하는 것을 목표로 한다. 모델은 image classification 혹은 object detection 이 필요해보였다. 대회에서 주어진 데이터셋은 그저 9000여장의 이미지 파일이었고, 바로 모델에 학습시키려고 보니 클래스 분류가 되어있지 않았다. 참 난감했고, 추가적으로 주어진 csv파일에서는 해당 이미지 이름을 인덱스로하여 뇌동맥류 여부 및 위치에 대한 정보가 들어있었다. 대회에서 요구하는 사항이 csv 파일을 통해 이미지를 알아서 분류하여 학습시켜라 라는 것임을 알 수 있었다. 이 글에서는 csv ..

앞서 json 파일을 가지고 image에 라벨링 하는 방법에 대해 알아보았다. 이번에는 json 파일을 가지고 해당 정보들을 csv 파일로 저장해보려고 한다. 모델링을 하는데 앞서 바로 이미지를 이용하여 학습할 수 있지만, csv파일을 통해 이미지의 라벨 정보를 불러옴으로써도 학습이 가능하다. Introduction 앞선 #1 글에서와 다르게 이번에는 대회에서 사용했던 모든 json 파일을 이용할 예정이며, 이미지는 별도로 사용하지 않을 예정이다. json 파일의 정보만을 csv파일에 저장하는 것이니 이미지는 필요하지 않다. 다만, 모델을 학습시키기 위해서는 csv파일에 이미지 경로도 추가할 예정이다. 먼저 json 폴더는 아래와 같다. json 파일을 통해 만든 csv 파일 결과는 아래와 같다. 라벨링..

이미지관련 딥러닝 모델을 다루면서 데이터 전처리에 대한 필요성을 절실히 느끼게 되었다. 이미지 분류와 관련하여 실용화하기 위해서 혹은 각종 대회에서 요구 및 제공하는 데이터셋을 살펴보면 단순 클래스 분류가 아닌, 라벨링을 통한 Object Detection 모델이 주를 이룬다. 하지만 막상 시작에 나서고 모델링에 앞서 우리는 데이터를 다루는 곳에서부터 어려움을 겪게 된다. 모델은 수많은 오픈소스가 존재해 익숙해지는 방법으로 활용이 가능하나, 데이터 전처리는 데이터의 형태 및 구성에 대해 자세히 알고있어야 하며, 어느정도의 알고리즘 실력을 요구한다. 이미지 영상처리에 대한 연구를 진행하고 있는 입장에서 이미지 데이터셋에 대한 데이터 전처리를 먼저 다루고자 한다. Introduction 순수 이미지 전처리에..

딥러닝의 가장 근간이 되는 인공신경망 ANN 에 대해 다루고자 한다. ANN 의 경우, Perceptron 이라는 것에 대해 시각적으로 이해하고, Input 이 Output으로 나가는 과정을 적어보고, 직접 구현해봄으로써 전체적인 틀을 이해할 수 있다고 생각한다. ANN 은 이후의 모든 딥러닝 모델의 근간이 되므로 그 구조나 틀에 대해 어느정도 감을 잡고 들어간다면, 이후 오픈소스 활용에 있어서도 대강적인 구조 변경이 가능할것이라 생각한다. 물론 대중적으로 널린 세부적인 이론을 제외한 필수 이론만 보고 넘어가며 구현만 해볼 예정이니 코드를 참고하여 활용하길 바란다. Theory 딥러닝이라는 용어 이전에 우리는 Perceptron이라는 용어를 알고 들어가야 한다. Single Layer Perceptron..

GAN에 대해 실습을 통해 어느정도 시각적으로 이해가 되었으리라 생각한다. 제목을 보고 갑작스럽게 넘어가는것에 대해 당황 할 수도 있으리라 생각하지만, DCGAN 이후 등장하는 CGAN > Pix2Pix 모델같은 경우에는 단순 조건 추가이거나, 한 쌍의 이미지가 필요하듯이 제한적인 요소가 많다. 자체적으로 데이터를 만들어 확실한 결과를 뽑기 위해선 이 두 단계의 모델을 건너뛰고자 한다. (물론 이 글을 읽는 분들은 이미 두 모델에 대한 이론적 지식이 충분할 것이라고 생각한다.) CycleGAN에서는 초기 GAN을 소개할 때 언급했던 이미지 복원이라는 목표를 가능하게 한다. 서론이 길었으니 일단 이론부터 살펴보자. Theory DCGAN 이후의 모델에 대한 세 줄 요약 들어가겠다. CGAN - 라벨 정보를..