U-Net은 biomedical image segmentation을 하기 위해 개발된 네트워크이다.
이 Network는 FCN(Fully Convolutional Network)을 기반으로 한다.
더 적은 양의 training image들로 더 정확한 segmentation이 가능하게끔 변경되고 확장되었다.
512 x 512 image segmentation이 modern GPU에서 1초가 채 걸리지 않는다고 한다.
전체적으로 Contracting path(축소)와 Expansive path(확장)로 구성된 대칭구조이고
U자 모양을 한다.
Contracting path에는 ReLU와 Maxpooling이 반복되는 전형적인 convolution이 있다.
Contraction을 하는동안,
feature information은 증가하는 반면
spatial imformation은 감소한다.
고해상도 feature들과 함께 up-convolution들과 concatenation을 통해서
expansive pathway는 feature와 spatial information을 결합한다.
위 그림에서 구조를 살펴보면,
- 572 x 572 크기의 이미지를 input으로 주고
- 3 x 3 사이즈의 필터 64장으로하여
- Activation Function은 ReLU를 사용하여
두 번의 Conv Layer를 거친다.
그리고 빨간색 화살표를 따라 아래로 내려가면,
- 2 x 2 사이즈의 필터로 맥스풀링 해준다.
- 그러면 284 x 284 이미지가 나오고
- 이것을 위에서와 마찬가지로 두 번의 Conv를 거친다.
이런식으로 네 번의 max pool을 거치고 다시 네 번의 up-conv(upsampling)을 해준다.
Up-sampling을 할 때에, 회색 화살표를 보면 copy and crop이라고 되어있는데
저장해 두었던 이미지들을 crop하여 upsample된 이미지에 concatenate한다.
즉, 이어붙여준다.
이 회색 화살표가 backpropagation 될 수 있는 통로라고 생각된다.
Skip Connection은 네트워크의 input과 output이 더해진 것을 다음 레이어의 input으로 사용하는 것을 말한다. Skip Connection 하는 이유는 압축을 했다가 해제하면 형태가 사라져 있는데 각각 이어 붙여줌으로써 본래 가지고 있던 Feature를 조금 더 살리는 것? 이라고 이해했다.
input channel은 1개인 반면 output channel은 2개이다.
이 이유는 한 픽셀당 가질 수 있는 경우의 수가 두 가지이기 때문이다.
(background이거나 foreground이거나)
전체 ▷ U-Net ▷ 관심 구조 ▷확대 ▷Segmentation
Fully Connected Layer를 사용하지 않아 속도가 빠르다.
U-Net은 어려운 것도 만병 통치약.. 기본적으로 85%까지는 끊어준다고한다.
Effect of class Balancing
FCN(Fully Convolutional Network)을 학습할 때,
각각의 class의 pixel-wise frequency에 따라 적절한 class balancing을 해주는 것이 중요하다. cross-entropy loss function에 weighting factor를 추가해 class imbalance를 해결한다.
Reference
https://en.wikipedia.org/wiki/U-Net
en.wikipedia.org
(64 -128 하고 사이즈를 줄이는 것이 더 잘됨.
bottleneck 줄여놓고 늘리는 것이 아니라 늘려놓고 줄이는 것?
픽셀단위로 덩어리덩어리 구분짓는다.
라벨을 붙인다.
ROI 사이즈가 다르기때문에 사이즈를 resize로 수정한다.
SVM과 Bbox reg (BoundingBox Regression)
문제가 있을만한 곳에 바운딩박스 그리기 그리고 물체 분류하기 (svm)
test time
spp-net
rpn
past rcnn
이해 가지 않는 나의 메모군)
'인공지능' 카테고리의 다른 글
| Deep Q Learning (0) | 2019.10.26 |
|---|