728x90
반응형

Machine Learning 80

면접 질문 정리

Loss Function 모델의 성능 판단에 사용 loss가 클 수록 실제값 y와 예측값 y^의 차이가 커진다 Cost Function 오차가 최대로 줄어들 수 있는 함수식 : J(w,b) hypothesis로도 쓰는 듯 Gradient Descent (Optimize) J(w,b)를 최소화하는 w,b 찾기 여기서 알파는 learning rate Computation Graph J(a,b,c)를 어떻게 표현하냐면... Back Propagation 위의 계산식을 거꾸로 통과하면 back propagation ( 빨강) back propagation을 이용하여 Loss 함수를 최적화하기 위해 gradient를 계산 Logistic Regression Gradient Descent 이를 위의 Computat..

Machine Learning 2022.02.12

[scp] dataset을 다른 메모리에 저장해야할 때

scp 키워드, 즉 linux 기반에서 즉각적으로 소통할 수 있다면 편하다 #### mac에서는 먼저 원격 로그인 설정을 하자 이 때 나오는 host IP 주소와 hostname이 필요 https://support.apple.com/ko-kr/guide/mac-help/flvlt003/12.0/mac/12.0 원격 컴퓨터에 내 컴퓨터 속 폴더를 옮겨야 할 때 scp -r 나 -> 원격 -r 키워드는 폴더를 의미하며 둘 다 폴더 이름까지만 적어야 한다 (원격 컴퓨터에서 쳐야하느 명령어) scp -r {myHostName}@{myHostAddress}:~/Desktop/{sendFolder} ./{receiveFolder}/ 원격 컴퓨터의 파일을 내 컴퓨터로 옮겨야 할 때 (내 컴퓨터에서 쳐야하는 명령어) ..

RPN : Region Proposal Network

RPN이란 이미지 상의 수많은 anchor boxes에 대해서 lightweight binary classifier를 실행하고 object / no-object score를 산출한다 높은 objectness score를 가진 (positive) anchors는 두 번째 단계(Proposal Classification)을 거쳐서 분류된다 종종 positive anchor는 물체를 완벽히 커버하진 못 한다 그래서 RPN는 회귀를 통해 정제한다 위치와 크기에 대한 delta값이 이와 관련되었다 이를 통해 물체에 정확한 경계를 치기 위해 anchor를 이동하고 그 크기를 조정할 수 있게 되었다 +) Faster R-CNN 안에 사용되었음 Anchor란? 파란색은 ground truth (실제 사진에 그려진 bo..

Fast R-CNN

R-CNN Fast R-CNN Fast Region-based Convolutional Network for Object Detection Architecture 한 이미지의 전체 영역과 RoI(Regions of Interest)를 입력으로 받아서 fully coonvolutional network에 통과시킨다 각 RoI는 고정된 크기의 feature map으로 max-pooling된다 이는 RoI pooling layer에서 feature map으로부터 고정된 길이의 feature vector를 산출한다 FC(fully connected layer)에 의해 feature vector로 맵핑되고 두 개의 출력 레이러를 만드는데 하나는 softmax 확률이고 다른 하나는 class 별 bounding-b..

Semantic Segmentation과 Instance Segmentation

Computer Vision Task의 종류 Semantic Segmentation 사진 속에 어떤 대상이 나타나는지 식별 다만 대상 별 개수를 셀 수 없음 이는 그저 해당 군집(class)에 맞는 픽셀로 지정하는 것뿐이라서 sliding window를 이용하여 분류 문제로 처리할 수 있다. 각 픽셀 별로 축소된 이미지를 unpooling(upsampling) 하면서 커지게 생성하는 식으로 진행 Semantic Segmentation Encoder-Decoder Model이라고도 부르며, 대표적으로 FCN(Fully Convoluitonal Network)가 있다 인접 픽셀의 값을 복사해가면서 진행 Instance Segmentation 각 클래스마다 개수를 셀 수 있다 대표적으로 Mask RCNN이 있..

Attention - Transformer Architecture

convolutional 방식은 구조적으로 바로 옆 픽셀이 아니라면 볼 수 없음 즉 전체적인 이미지를 고려하는 것이 어려움 그래서 attention을 이용 각 픽셀의 중요도를 또다른 행렬로 표현하여 곱셈을 통해 중요한 지점을 부각시키기 Key, Query, Value key와 query의 유사도를 찾기 위해 를 구한 뒤 softmax를 적용하여 0~1로 치환 이렇게 나온 attention map을 value에 곱해서 어떤 녀석이 더 중요한지 알아냄 Attention은 GPT-3, BERT, Transformer 등 다양히 이용 Transformer Model Architecture Encoder Block Decoder Block

CPU/GPU 확인하기

해당 서버는 어떤 자원을 가지나 구경부터 해보자 https://nuggy875.tistory.com/30 CPU 정보 확인 전체 CPU 정보 : cat /proc/cpuinfo CPU 코어 수 확인 : cat /proc/cpuinfo | grep processor | wc -l 논리 코어 수 확인 : grep -c processor /proc/cpuinfo 물리 CPU 개수 확인 : grep "physical id" /proc/cpuinfo | sort -u | wc -l CPU 당 물리 코어 수 확인 : grep "cpu cores" /proc/cpuinfo | tail -1 GPU 정보 확인 lspci | grep -i VGA docker 개념 잡기 - 생활코딩

Machine Learning 2021.11.27

GAN

Generator는 진짜같은 가짜를 생성하고 Discriminator는 진짜와 생성된 가짜를 구분하며 서로 성장하는 구조 Generator는 Latent Space로부터 기본 이미지를 가져와 fake image를 생성 GAN 종류 0-1. Generative Adversarial Nets (2014) - Ian Goodfellow가 최초로 제안한 논문 - Generator에 ReLU activation과 Discriminator에 Max activiation을 배치 0-2. DCGAN (Deep Convolutional Generative Adversarial Network) (2015) GAN의 Generator와 Disciminator에 deep convolutional neural network를 ..

Latent Space Interpolation

https://towardsdatascience.com/understanding-latent-space-in-machine-learning-de5a7c687d8d Latent 데이터를 압축하는 방식. 이 과정에서 '숨겨진', '잠재의' latent 단어를 사용하게 된 것. 데이터 압축은 원래 표현보다 적은 비트를 사용하여 정보를 encoding하는 과정. 이미지 분류 모델이 학습이 진행될 수록 이미지 차원이 기하 급수적으로 증가한다. 그래서 이전에 감소시키는 과정을 넣음. 여기서 압축된 데이터를 재구성하는 모델이 필요한데 decoder역할을 하게 된다. 그럼 noise를 무시하는 방법을 학습하여 불필요한 정보를 제거할 수 있다는 장점이 있다 Space t-SNE와 같은 도구를 통해 2,3 차원 너머의 공..

728x90
반응형