본문 바로가기

전체 글100

합성곱 신경망(Convolutional Neural Network, CNN)이란? 합성곱 신경망 (Convolutional Neural Network, CNN) 은 왜 필요한 것일까? 기존에 배운 DNN(Deep Neural Network)은 커다란 해상도의 이미지들을 분석할 때 데이터를 1차원 형태로 변환하여 하나의 row로 표현하기가 쉽지가 않았다. 반면 CNN은 이미지의 한 픽셀과 주변 픽셀들의 연관관계를 유지시켜 영상, 사진과 같은 데이터 처리를 할 때 발생하는 문제들을 해결하여 공간적 특성을 유지한채 학습을 할 수 있다. 간단히 말해 이미지를 인식하기 위한 패턴을 찾는데 유용하기 때문에 자주 사용된다. 어떻게 CNN은 이미지의 주변 픽셀들 분석하는걸까? CNN은 크게 특징 추출 단계(Feature Extraction)와 이미지 분류 단계(Classification)으로 이루어.. 2022. 5. 16.
시바스리갈 18년산(CHIVAS REGAL Gold Signature) 리뷰 시바스리갈 18년산을 구매하게 된 경위 술을 참 좋아하는 나는 봉명동에 술을 마시러 자주 들리는데, 근처에 위치한 가자주류가 집가는 길에 위치해 있어 어쩔 수 없이 자주 방문하게된다...(?)는 뻥이고 나는 어떤 술이 있나 뭘 먹어볼까 고민하는 행복한 취미가 있다. 그냥 삼삼한 와인이라도 한 두개씩 사기도 하고, 가끔은 혼자 기분을 내기 위해 내 기준에서 고급 술(10만원 이상급) 술을 구매하여 소소하지만 큰 행복을 느끼기도 한다. 그래서 이번 방문에는 소소하지 않으면서도 큰 행복을 느끼려 마음먹고 로얄 샬루트를 구매하러 갔는데 사장님께서 가정의 달이라 많이 매입을 해두셨는데도 불구하고 선물용으로 이미 다 나가 품절이라고 하셨다. ㄷ ㄷ 하여 대체제를 찾다보니, 사장님께서 추천해주신건 로얄샬룻과 비슷한 .. 2022. 5. 16.
소프트맥스(Softmax) 함수란? 딥 러닝을 이해하기 위해서는 다양한 회귀를 이해할 필요가 있다고 한다. 이번에는 출력층에서 자주 사용되는 활성화 함수인 소프트맥스 회귀에 대해 공부해보고자한다. 우선 소프트 맥스에 대해 알기전에 기본적인 선형회귀와 로지스틱 회귀의 개념에 대해 살짝 정리하고 진행해보자. (더보기 클릭) 더보기 선형 회귀(Linear Regression) 다른 변수의 값을 변하게 하는 독립변수 x와, x에 의해 변하게 되는 종속변수 y가 있다고 가정하자. y=wx+b의 경우에는 단순 선형회귀라 한다. y=w1x1+w2x2 .....+b의 경우에는 다중 선형 회귀라고 한다. 단순 선형의 예로는 오래 걸으면 살이 빠진다. 다중 선형의 예로는 집 가격은 지하철역, 극장, 치안, 학군 등에 관련 되어 있다. 로지스틱 회귀(Logi.. 2022. 5. 15.
Transfomer란 무엇일까? Transformer란? 기존의 RNN은 데이터가 입력되어지는 순서대로 들어오기에 때문에 처리를 해야하는 시퀀스가 많아질수록 연산 시간이 점점 길어졌다. Transformer 모델은 토큰을 동시에 입력받아 병렬 연산이 가능하다. 즉 기존적인 RNN과는 다르게 ATTENTION을 병렬화 하여 뛰어난 성능을 보여주는 모델이다. 아래 그림으로 기존 모델과 Transfomer의 모델의 차이점을 확인해보자. 기존의 모델에서는 입력 순서대로 토큰이 들어오기에 토큰에 대한 위치 정보가 필요없었다. 그렇다면 Transfomer에서 입력이 병렬적으로 들어온다면, 어디에 어떤 토큰이 있는지 알 수 있는 것일까? 이 질문에 대한 해답은 트랜스포머 모델의 기본적인 구조에서 확인해 볼 수 있다. 빨갛게 색칠되어 있는 Posit.. 2022. 5. 15.
장단기 기억망(Long-short Term Memory, LSTM)이란? 장단기 기억망(Long-short Term Memory, LSTM)이란? RNN의 기울기 정보 크기를 조절하기 위한 GATE를 추가하여 기울기 소실,폭발의 문제를 해결하기 위해 고안된 모델 RNN이라고 하면 일반적으로 LSTM을 가리키며 이는 연속적인 데이터를 처리하기 위한 대표적인 모델이다. 기존 RNN의 모델은 기울기 문제로 인해 문장에 대한 분류,번역,생성 성능이 낮았지만 이를 해결함 그러한 기울기 문제를 해결하기 위해 LSTM에선 *3가지 GATE가 추가 되었는데 이는 아래와 같다. 더보기 * 3가지 GATE 1. Forget Gate (ft): 과거 정보를 얼마나 유지할 것인가? 2. Input Gate (It) : 새로 입력된 정보는 얼마만큼 활용할 것인가? 3. Output Gate (Ot).. 2022. 5. 14.
순환 신경망(Recurrent Neural Network)이란? 더보기 순환 신경망(Recurrent Neural Network)의 구조와 작동 방식에 대해 알아보자 순환 신경망(Recurrent Neural Network, RNN)이란? 입력과 출력을 시퀀스 단위(연속형 데이터)로 처리하기 위해 고안된 신경망 시퀀스 모델이다. 연속형 데이터(Sequentail Data)의 의미는 어떠한 순서로 오는지에 따라 단위 의미가 달라지는 데이터를 의미한다. 시퀀스 단위로 처리되는 것의 예로 연속적인 주가 흐름, 구글 번역기 긴 문장 등의 예가 있다. 그렇다면 RNN은 어떤 구조를 가졌기에 연속형 데이터를 처리할 수 있는 것일까? 왼쪽에 위치한 이미지의 3가지 화살표를 보면 다음의 의미와 같다 입력 벡터(Xt)가 은닉층에 들어가는 것을 나타내는 화살표 (Whx) 은닉층(ht).. 2022. 5. 13.
언어 모델(Language Model),통계적 언어 모델(Statistical Language Model, SLM)이란? 언어 모델에 대해 이해하고, 통계 기반 언어모델의 한계점을 알아보자. 언어 모델(Language Model)이란? 문장과 같은 단어 *시퀀스에서 각 단어에 확률을 할당하여 컴퓨터가 처리를 할 수 있도록 하는 모델이다. 단어 시퀀스에 확률을 할당한다는 말의 의미를 이해하기 위해 예시를 들어보겠다. 어머니가 차려주신 저녁을 P(맛있게 먹었다.) | P(맛있게 하였다.) 위 예시에서 문맥에 맞는 문장은 왼쪽 문장이며 이에 왼쪽 문장에 높은 확률을 할당할 것이다 쉽게 말해 언어 모델은 기존의 데이터셋을 바탕으로 주어진 작업의 단어나 문장을 예측하는 작업을 의미한다. *시퀀스(sequence): 연속적인 사건이나 순서 통계적 언어 모델(Statistical Language Model, SLM)이란? 통계적 언어.. 2022. 5. 13.
문나이트의 ost중 하나 𝑬𝒏𝒈𝒆𝒍𝒃𝒆𝒓𝒕 𝑯𝒖𝒎𝒑𝒆𝒓𝒅𝒊𝒏𝒄𝒌 - 𝑨 𝑴𝒂𝒏 𝑾𝒊𝒕𝒉𝒐𝒖𝒕 𝑳𝒐𝒗𝒆 더보기 디즈니 플러스에서 제공하는 문나이트를 재밌게 보며 이 ost가 몇번 나왔는데 영어를 잘하지 못하는 나에게는 공감이 되는 노래라는 것을 생각해보지도 못하고 분위기가 아침에 기분좋게 들으며 일어날 수 있는 노래라고만 생각했다. 하지만 마지막화 마지막 장면에서 왠지 묘한 감정이 들어 가사가 어떤지 제대로 들어보고 가사에 대한 다양한 해석들을 보았고 왠지 부족한 번역들을 보며 나의 해석과 덯대어 누군가는 나같은 경험을 가진 사람들, 그들에게는 이 노래가 가슴에 와닿는 노래일 수도 있다는 생각이 들어 글을 적는다. 원곡의 제목은 아래와 같으며 바로 아래엔 나의 해석을 곁들여 보겠다. https://www.youtube.com/watch?v=YwJqnh8qBCI&ab_channel=H%C3%BClya%C3%.. 2022. 5. 12.
Word2Vec(Word to Vector)란 무엇일까? Word2Vec이란? 말 그대로 Word(단어)를 to(2) Vector(벡터)로 나타내는 것 가장 널리 사용되고있는 *임베딩 방법중의 하나이다. 특정 단어 양 옆에 있는 두 단어의 관계를 활용하기 때문에 *분포가설을 잘 반영하고 있다. CBoW(Continuous Bag-of-Words) 방식과 Skip-gram 방식이 있으며 아래 그림으로 쉽게 차이를 볼 수 있다. 두 방식에 대해 알아보기 전, 두 모델에서 등장하는 개념인 윈도우(window)를 이해해야 하는데 단어를 중심으로 앞, 뒤에서 몇 개 의 단어를 살펴볼 것인지(어떤 문맥 단어로 둘 것인지)를 정해주는 것, 그 범위를 윈도우라고 한다. *임베딩 : 사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자인 벡터로 나타내는 결과나 과정을 의미한다. .. 2022. 5. 11.

티스토리툴바