티스토리

데이터 분석 입문가

검색하기

블로그 홈

데이터 분석 입문가

ncs10042.tistory.com/m

공부이야기

구독자: 0

방명록 방문하기

주요 글 목록

지방의 부동산(아파트)의 미래는 어떻게 될까? 30대 중반을 다가서니 주변에 부동산을 얘기하는 지인들이 참 많아졌다. 다른 큰 의미는 없지만 대부분이 얘기하는 부동산은 아파트를 말하는데 아무리 생각해봐도 지방 아파트를 구입하는 것에 대한 비전이 보이지 않아 글로 정리하고 싶어져 갑자기 블로그에 들어오게 되었다. 우선 지방 아파트 부동산 투자에 대해 비관적인 나의 이유는 다음과 같다. 1. 수도권 인구 집중화(지방 기피 문화) 2. 대한민국의 인구감소 3. 과시 문화 4. 너무 많은 개발 부지와 아파트들 1번과 2번은 굳이 설명할 필요도 없이 지방 부동산에 비관적인 이유를 들라하면 저 둘을 뽑을 것이다. 그만큼 지방 부동산에 대한 수요가 없어지니 가격에 내려간다는 것은 큰 지식이 없어도 납득이 가는 이유이다. 혹시나 이러한 반대의견이 있을 수 있다. .. 공감수 0 댓글수 0 2023. 8. 4.
2장. 빅데이터 탐색 데이터 전처리란? 분석에 쓰이는 데이터의 첫 형태를 원시 데이터를 raw data라고 하는데 이를 분석하고자 하는 형태로 정제, 통합, 변환 등을 하는 과정을 데이터 전처리라고 한다. 데이터 전처리 과정을 거치지 않는다면 왜곡된 분석결과가 도출될 수 있다. 데이터 전처리의 유형 데이터 정제 raw data에는 결측치나 노이즈, 이상치와 같은 요소들이 포함되어 있어 이는 오류를 발생하게 할 수 있는데 이러한 원인들을 파악하여 제거하거나 대치 값을 넣어 정제를 하여야한다. 결측치 : 입력 값이 누락이 되어 값이 존재하지 않고 비어있는 값을 의미한다. 결측치 유형에는 완전 무작위 결측, 무작위 결측, 비무작위 결측이 있다. 결측치를 처리할때는 단순 대치법과 다중 대치법으로 분류 되어지며 단순대치법은 단순삭제.. 공감수 0 댓글수 0 2022. 9. 1.
표준화 (Standardization) , 정규화 (Normalization)란? 표준화(Standardization) 표준화는 데이터의 평균을 0으로, 분산 및 표준편차를 1로 만들어 준다. 스케일링 시 평균과 표준편차가 사용된다. 표준화를 하는 이유는 서로 다른 통계 데이터를 비교하기 용이하기 때문이다. 이는 특성이 정규분포일 경우 유용하다. 정규화 (Normalization) 표준화와 마찬가지로 데이터의 스케일을 조정하지만 모든 데이터가 0~1사이의 값을 가진다. 스케일링 시 최대, 최솟값이 사용되어진다. 특성의 크기가 다를때 사용되어지며 분포에 대해 모를 떄 유용하다. 공감수 0 댓글수 0 2022. 8. 8.
LSTM (Long Short Term Memory) 복습하기 LSTM 이란 무엇일까? 기존 RNN이 출력과 먼 위치에 있는 정보를 기억할 수 없다는 단점(장기의존성문제), 기울기 소실 문제를 보완하여 장/단기 기억을 가능하게 설계한 신경망의 구조를 말하며 거시적으로 시계열을 예측하기 위하거나 자연어 처리에서 활용된다. 기존 RNN 모델의 구조는 아래와 같다. LSTM의 구조는 아래와 같다. 위에서 볼 수 있듯 RNN과 LSTM의 차이에서 볼 수있는 차이점은 내부구조가 좀더 복잡해진 것이다. 이는 이전 셀의 정보를 그대로 가지고와 현재 셀에서의 데이터의 결과를 갖고 다음셀로 전달하는 역할을 한다. 즉 3개의 게이트와 1개의 셀이 존재하며 이러한 구조로 RNN의 단점을 보완함 공감수 0 댓글수 0 2022. 8. 8.
인공지능과 머신러닝, 딥러닝의 차이는 뭘까? 한마디로 인공지능은 머신 러닝과 딥러닝을 포함한 개념이며 머신 러닝을 딥러닝을 포함한 개념이라고 생각하면 된다. 그렇다면 간단하게 각각 단어가 무슨의미를 담고 있는지 공부해보자. 인공지능(AI : Artificial Intelligence) 사람이 해야 할 일을 기계가 대신할 수 있는 모든 자동화가 해당된다. 인간의 학습능력이나 추론능력 언어 이해능력 등 인간의 지능의 한 단면을 프로그램화 시킨 것 인공지능 기술은 세가지로 분류가 되는데 학습지능 : 지식을 확보하는 알고리즘을 연구하는 지능 * 머신러닝은 이에 포함된다. 단일지능 : 시각과 청각, 언어 등 한 종류를 입력한 데이터로 지식을 확보하는 지능 복합지능 : 여러 형태의 입력을 통합하여 이해하여 인사이트를 도출하는 지능 머신러닝 (Machine L.. 공감수 0 댓글수 0 2022. 7. 18.
까뮤(Camus, VSOP) with 덕명밤 리뷰 계속해서 다량의 맥주를 마시다간 살을 못뺄거 같아.. 증류주를 마시는게 그나마 다이어트에 도움이 되지 않을까 싶어 가자주류에 방문하여 위의 사진들의 술을 사와 이번달을 함께 보내고자한다. 리뷰도 마찬가지로 위의 술과 더 추가될 술로 리뷰글을 작성할 것이다! 왜 위스키만 마시다가 꼬냑을? 꼬냑을 갑작스럽게 마시게 된 경위는 집 근처 상권에 덕명밤 이라는 Bar가 들어와 신기한 마음에 별 생각없이 혼자 방문을 해보았다. 덕명밤.. 덕명동의 밤을 책임진다는 의미일까? 가게오픈은 7시 클로즈는 1시~4시라고 하신다.(손님이 있으면 늦게까지 하신다고 함) 가게 분위기는 조용하고 어두워서 혼자 다니기거나 친구가 놀러오면 데려가기에 참 좋은 술집이 생겼다 싶었다. 처음에는 익숙한 위스키를 마시며 사장님과 이런 저런 .. 공감수 0 댓글수 0 2022. 7. 17.
[알고리즘]깊이 우선 탐색(DFS), 너비 우선 탐색 (BFS)란? 깊이 우선 탐색 (DFS Depth-First Search) 이란? 그래프에서 특정한 경로로 탐색하다 특정한 상황에서 깊은 부분을 우선적으로 탐색하고 다시 돌아가 다른 경로로 탐색하는 알고리즘이다. 그래프는 최대한 가까우면서 낮은 숫자를 가진 노드를 방문한다. DFS는 스택 자료구조를 이용하며 상세한 구조 동작은 아래와 같다. 탐색 시작할 노드를 스택에 삽입하고 *방문 처리한다. 스택의 최상단 노드에 방문하지 않은 인접 노드가 있다면 그 인접 노드를 스택에 넣고 방문 처리를한다. 방문하지 않은 인접 노드가 없다면 스택에서 최상단 노드를 꺼낸다. 2번의 과정을 더 이상 할 수 없을 때까지 반복한다 *방문 처리란?: 스택에 한 번 삽입이되어 처리된 노드가 다시 삽입되지 않도록 체크하는 것을 말한다. 너비 우.. 공감수 0 댓글수 0 2022. 6. 21.
[알고리즘] 그래프란? 그래프(Graph)란? : 노드(Node)= (정점 Vertex)과 간선(Edge)으로 구성되어 있다. 그래프를 탐색한다라는 의미는 하나의 노드를 시작으로 다른 다수의 노드를 방문하는 것을 의미한다. 트리와 그래프는 비슷하지만 그래프는 위 B->C->E->D->B처럼 루프 형성이 가능하다. 두 노드가 간선으로 연결되어있다는 의미는 두 노드가 인접하다는 의미와 동일하다. 프로그래밍에서는 그래프는 *두가지 방식(행렬(Matrix), 리스트(List))으로 표현이 가능한데 *인접 행렬(Adjacency Matrix) 방식 : graph =[[]] *인접 리스트(Adjacency List) 방식 : graph=[ [] for _ in range(n)] 이 두 방식의 차이점은 아래와 같다 행렬 방식에서는 모든 관.. 공감수 0 댓글수 0 2022. 6. 21.
[자료구조]해시(HASH)란? 해시란 무엇인가? 데이터를 다루는 방법 중의 하나로써 검색과 저장이 파이썬의 키(KEY)와 밸류(VALUE)와 비슷하게 활용되며 KEY를 활용하여 값에 직접적으로 접근이 가능한 구조로, 평균 시간복잡도가 O(1)으로 빠른 기법이다. 속도가 빠를 수 있는 이유를 위 그림으로 이해해보자. 해시 테이블을 사용하지 않은 데이터 뭉치라면 필요한 값을 찾기 위해서는 배열의 데이터 값을 처음부터 하나하나 둘러보게 되는데 위의 그림처럼 해시 함수를 적용한 테이블을 사용한 형태를 사용하게 된다면 key값에 해시를 적용해 고유한 인텍스를 통해 데이터를 한번만 검색하면 되기 때문이다. 해시함수는 무엇인가? 위의 그림처럼 키를 해시테이블 내의 버킷(=hashes=해시값)으로 매핑 시키는것 입력값의 형태는 다양하고(보통 문자열.. 공감수 0 댓글수 0 2022. 6. 17.
[알고리즘] 퀵 정렬[Quick sort]이란? 분할 알고리즘의 하나로 평균적으로 굉장히 빠른 시간 복잡도를 갖고 있는 정렬 방법이다. 기준이 되는 데이터 값을 정하고 (이를 피벗(Pivot)이라고 칭한다.) 이를 중심으로 피벗 앞에는 피벗보다 작은 값이 오고 피벗 뒤의 값에는 피벗보다 큰 값이 온다. 이렇게 두 개의 작고, 큰 부분들을 나누는 것을 분할이라고 부르며 분할되어진 두개의 리스트에 대해 재귀적으로 이 과정을 반복하여 정렬한다. 코드는 아래와 같다. def quick_sort(li): if len(li) pivot: more.append(i) else: equal.append(i) return quick_sort(less)+equal+quick_sort(more) 공감수 0 댓글수 0 2022. 6. 17.
[알고리즘] 삽입 정렬(Insertion Sort) 삽입 정렬(insertion sort)란? 데이터를 하나씩 확인하면서 , 각 데이터를 적절한 위치에 삽입 하는 정렬 방법이다. 더불어 삽입 정렬은 특정한 데이터가 정렬 되기 이전에 앞까지의 데이터들은 이미 정렬 되어있다고 가정하고 그 리스트에서 적절한 위치에 삽입이 되어지는 알고리즘이다. 데이터가 필요할 때만 위치를 바꾸므로 실행시간 면에서 효율적인 정렬 방식이다. 선택 정렬과 같이 동작원리를 직관적으로 이해하기 쉬운 알고리즘이다. def insertion_sort(li): for i in range(1, len(li)): for j in range(i, 0, -1): # 인덱스 i부터 1까지 감소하며 반복하는 문법 if li[j] < li[j-1]: li[j], li[j-1] = li[j-1], li[.. 공감수 0 댓글수 0 2022. 6. 13.
[알고리즘] 버블 정렬 (bubble sort) 버블정렬(bubble sort) 란? 서로 이웃한 두 원소의 크기를 비교한 결과 순서대로 정렬되어 있지 않으면 교환을 반복하여 정렬을 진행하는 알고리즘이다. 구체적으로 말하자면 첫 번째 데이터와 두 번째 자료를, 두 번째 자료와 세 번째 자료를 ···· 이런 식으로 마지막 자료까지 서로 크기를 비교하여 교환하며 정렬하는 방식이다. 이렇게 첫번째 회전이 수행이 되고나면 가장 큰 자료가 맨 뒤로 가게 되며 두번째 회전부터는 맨마지막의 자료를 정렬에서 제외하고 이 과정을 반복한다. 가장 간단하지만 비효율적인 알고리즘이다. 이는 위의 예시와 같이 목록이 이미 정렬이 되어있어도 모든 항목을 검사하기 때문에 많은 시간복잡도가 걸리기 때문이다. 코드는 아래와 같다. def bubble_sort(li): n = len.. 공감수 0 댓글수 0 2022. 6. 13.
죄 또는 형벌에 대하여(D.P) 간만에 D.P를 다시보며 순수하게 미술선생의 꿈을 꾸는 조석봉 역(조현철)을 보며 사회가 정의한 법에 대한 모순을 느꼈다. (지금 당장 생각이 안난다면 조석봉은 선임에게 조선봉 자신의 성기를 보여주고 자위를 하라는 명령을 받은 장면이 두번 이상이며 못이 박힌 벽 앞에서 맞고 피난 장면을 떠올려보라.) 사회에서 정의한 죄라 함은 분명 죄를 지은 사람에 대해, 혹은 죄를 지었다고 확정이 될 증거가 있는 사람에게만 형별을 주는 것을 의미한다. 하지만 모순적이게도 D.P 이야기뿐만 아니라 사람은 자기가 지은 죄에 대해 크게 반성(작게 무단횡단 또는 쓰레기 버리기 등) 반성하지도 않는다. 반성을 하는 일이 생긴다면 그건 누군가가 잘못된 행동에 관해 지적을 할 순간일 것이다. 이러한 관점에서 보자면 법은 과연 우리.. 공감수 0 댓글수 0 2022. 6. 9.
[자료구조] 스택(Stack)과 큐(Queue) 스택(Stack) 스택이란 나중에 넣은 데이터가 먼저 반환이 될 수 있도록 설계한 메모리 구조를 의미한다. LIFO(Last In Firt Out), 선입후출이 라고도 한다. 실생활에서의 예시는 윈도우 운영체제를 들수있다. (컴퓨터를 실행시 가장 먼저실행되고 종료시 가장늦게 꺼진다.) 파이썬으로 구현한 스택의 클래스는 아래와 같다. class Stack(): def __init__(self): self.data = [] def push(self, item): self.data.append(item) def pop(self): if len(self.data) > 0: return self.data.pop() else: return None def return_stack(self): return self.d.. 공감수 0 댓글수 0 2022. 6. 8.
내장 함수 set 함수 사용법 SET 함수의 선언법 set 함수는 딕셔너리와 비슷하지만 key가 없고 값만 존재한다. set 함수는 자동으로 중복된 값을 제거해준다. set의 선언은 set([])을 이용하거나 중괄호를 선언하고 바로 값을 삽입하면 된다 아래 예시로 확인해보자. SET 함수의 이용법 set에서 원소의 추가는 add를 사용한다. set에서의 여러 값의 추가는 update를 사용한다. set에서의 제거는 remove 함수 혹은 discard 를 사용한다 이 둘의 차이는 remove는 set 함수내에 값이 없으면 오류를 보여주고 discard를 이용하면 안에 값이 없더라도 에러가 발생하지 않는다. 아래 예시를 통하여 확인해보자. 공감수 0 댓글수 0 2022. 6. 1.
생성적 적대 신경망(Generative Adversarial Networks GAN)이란? 생성적 적대 신경망(GAN)이란? 생성자(Generator)는 실제와 동일한 데이터를 만들기 위해 노력하고 판별자(Discriminator)가 생성된 데이터가 진짜인지 아닌지를 판단하는 학습방식이다. 이는 이미지를 받아 이진분류(실제 이미지에는 양수 가짜에는 음수를 출력)를 수행하는 역할을 하기 떄문에 LeakyReLU함수를 사용한다. 처음에는 성능이 안좋을 수 도 있지만 학습을 거듭하며 점점 발전하게 되는 기술이다. 아래예시를 보고 이해를 해보자 Cycle Gan이란? 특정이미지의 도메인특성을 유사한 부분의 특성으로 적용할 수 있는 역할을 하는 GAN 생성자 2개가 필요하며 각각의 생성자는 A→B, B→A 로 이미지를 변경하게 된다. 판별자 역시 2개를 필요하며. 각각의 판별자는 A, B 에 대해 Re.. 공감수 0 댓글수 0 2022. 5. 19.
오토인코더(AutoEncoder, AE) 란? 오토인코더란 무엇이고 왜 사용하는 것일까? AutoEncoder(오토인코더)는 입력 데이터를 저차원의 벡터로 압축한 뒤 원래 크기의 데이터로 복원하는 신경망이다. 쉽게 말해 단순히 입력을 출력으로 복사하는 신경망이다. 비지도학습에서 사용되며 입력 데이터를 가공하여 목표값을 출력하는 방식이 아니기에 레이블 정보가 없는 데이터의 특성을 분석하거나 추출을 목표로 사용된다. 또한 차원 축소나 데이터의 압축, 데이터의 노이즈 제거, 이상치를 탐지하는데에도 이용한다. 인코더의 역할은 입력을 내부 표현(데이터 차원을 축소시켜 벡터로 압축)으로 변환을 한다. 디코더의 역할은 내부 표현(*Latent 벡터를 업샘플링)을 출력으로 변환 한다. *Latent(잠재 벡터): 원본 데이터보다 차원이 작으면서, 데이터의 특지을 .. 공감수 0 댓글수 0 2022. 5. 18.
이미지 분할(Segmentation)이란? 이미지 분할(Segmentation)이란? 한 이미지 내에서 같은 의미(사람은 사람,차는 차)를 가지고 있는 부분을 구분해내는 것이다. 즉 사진의 예시처럼 이미지 내 다양한(사람,자동차,도로,표지판) 등을 픽셀 단위로 레이블을 예측하여 구분하는 것이다. 분할은 크게 Semantic Segmentation와 (Semantic) Instance Segmentation로 구별되는데 예시는 아래와 같다. 위의 예시처럼 많은 의자를 동일하게 의자 하나로 볼 것인가, 아니면 각 의자마다 레이블을 줄 것인가? 의 차이이다. 분할에 대한 의미는 파악했으니 대표적인 분할 모델인 FCN, U-net에 대해 알아보자 FCN(Fully Convolutional Networks) 분할(Segmantation)은 픽셀 단위로 분.. 공감수 0 댓글수 0 2022. 5. 17.
합성곱 신경망(Convolutional Neural Network, CNN)이란? 합성곱 신경망 (Convolutional Neural Network, CNN) 은 왜 필요한 것일까? 기존에 배운 DNN(Deep Neural Network)은 커다란 해상도의 이미지들을 분석할 때 데이터를 1차원 형태로 변환하여 하나의 row로 표현하기가 쉽지가 않았다. 반면 CNN은 이미지의 한 픽셀과 주변 픽셀들의 연관관계를 유지시켜 영상, 사진과 같은 데이터 처리를 할 때 발생하는 문제들을 해결하여 공간적 특성을 유지한채 학습을 할 수 있다. 간단히 말해 이미지를 인식하기 위한 패턴을 찾는데 유용하기 때문에 자주 사용된다. 어떻게 CNN은 이미지의 주변 픽셀들 분석하는걸까? CNN은 크게 특징 추출 단계(Feature Extraction)와 이미지 분류 단계(Classification)으로 이루어.. 공감수 0 댓글수 0 2022. 5. 16.
시바스리갈 18년산(CHIVAS REGAL Gold Signature) 리뷰 시바스리갈 18년산을 구매하게 된 경위 술을 참 좋아하는 나는 봉명동에 술을 마시러 자주 들리는데, 근처에 위치한 가자주류가 집가는 길에 위치해 있어 어쩔 수 없이 자주 방문하게된다...(?)는 뻥이고 나는 어떤 술이 있나 뭘 먹어볼까 고민하는 행복한 취미가 있다. 그냥 삼삼한 와인이라도 한 두개씩 사기도 하고, 가끔은 혼자 기분을 내기 위해 내 기준에서 고급 술(10만원 이상급) 술을 구매하여 소소하지만 큰 행복을 느끼기도 한다. 그래서 이번 방문에는 소소하지 않으면서도 큰 행복을 느끼려 마음먹고 로얄 샬루트를 구매하러 갔는데 사장님께서 가정의 달이라 많이 매입을 해두셨는데도 불구하고 선물용으로 이미 다 나가 품절이라고 하셨다. ㄷ ㄷ 하여 대체제를 찾다보니, 사장님께서 추천해주신건 로얄샬룻과 비슷한 .. 공감수 0 댓글수 0 2022. 5. 16.
소프트맥스(Softmax) 함수란? 딥 러닝을 이해하기 위해서는 다양한 회귀를 이해할 필요가 있다고 한다. 이번에는 출력층에서 자주 사용되는 활성화 함수인 소프트맥스 회귀에 대해 공부해보고자한다. 우선 소프트 맥스에 대해 알기전에 기본적인 선형회귀와 로지스틱 회귀의 개념에 대해 살짝 정리하고 진행해보자. (더보기 클릭) 더보기 선형 회귀(Linear Regression) 다른 변수의 값을 변하게 하는 독립변수 x와, x에 의해 변하게 되는 종속변수 y가 있다고 가정하자. y=wx+b의 경우에는 단순 선형회귀라 한다. y=w1x1+w2x2 .....+b의 경우에는 다중 선형 회귀라고 한다. 단순 선형의 예로는 오래 걸으면 살이 빠진다. 다중 선형의 예로는 집 가격은 지하철역, 극장, 치안, 학군 등에 관련 되어 있다. 로지스틱 회귀(Logi.. 공감수 0 댓글수 0 2022. 5. 15.
Transfomer란 무엇일까? Transformer란? 기존의 RNN은 데이터가 입력되어지는 순서대로 들어오기에 때문에 처리를 해야하는 시퀀스가 많아질수록 연산 시간이 점점 길어졌다. Transformer 모델은 토큰을 동시에 입력받아 병렬 연산이 가능하다. 즉 기존적인 RNN과는 다르게 ATTENTION을 병렬화 하여 뛰어난 성능을 보여주는 모델이다. 아래 그림으로 기존 모델과 Transfomer의 모델의 차이점을 확인해보자. 기존의 모델에서는 입력 순서대로 토큰이 들어오기에 토큰에 대한 위치 정보가 필요없었다. 그렇다면 Transfomer에서 입력이 병렬적으로 들어온다면, 어디에 어떤 토큰이 있는지 알 수 있는 것일까? 이 질문에 대한 해답은 트랜스포머 모델의 기본적인 구조에서 확인해 볼 수 있다. 빨갛게 색칠되어 있는 Posit.. 공감수 0 댓글수 0 2022. 5. 15.
장단기 기억망(Long-short Term Memory, LSTM)이란? 장단기 기억망(Long-short Term Memory, LSTM)이란? RNN의 기울기 정보 크기를 조절하기 위한 GATE를 추가하여 기울기 소실,폭발의 문제를 해결하기 위해 고안된 모델 RNN이라고 하면 일반적으로 LSTM을 가리키며 이는 연속적인 데이터를 처리하기 위한 대표적인 모델이다. 기존 RNN의 모델은 기울기 문제로 인해 문장에 대한 분류,번역,생성 성능이 낮았지만 이를 해결함 그러한 기울기 문제를 해결하기 위해 LSTM에선 *3가지 GATE가 추가 되었는데 이는 아래와 같다. 더보기 * 3가지 GATE 1. Forget Gate (ft): 과거 정보를 얼마나 유지할 것인가? 2. Input Gate (It) : 새로 입력된 정보는 얼마만큼 활용할 것인가? 3. Output Gate (Ot).. 공감수 0 댓글수 0 2022. 5. 14.
순환 신경망(Recurrent Neural Network)이란? 더보기 순환 신경망(Recurrent Neural Network)의 구조와 작동 방식에 대해 알아보자 순환 신경망(Recurrent Neural Network, RNN)이란? 입력과 출력을 시퀀스 단위(연속형 데이터)로 처리하기 위해 고안된 신경망 시퀀스 모델이다. 연속형 데이터(Sequentail Data)의 의미는 어떠한 순서로 오는지에 따라 단위 의미가 달라지는 데이터를 의미한다. 시퀀스 단위로 처리되는 것의 예로 연속적인 주가 흐름, 구글 번역기 긴 문장 등의 예가 있다. 그렇다면 RNN은 어떤 구조를 가졌기에 연속형 데이터를 처리할 수 있는 것일까? 왼쪽에 위치한 이미지의 3가지 화살표를 보면 다음의 의미와 같다 입력 벡터(Xt)가 은닉층에 들어가는 것을 나타내는 화살표 (Whx) 은닉층(ht).. 공감수 0 댓글수 0 2022. 5. 13.
언어 모델(Language Model),통계적 언어 모델(Statistical Language Model, SLM)이란? 언어 모델에 대해 이해하고, 통계 기반 언어모델의 한계점을 알아보자. 언어 모델(Language Model)이란? 문장과 같은 단어 *시퀀스에서 각 단어에 확률을 할당하여 컴퓨터가 처리를 할 수 있도록 하는 모델이다. 단어 시퀀스에 확률을 할당한다는 말의 의미를 이해하기 위해 예시를 들어보겠다. 어머니가 차려주신 저녁을 P(맛있게 먹었다.) | P(맛있게 하였다.) 위 예시에서 문맥에 맞는 문장은 왼쪽 문장이며 이에 왼쪽 문장에 높은 확률을 할당할 것이다 쉽게 말해 언어 모델은 기존의 데이터셋을 바탕으로 주어진 작업의 단어나 문장을 예측하는 작업을 의미한다. *시퀀스(sequence): 연속적인 사건이나 순서 통계적 언어 모델(Statistical Language Model, SLM)이란? 통계적 언어.. 공감수 0 댓글수 0 2022. 5. 13.
문나이트의 ost중 하나 𝑬𝒏𝒈𝒆𝒍𝒃𝒆𝒓𝒕 𝑯𝒖𝒎𝒑𝒆𝒓𝒅𝒊𝒏𝒄𝒌 - 𝑨 𝑴𝒂𝒏 𝑾𝒊𝒕𝒉𝒐𝒖𝒕 𝑳𝒐𝒗𝒆 더보기 디즈니 플러스에서 제공하는 문나이트를 재밌게 보며 이 ost가 몇번 나왔는데 영어를 잘하지 못하는 나에게는 공감이 되는 노래라는 것을 생각해보지도 못하고 분위기가 아침에 기분좋게 들으며 일어날 수 있는 노래라고만 생각했다. 하지만 마지막화 마지막 장면에서 왠지 묘한 감정이 들어 가사가 어떤지 제대로 들어보고 가사에 대한 다양한 해석들을 보았고 왠지 부족한 번역들을 보며 나의 해석과 덯대어 누군가는 나같은 경험을 가진 사람들, 그들에게는 이 노래가 가슴에 와닿는 노래일 수도 있다는 생각이 들어 글을 적는다. 원곡의 제목은 아래와 같으며 바로 아래엔 나의 해석을 곁들여 보겠다. https://www.youtube.com/watch?v=YwJqnh8qBCI&ab_channel=H%C3%BClya%C3%.. 공감수 0 댓글수 0 2022. 5. 12.
Word2Vec(Word to Vector)란 무엇일까? Word2Vec이란? 말 그대로 Word(단어)를 to(2) Vector(벡터)로 나타내는 것 가장 널리 사용되고있는 *임베딩 방법중의 하나이다. 특정 단어 양 옆에 있는 두 단어의 관계를 활용하기 때문에 *분포가설을 잘 반영하고 있다. CBoW(Continuous Bag-of-Words) 방식과 Skip-gram 방식이 있으며 아래 그림으로 쉽게 차이를 볼 수 있다. 두 방식에 대해 알아보기 전, 두 모델에서 등장하는 개념인 윈도우(window)를 이해해야 하는데 단어를 중심으로 앞, 뒤에서 몇 개 의 단어를 살펴볼 것인지(어떤 문맥 단어로 둘 것인지)를 정해주는 것, 그 범위를 윈도우라고 한다. *임베딩 : 사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자인 벡터로 나타내는 결과나 과정을 의미한다. .. 공감수 0 댓글수 0 2022. 5. 11.
원-핫 인코딩(One-Hot Encoding) 이란? 원-핫 인코딩(One-Hot Encoding)이란? 컴퓨터가 이해하기 쉽도록 자연어 처리를 위한 하나의 기법인 원핫 인코딩은 단어들의 크기를 벡터의 차원으로하고 표현하고 싶은 단어의 인덱스에 1을 부여하고, 다른 인데스에 0을 부여하여 단어를 벡터로 표현하는 방식(원-핫 벡터)이다. 원핫인코딩은 간단한 방법이지만 단어들 간 유사도도 구하기 어렵다(무조건 0이나온다) 라는 단점이 있다. 때문에 단어간 유사도를 구할 때에는 코사인 유사도를 사용한다. 또한 표현해야할 단어의 개수가 늘어날 수록, 벡터를 저장하기 위해 필요한 공간이 늘어난다(차원이 증가한다)라는 단점이 있기에 저장 공간 측면에서는 굉장이 비효율적이다. 때문에 word2vec을 이용한다. 아래의 예시를 보고 이해하자 공감수 0 댓글수 0 2022. 5. 6.
자연어 처리(Natural Language Processing)와 토큰화(tokenization)란? 자연어(NLP: Natural Language Processing)란? 자연어는 사람들이 일상적으로 사용하는 언어(자연어)와 인공적으로 만들어진 인공어와 구분하여 부르기 위한 개념이다. 자연어를 통해선 다양한 일을 할 수 있는데 분류, 추론, 독해, 질의 응답, 품사 태깅, 개체명 인식..등이 있다 이러한 용어들을 자연어 이해(Natural Language Understanding)라고 하며 자연어 이해를 통해 만들어진 결과물을 자연어 생성(Natural Language Generation)이라 한다. 자연어 처리에서 크롤링 등으로 얻어낸 데이터가 필요에 맞지않게 전처리가 안된 상태라면 데이터를 사용하고자 하는 용도에 맞춰 토큰화, 정제화, 정규화 작업이 필요하다. 간단한 용어 몇 가지들을 정리해보자 말.. 공감수 0 댓글수 0 2022. 5. 4.
도함수란 기울기란? 도함수란? 도함수는 기울기와 같은 의미이다. 기울기는 도함수의 개념을 쉽게 말한 개념이라고 생각하면 된다고 한다. 미분의 의미란 특정 지점에서의 기울기이다. 기울기를 좀 더 명확히 정의하자면 삼각형의 높이를 밑변으로 나눈 값이다. 아래 예시를 들어 이해를 해보도록 하자. a가 만약 2라고 가정한다면 f(a)=3a이니 f(a)=6이 된다. 그렇다면 a의 값을 살짝 밀어 a가 2.001이라고 해보자. 이제는 f(a)는 세배를 곱한 6.003이 되게 된다. 즉 f(a)는 0.003이 증가하게 된다 a는 오른쪽으로 0.001을 올린 것에 비해 위로는 3배가 늘어난다는 의미는 f(a)=3a 함수에서 기울기,도함수는 3이라는 것이다. 이는 a가 어떤 값일 때도 f(a)의 기울기가 3이기 때문에 이렇게 표현을 할 .. 공감수 0 댓글수 0 2022. 5. 3.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.