전체 글
-
GNN Overview 및 검색 엔진에 연결해 보기 (Predict Then Propagate: Graph Neural Networks Meet Personalized PageRank)BIG DATA & AI 2022. 6. 27. 20:49
데이터는 점점 더 방대하고 복잡해지고 있다. 행과 열로 이루어진 세계는 컴퓨터에 친숙한 환경일 뿐이다. 실생활에서 사람들은 관계를 통해 삶을 탐색하고 유추한다. 이 문구는 graph thinking/modeling에 무지했던 저를 일깨워 주었고 모든 문제를 matrix로 embedding한 deep learning으로 풀 수 있을 것만 같던 환상을 합리적으로 깨부쉈습니다. 최근 GNN에 관심을 가지게 된 계기이기도 하고 공부하면서 이 분야는 너무 어렵다! 는 사실도 알게 되는 중입니다. 😂😂 이 글을 통해 막연했던 GNN에 한 발짝 다가서길 바랍니다. What is GNN? GNN은 Graph Neural Network의 약자로, graph라는 자료구조를 이용하여 신경망으로 인공지능을 학습시키는 방법입니..
-
[책 리뷰] 구글 BERT의 정석BOOK 2022. 6. 26. 22:10
고등학교 때 '수학의 정석'이라는 책을 누구나 한 번쯤 접해봤을 것이다. 읽어본 사람들은 느끼겠지만 정석-이라는 책 제목만큼 너무나 원칙적이고 scratch부터 차근차근 스텝을 밟아 나간다. 단호하게 말해서 재미는 없지만 따라가다 보면 어느새 수학의 고수가 되어 있다. 구글 BERT의 정석도 그러한 형식으로 BERT에 대해서 정석적으로 알려준다. 나는 모든 자연어 처리 엔지니어들에게 이 책을 추천하고 싶다. 단순히 BERT를 import해서 training만 시키던 실무자들에게 Transformer 의 encoder, decorder를 component 단위로 하나하나 쪼개서 어떻게 돌아가는지 알려준다. 이를 이해하고 나면 BERT의 진정한 fine-tuning에 대해 좀 더 접근할 수 있지 않을까. 최..
-
[책 리뷰] 케라스로 구현하는 딥러닝 / 양자인공지능(QAI) 예제BOOK 2022. 4. 24. 18:31
이 책은 keras 기반의 정말 실용적이고 다양한 딥러닝 모델(ANN, DNN, CNN, RNN, AE, GAN, UNET, RL, QAI)들을 다루고 있다. 실무에는 도움이 많이 될 것으로 보이나, 개인적으로 읽었을 때 기초부터 차근차근 설명해주며 따라가는 느낌이 아니라 이미 알고 있는 machine learning 개념들을 읊으면서 예제들을 빠르게 휙휙 던져주는 구조이기 때문에 딥러닝 초보에게는 추천하지 않는다. 눈에 띄었던 점은 다른 책들과는 다르게 양자인공지능(QAI)을 다루고 있다는 점인데, 아래에서 QAI 간단한 개념 이해를 해보고, 코드 구현을 통해 양자 시뮬레이션을 돌려 보자. 양자인공지능 개념 양자인공지능(Quantum Artificial Inteligence, QAI)이란, 양자컴퓨터를..
-
프로젝트 점검 및 앞으로의 계획THINKING 2022. 4. 22. 07:54
오늘은 약간의 감성이 묻어있는, 최근 연초에 있었던 일들을 정리해보고 계획을 다짐해보고자 한다. 연초에 굉장히 좋은 '타이밍'들이 있었다. 무려 2개의 기회가 있었는데, 결과적으로는 둘 다 잘 되지는 않았다. 일련의 과정을 통해 느낀 점은, 기회라는 것은 그 기회를 노리는 사람에게만 보이고 평소에 실력을 쌓아 놓아야 그 기회를 잡을 수 있는 힘이 있다는 것이다. 즉 관심을 가지지 않았다면 없었을 기회들이고, 설령 내 주변을 스쳐 지나갔더라 하더라도 눈치채지 못하며 또 잡을 여력도 없었을 것이다. 하나는 예전 유관부서 리더님께서 오퍼를 주셨던 케이스로, 부서 이동을 할 수 있는 기회였다. - A 사건이라고 칭하겠다 - A의 경우에는 내가 원하는 직무와는 약간의 거리가 있었지만, A 부서가 속한 부문이 회사..
-
[책 리뷰] 파이썬 라이브러리를 활용한 머신러닝 (2판)BIG DATA & AI/Machine Learning 2022. 3. 31. 22:37
이 책은 무려 Scikit-learn 핵심 contributor인 안드레아스 뮐러가 지은 '머신러닝 바이블'이라고 감히 소개한다. 머신러닝 이론과 실습을 전반적으로 시작/복습하기 좋으며, 머신러닝에 관심이 있는 개발자라면 누구나 이해할 수 있는 책이다. 물론 머신러닝을 해 본 사람들에게는 기초를 다시 닦기에도 너무 좋은 책이다. 즉 초급자부터 실무자에게 모두 도움이 되는 알찬 contents를 담고 있다고 할 수 있겠다. 다만 머신러닝에 관한 책이라 딥러닝은 keras만 잠깐 언급할 뿐 딥하게 다루지는 않는다. 참고로 1판에 비해서 개정2판은 흑백->컬러본으로 좀 더 컨텐츠 가시성이 좋아졌으며 trendy한 코드를 많이 담고 있다고 한다. 지도 학습, 비지도 학습, 모델 평가, NLP 등이 다뤄지고 마지..
-
분류 모델에 대한 성능 측정하기 (Model Evaluation)BIG DATA & AI 2022. 3. 27. 19:26
분류 task에 대해서 열심히 분류 모델을 만들었다고 가정하자. 이 분류기-classifier-가 '잘' 만들어졌는지는 어떻게 판단할까? 본 포스팅에서는 confusion matrix를 이용한 model evaluation 방법만 다루고 있습니다. 그 외 auc-roc curve, logisitc loss 등 다양한 방법이 있습니다. Confusion Matrix Confusion matrix (혼동 행렬) 는 분류 모델의 성능을 측정하는 matrix 중 하나로, 가장 기본적인 형태를 띠고 있다. TP (True-Positive) : 진짜 양성, 즉 positive로 예측했고 실제로 positive (True) 인 경우를 의미한다. FN (False-Negative) : 가짜 음성, 즉 negative로..
-
대학원 논문 작성법 - 한양대학교, 학위논문을 중심으로GRADUATE SCHOOL 2022. 3. 14. 20:19
논문, 도대체 어떻게 써야 하지? 모든 석사생들이 그렇겠지만 논문을 처음 읽어보고, 쓰게 된다. 다만 논문들이 이렇게 생겼으니까 나도 이렇게 써야지- 라는 생각으로 무작정 쓰기보다는, 논문이 어떤 구조로 쓰여 있고 어떤 방식으로 써야 하는지, 팁은 있는지 (철저한 MBTI J성향이라고 할 수 있다..ㅎ) 알아보고 싶었는데 마침 한양대 비교과강좌를 들을 수 있는 시스템 (HY-LU) 에 관련 강의가 있어, 수강하고 요약본을 공유해보려고 한다. :) 학위논문의 구조 1. 표지 (표제지) 2. 인준서 1. 국문초록 2. 목차 (표목차, 그림목차) 1. 서론 : 연구 배경 및 필요성, 목적, 논문의 전체 계요 2. 본론 - 이론적 배경 : 연구모형의 변수에 대한 내용 정리 (개념, 구성요소, 선행연구) - 연구..
-
[논문 리뷰] PRIDE: Predicting Relationships in ConversationsBIG DATA & AI/NLP 2022. 3. 9. 22:52
Character Relationship Extraction 분야에 관심이 있어서, 관련 논문을 리뷰하려고 한다. PRIDE라는 독일의 Max Planck Institute for Informatics라는 연구소에서 21년 EMNLP 학회에 게재된 논문이다. Abstract PRIDE는 BERT와 transformer 기반의 neural multi-label classifier이다. Dataset은 기존의 문어체 위주의 dataset 연구와는 다르게 utterence (발화) dataset인 영화 스크립트와 TV쇼를 이용한 논문이다. Introduction 해당 논문은 흥미로운 motivation을 제공하고 있는데, social media conversation에서 user간의 관계를 도출해내는 예제이다..