BIG DATA & AI
-
[논문 리뷰] LLM2LLM: Boosting LLMs with Novel Iterative Data EnhancementBIG DATA & AI/NLP 2024. 4. 10. 23:32
복학을 하고 (추가등록도 하고) 졸업준비를 하면서 최근에 스터디 2개를 열심히 돌리고 있다. 그 중 하나는 한 스타트업이 진행하는 스터디 방식을 차용한 흥미로운 방식으로 진행하고 있는데, 각자 논문을 준비해서 15분~20분간 읽고 15분간 의견을 공유하면서 퀵하게 진행하는 방식이다. 이번주면 3주차인데, 해 본 결과 15분이라는 시간 자체가 논문 하나를 정독하기에는 버겁고 빠르게 skimming해야 해서 집중력이 장난 아니다. 혼자서 1시간동안 흐린 눈으로 붙잡고 읽는 것보다 훨씬 효율이 좋아서 애정하고 있다. 각설하고, 스터디 중 그냥 최근에 나온 LLM 논문을 무심코 읽어봤는데 (무려 arXiv:2403.15042!) 너무 마음에 들었던 논문이 있어서 휴일에 다시 정독하면서 꼭꼭 씹어 먹어본 결과를 ..
-
GPT가 로봇으로, 그림 그려주는 AI '스케처 X' | CES 2023 | 판교 현대백화점BIG DATA & AI 2023. 5. 30. 21:22
주말에 비가 와서 자연스럽게 백화점으로 향하게 되었다. 그러다가 'GPT가 탑재된 그림 그려주는 AI'가 있다는 소문(?)을 듣고, AI를 공부하는 사람으로서 그냥 지나칠 수 없어 밥먹고 바-로 10층으로 향했다. 생각보다 로봇을 구경하는 사람들이 많았고, (그냥 백화점에 사람이 많았던 것일수도 있다) 특히 그림 그리는 AI는 웨이팅을 해야 할 정도로 인기 폭발이었다. 웨이팅 주변에는 AI가 그린 초상화가 붙어 있었고, 또 그냥 기본 얼굴형에 자유롭게 그림을 그릴 수 있는 공간이 마련되어 있었다. 왼쪽 사진에서 가운데 붙여진 그림 2점은 분명히 미대생이 그렸으리라. 👍👍 로봇의 생김새는 생각보다 기이했는데, 가운데에 카메라가 놓여져 있고 왼쪽에는 로봇 팔, 오른쪽에는 목에 얼굴만 붙어 있어서 LED로 표..
-
Hugging Face의 따끈따끈한 신기능 Tool, Agent (New Features of Hugging Face: tools and agents)BIG DATA & AI 2023. 5. 13. 15:54
🎈본 포스팅은 Hugging Face의 정말정말 따끈따끈한 신기능인 Tool과 Agent를 담고 있습니다. 무려 일주일도 안 된 23년 5월 10일에 릴리즈했다는 사실! Hugging Face란? 허깅페이스는 자연어 처리(NLP)를 전문으로 하는 회사이며, NLP를 위한 오픈소스 라이브러리와 도구 개발에 많은 기여를 하고 있다. 허깅페이스는 언어 번역, 텍스트 분류, 감성 분석, 질문 답변 등 다양한 NLP 작업에 사용되는 사전 훈련된 모델을 제공하며, 가장 인기 있는 제품은 PyTorch 위에 구축된 Transformers 라이브러리이다. 허깅페이스는 Transformers 라이브러리 외에도 토크나이저, 데이터셋, 파이프라인 등 NLP에 사용되는 다양한 오픈소스 도구를 개발하고 있다. 또한 허깅페이스 ..
-
핫한 ChatGPT의 API 오픈 소식 및 사용기BIG DATA & AI 2023. 3. 10. 11:03
ChatGPT의 등장 요즈음 인공지능의 발전 속도는 거의 빅뱅의 우주팽창을 보는 것 같다. 갈수록 빠른 시간에 이전보다 훨씬 높은 성능을 보이고 있고, 이제는 기술적인 이슈를 넘어서 사용성, 개인 정보 등의 문제까지 화두가 되고 있고 무엇보다 전공자 뿐만 아니라 비전공자들도 AI에 대한 관심을 많이 가지는 부분에서 대중적인 인식에 대한 확산이 많이 되었다고도 느낀다. GPT-3를 기반으로 한 대규모 언어 모델이 나오면서 꽤 AI 씬에서는 센세이션이 일어났었는데, 최근에 OpenAI에서 ChatGPT라는 초초초대규모 언어 모델이 등장하면서 정말 세상이 뒤집어졌다(?). 그 인기가 어느 정도냐면, ChatGPT는 문서 작성에 능하기 때문에 꽤 많은 동료들이 업무 보조용으로 비서처럼 두고 쓰기도 하는 것부터 ..
-
Deep Learning for Graphs: Naïve Approach부터 Graph Encoder, GIN까지BIG DATA & AI 2022. 8. 30. 23:45
Matrix는 풀 수 없는 문제들을 graph를 이용해 술술 풀어버리는 GNN의 매력에 한창 빠져있는 저는, 대학원 졸업논문에까지 GNN을 도입하기로 결정했습니다! 😂😂 또한 Computer Vision 분야에서 자율주행을 맡고 있는 친구에게도 GNN 영업을 성공했다는 후문이… (진짜) 아무래도 아직 CV나 NLP 분야에 비해 상대적으로 연구 분야가 늦게 떠올라서, 개척 할 만한 연구가 많다는 점 또한 흥미로운 것 같아요. 다만 친구가 말하길 GNN 최신 논문들 리뷰하는데 코드가 아직 안 올라와 있어서 논문만 열심히 읽었다고 합니다.. 이전 포스팅에서는 GNN이 무엇인지, 그리고 활용 분야와 한계점에 대해서 소개하고 PageRank에 GNN을 활용한 논문을 함께 리뷰해보았는데요, https://sysou..
-
GNN Overview 및 검색 엔진에 연결해 보기 (Predict Then Propagate: Graph Neural Networks Meet Personalized PageRank)BIG DATA & AI 2022. 6. 27. 20:49
데이터는 점점 더 방대하고 복잡해지고 있다. 행과 열로 이루어진 세계는 컴퓨터에 친숙한 환경일 뿐이다. 실생활에서 사람들은 관계를 통해 삶을 탐색하고 유추한다. 이 문구는 graph thinking/modeling에 무지했던 저를 일깨워 주었고 모든 문제를 matrix로 embedding한 deep learning으로 풀 수 있을 것만 같던 환상을 합리적으로 깨부쉈습니다. 최근 GNN에 관심을 가지게 된 계기이기도 하고 공부하면서 이 분야는 너무 어렵다! 는 사실도 알게 되는 중입니다. 😂😂 이 글을 통해 막연했던 GNN에 한 발짝 다가서길 바랍니다. What is GNN? GNN은 Graph Neural Network의 약자로, graph라는 자료구조를 이용하여 신경망으로 인공지능을 학습시키는 방법입니..
-
[책 리뷰] 파이썬 라이브러리를 활용한 머신러닝 (2판)BIG DATA & AI/Machine Learning 2022. 3. 31. 22:37
이 책은 무려 Scikit-learn 핵심 contributor인 안드레아스 뮐러가 지은 '머신러닝 바이블'이라고 감히 소개한다. 머신러닝 이론과 실습을 전반적으로 시작/복습하기 좋으며, 머신러닝에 관심이 있는 개발자라면 누구나 이해할 수 있는 책이다. 물론 머신러닝을 해 본 사람들에게는 기초를 다시 닦기에도 너무 좋은 책이다. 즉 초급자부터 실무자에게 모두 도움이 되는 알찬 contents를 담고 있다고 할 수 있겠다. 다만 머신러닝에 관한 책이라 딥러닝은 keras만 잠깐 언급할 뿐 딥하게 다루지는 않는다. 참고로 1판에 비해서 개정2판은 흑백->컬러본으로 좀 더 컨텐츠 가시성이 좋아졌으며 trendy한 코드를 많이 담고 있다고 한다. 지도 학습, 비지도 학습, 모델 평가, NLP 등이 다뤄지고 마지..
-
분류 모델에 대한 성능 측정하기 (Model Evaluation)BIG DATA & AI 2022. 3. 27. 19:26
분류 task에 대해서 열심히 분류 모델을 만들었다고 가정하자. 이 분류기-classifier-가 '잘' 만들어졌는지는 어떻게 판단할까? 본 포스팅에서는 confusion matrix를 이용한 model evaluation 방법만 다루고 있습니다. 그 외 auc-roc curve, logisitc loss 등 다양한 방법이 있습니다. Confusion Matrix Confusion matrix (혼동 행렬) 는 분류 모델의 성능을 측정하는 matrix 중 하나로, 가장 기본적인 형태를 띠고 있다. TP (True-Positive) : 진짜 양성, 즉 positive로 예측했고 실제로 positive (True) 인 경우를 의미한다. FN (False-Negative) : 가짜 음성, 즉 negative로..