기하학적 딥러닝; https://geometricdeeplearning.com/lectures/

import graphviz
def gv(s): return graphviz.Source('digraph G{ rankdir="LR"'+s + '; }')

지도학습(Supervised learning) vs 비지도학습(Unsupervised learning) vs 강화학습(Reinforcement learning) 

gv(''' 
    "Machine learning" -> "Supervised learning"[label="(x,y),loss fn"]
    "Machine learning" -> "Unsupervised learning"[label="(x)"]
    "Machine learning" -> "Reinforcement learning"[label="loss fn"]
    "Supervised learning" -> "Classification"[label=""]
    "Supervised learning" -> "Regression"[label=""]
    "Unsupervised learning" -> "Clustering"[label=""]
    "Unsupervised learning" -> "Principal Component Analysis"[label=""]
''')
<!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN" "http://www.w3.org/Graphics/SVG/1.1/DTD/svg11.dtd"> G Machine learning Machine learning Supervised learning Supervised learning Machine learning->Supervised learning (x,y),loss fn Unsupervised learning Unsupervised learning Machine learning->Unsupervised learning (x) Reinforcement learning Reinforcement learning Machine learning->Reinforcement learning loss fn Classification Classification Supervised learning->Classification Regression Regression Supervised learning->Regression Clustering Clustering Unsupervised learning->Clustering Principal Component Analysis Principal Component Analysis Unsupervised learning->Principal Component Analysis
  • in Supervised Learning, the goal is to generate formula based on input and output values.
    • 입출력값으로 수식을 만드려는 지도학습
  • In Unsupervised Learning, we find an association between input values and group them.
    • 입력값으로 그룹화하거나 그 사이 관계를 찾으려는 비지도학습
  • In Reinforcement Learning an agent learn through delayed feedback by interacting with the environment.
    • 환경과 상호작용으로 보상을 통해 배워가려는 강화학습

검색해 본 2022 Trend..

검색 엔진의 개인화

검색 엔진google 등에서 가능할 유한하지 않은, 무한한 이미지 크롤링 가능성.

  • 개인화 제공할 수 있는 source

챗봇

기본 원리: 사용자와 통신하고 일반적으로 독립적으로 답변하는 쿼리를 받도록 프로그래밍 됌.

  • 대화를 떠나 개인화된 지원 제공을 통해 결제, 티켓 예매 등과 같은 사용자별 작업 수행까지 이어질 전망

스마트 어시스턴트

인간 비서로서 행동하는 서비스

개인 의료 기기

완전한 의료 데이터 엑세스, 웨어러블 장치의 빅데이터!

summary

  • 개인화에 초점이 맞춰져 있었다.

검색해 본 business trend

GAN

2021년 5월 21일에 나온 StyleGan2

unsupervised ML

채용 공고에서 찾은 기업의 trend

senior data scientist

  • Python 숙련자
  • 통계학, 운용과학, CS 및 정량 분석 관련 석사 및 박사
  • Hive, Spark와 같은 분산 데이터 컴퓨팅 도구에 대한 지식 및 경험
  • Java에 대한 지식 및 경험
  • Tableau, PowerBI 등 데이터 시각화 도구 사용 경험

data analyst

  • GA, Firebase, BigQuery 등을 활용한 데이터 처리 이해도가 높으신 분
  • 문제 정의, 가설 수립 및 분석에 이르는 A/B 테스트(버킷 테스트) 경험이 풍부하신 분
  • 코호트, 퍼널 분석 등의 서비스 데이터 분석 방법을 활용 또는 개발 해보신 분
  • 수학, 통계, 머신러닝 등의 업무와 유관한 학위를 소지하셨거나 지식을 보유하신 분

퍼널 분석이란, 특정 단계가 있으면 단계별 수를 파악하는..!

ref : https://medium.com/watcha/gnn-%EC%86%8C%EA%B0%9C-%EA%B8%B0%EC%B4%88%EB%B6%80%ED%84%B0-%EB%85%BC%EB%AC%B8%EA%B9%8C%EC%A7%80-96567b783479

(2020년 4월 글)

GNN과 추천시스템의 연결

OTT_GNN 활용

  • Link Prediction
    • 그래프의 점들 사이의 관계를 파악하고 두 점 사이에 얼마나 연관성이 있을지 예측하는 문제다. 대표적인 예로 페이스북 친구 추천, 왓챠플레이(유튜브, 넷플릭스) 영상 추천 등이 있다.
    • 영화와 유저가 점이고 유저가 영화를 봤으면 선으로 연결을 해준 그래프를 생각할 수 있다. 선으로 연결되지 않은 영화, 유저 쌍 중에 연결될 가능성이 높은 쌍을 찾아서 유저가 영화를 감상할 가능성이 높다고 예측할 수 있다.
  • Graph Classification
    • 그래프 전체를 여러가지 카테고리로 분류하는 문제이다. 이미지 분류와 비슷하지만 대상이 그래프라고 생각하면 된다. 분자 구조가 그래프의 형태로 제공되어 그걸 분류하는 산업 문제에 광범위하게 적용할 수 있으며 따라서 화학, 생의학, 물리학 연구자들과 활발히 협업을 하고 있다.

OTT_GNN 실제 응용 사례

Scene graph generation by iterative message passing

Image generation from scene graphs

  • https://arxiv.org/pdf/1804.01622.pdf
  • 기존 이미지 생성 방법은 Generative Adversarial Network이나 Autoencoder를 사용하였다. 아래 그림의 방법을 사용하면 scene graph로부터 이미지를 생성할 수 있다.

Graph-Structured Representations for Visual Question Answering

  • https://arxiv.org/pdf/1609.05600.pdf
  • Visual Question Answering 문제에도 그래프를 도입하여 성능을 끌어올릴 수 있다. 아래 그림에 간략히 요약되어 있는데, 장면과 질문으로부터 각각 scene graph와 question graph를 만든 후 pooling과 GRU를 적용한다.

Machine Learning for Scent: Learning Generalizable Perceptual Representations of Small Molecules

  • https://arxiv.org/pdf/1910.10685.pdf
  • 머신러닝이 시각, 청각을 넘어서 후각에 진출하고 있다. 분자 구조를 그래프로 변환하고 GNN을 거치면 138개의 향기를 예측할 수 있다고 한다. 기존에는 분자 구조를 분석할 때 Mordred나 fingerprint 방법을 사용했는데 요즘엔 graph neural network를 사용해서 분자 주고를 분석할 수 있다.

Graph Convolutional Matrix Completion

  • https://arxiv.org/pdf/1706.02263.pdf
  • 유저-영화 평점 행렬이 있을 때 기존 평점을 기반으로 message passing function을 사용해서 아직 평가가 없는 유저-영화 쌍의 예상 평점을 계산한다.

참고자료

  1. F. Scarselli, M. Gori, “The graph neural network model,” IEEE Transactions on Neural Networks, 2009
  2. Z. Wu, S. Pan, F. Chen, G. Long, C. Zhang, Philip S. Yu, “A Comprehensive Survey on Graph Neural Networks”, arXiv:1901.00596
  3. T. N. Kipf and M. Welling, “Semi-supervised classification with graph convolutional networks,” in Proc. of ICLR, 2017
  4. J. Gilmer, S. S. Schoenholz, P. F. Riley, O. Vinyals, and G. E. Dahl, “Neural Message Passing for Quantum Chemistry”, in Proc. of ICML, 2017
  5. D. Xu, Y. Zhu, C. B. Choy, and L. Fei-Fei, “Scene graph generation by iterative message passing,” in Proc. of CVPR, 2017
  6. J. Johnson, A. Gupta, and L. Fei-Fei, “Image generation from scene graphs,” in Proc. of CVPR, 2018
  7. D. Teney, L. Liu and A. van den Hengel, “Graph-Structured Representations for Visual Question Answering”, in Proc. of CVPR, 2017
  8. B. Sanchez-Lengeling, J. N. Wei, B. K. Lee, R. C. Gerkin, A. Aspuru-Guzik, and A. B. Wiltschko, “Machine Learning for Scent: Learning Generalizable Perceptual Representations of Small Molecules”, arXiv: 1910.10685
  9. R. van den Berg, T. N. Kipf, and M. Welling, “Graph Convolutional Matrix Completion”, arXiv:1706.02263

구글 AI blog _ 간단 리뷰

강화학습

  • 22/04/29 _ 행동을 퍼센트로 계산하여 학습한다?

이미지

  • 22/04/22 _ 이미지에서 토큰이라 불리는 좌표(객체 설명)을 추출하여 언어 모델링...?
  • 22/03/24 _ 눈 이미지로 질병 징후 감지, 당뇨병성 질환을 가지고 있는가.,.?

챗봇

  • 22/04/13 _

그래프신경망

  • 22/03/08 _ 편향된 훈련 데이터의 영향을 줄여 다양한 유형의 GNN에 적용한다..?