전체 글6 [Deep Learning for Scratch] 오차역전파법 // 아래 내용은 [밑바닥부터 시작하는 딥러닝]으로 학습한 내용을 정리하였다. 오차역전파법(backpropagation)을 이용하면 가중치 매개변수의 기울기를 효율적으로 계산이 가능하다. 오차역전파법을 제대로 이해하는 두 가지 방법은 ① 수식을 통한 것과 ② 계산 그래프를 통한 것이다. 계산 그래프 계산 그래프(computational graph): 계산 과정을 그래프로 나타낸 것이다. 여기서 그래프는 그래프 자료구조로, 복수의 노드(node)와 에지(edge)로 표현된다. 계산 그래프로 계산 계산 그래프 표현하기: 계산 그래프는 계산 과정을 노드와 화살표로 표현한다. 노드는 원으로 표기하고, 원 안에는 연산 내용을 적는다. 계산 결과를 화살표 위에 적어 각 노드의 계산 결과가 왼 -> 오로 전해지도록 .. 2021. 6. 6. [Deep Learning for Scratch] 신경망 학습 학습: 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 신경망은 데이터를 보고 학습할 수 있다는 특징이 있으며, 데이터에서 학습한다 = 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다 * 퍼셉트론도 선형 분리 가능한 문제라면 데이터로부터 자동학습이 가능하지만, 비선형 분리 문제는 자동으로 학습이 불가능하다. 데이터 주도 학습 기계학습은 데이터가 생명으로, 데이터가 이끄는 접근 방식 덕에 사람 중심 접근에서 벗어날 수 있다. 기계학습에서는 사람의 개입을 최소화하고 수집한 데이터로부터 패턴을 찾으려 시도한다. 주어진 데이터를 잘 활용해 문제를 해결하는 방법의 하나로, 이미지에서 특징을 추출하고 그 특징의 패턴을 기계학습 기술로 학습하는 방법이 있다. 여기서 특징은 입력 데이터에서 본.. 2021. 5. 25. [Deep Learning for Scratch] 신경망 // 아래 내용은 [밑바닥부터 시작하는 딥러닝]으로 학습한 내용을 정리하였다. 신경망의 예 신경망을 그림으로 표현하면 아래와 같다. 왼쪽 부터 순서대로 입력층, 은닉층, 출력층이라고 하는데 은닉층의 뉴런은 사람 눈에는 보이지 않는다. 퍼셉트론 복습 아래 그림은 x1과 x2라는 두 신호를 입력받아 y를 출력하는 퍼셉트론으로 수식으로 표현하면 오른쪽 그림과 같다. 위의 수식에서 b는 편향을 나타내는 매개변수로, 뉴런이 얼마나 쉽게 활성화되느냐를 제어한다. w1과 w2는 각 신호의 가중치를 나타내는 매개변수로, 각 신호의 영향력을 제어한다. 위의 네트워크에는 편향 b가 안보이는데 편향을 명시하려면, 가중치가 b이고 입력이 1인 뉴런을 추가해서 아래의 그림과 같이 나타낼 수 있다. 이 퍼셉트론의 동작은 x1, .. 2021. 5. 23. [Deep Learning for Scratch] 퍼셉트론 // 아래 내용은 [밑바닥부터 시작하는 딥러닝]으로 학습한 내용을 정리하였다. 퍼셉트론이란? 퍼셉트론: 다수의 신호를 입력 받아 하나의 신호를 출력하는 것으로, 퍼셉트론 신호는 0과 1의 두 가지 값을 가진다 # 입력으로 2개의 신호를 받은 퍼셉트론의 예시 입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치가 곱해지며, 뉴런에서 보내온 신호의 총합이 정해진 한계(임계값 θ)를 넘어설 때만 1을 출력한다 => 이를 '뉴런이 활성화한다' 라고 표현 퍼셉트론의 동작 원리를 수식으로 표현하면 다음과 같다. 퍼셉트론은 복수의 입력 신호 각각에 고유한 가중치를 부여하는데 , 여기서 가중치는 각 신호가 결과에 주는 영향력을 조절하는 요소로 작용한다. 즉, 가중치가 클 수록 강한 신호를 흘려보내기 때문에 해당 신호가 .. 2021. 5. 23. 경진 대회의 평가 지표 // 아래 내용은 [데이터가 뛰어노는 AI 놀이터, 캐글]으로 학습한 내용을 정리하였다. 경진 대회의 종류 1) 회귀(Regression) 문제 수치를 예측하는 문제로, 평가 지표로는 RMSE, MAE 등이 있다. 2_1) 이진 분류(Binary classification) 문제 데이터가 어떤 속성에 속하는지를 예측하는 문제로, ①0 또는 1의 레이블로 예측하는 경우와 ②0에서 1 사이의 확률로 예측하는 경우로 나뉜다. ①의 평가지표로는 F1-score를, ②는 로그 손실이나 AUC 등을 사용한다. 2_2) 다중 클래스 분류 문제 다중 클래스 분류(multi-class classification): 행 데이터(record)가 여러 클래스 중 어느 하나의 선택지에 속하는 분류 문제 다중 레이블 분류(mul.. 2021. 5. 18. [Machine Learning with Python] 머신러닝의 기초 // 아래 내용은 [파이썬 라이브러리를 활용한 머신러닝]으로 학습한 내용을 정리하였다. 사실 공부한 지는 두 달이나 지났지만 블로그 시작할 겸, 후반기 스터디 전에 복습할 겸 오늘부터 start! 머신러닝이란? 머신러닝(Machine Learning)은 데이터에서 지식을 추출하는 작업으로, 입력한 데이터를 바탕으로 컴퓨터가 스스로 학습하고 패턴을 분석하여 결과를 도출하도록 하는 인공지능의 한 분야이다. 어떤 머신러닝 알고리즘도 아무런 정보가 없는 데이터로는 아무것도 예측할 수 없다는 점을 유념해야 한다. 샘플(=데이터 포인트): 하나의 개체, 행(판별해야 할 개개의 데이터) 특성: 샘플의 속성, 열 레이블: 특정 데이터 포인트에 대한 출력 지도 학습과 비지도 학습 지도 학습(supervised learn.. 2021. 5. 7. 이전 1 다음
