공대생은 공돌공돌

회귀 성과 지표

1. MSE

• +, - 오차가 서로 상쇄되는 것을 방지하기 위해 오차에 제곱을 하고 나눈다

단점

• + 오차가 클 경우, 제곱을 하면 오차가 너무 커지는 나머지 전체 오차를 왜곡할 수 있다

해결방안

• MSE 전체에 루트를 씌운다 == RMSE

2. MAE

• 제곱을 하지 않고 전체 오차에 절대값을 씌워 모든 오차를 +로 만들고 나누는 것

머신러닝
: 학습을 통해 특정 업무를 실행할 수 있는 인공지능

종류
1. 지도학습
- 입력변수, 출력변수가 주어진 것

2. 비지도 학습

• 입력변수만 있고, 출력변수는 없다
• 모델 스스로 학습

ex) 자동차의 디자인, 사양을 넣고 컴퓨터에게 이 자동차를 분류해보라 라고 명령하는 것

3. 강화 학습

• 지능을 가진 agent가 특정한 행동을 선택하는 것

Predictive modeling(예측 모델링)

1. Decision

• Yes or No를 예측

ex) 스팸메일인지, 아닌지 예측
사과인지 사과가 아닌지 예측

2. Estimates

• 연속변수인 출력변수를 예측
  (출력변수 == target)
  
  ex)자동차 가격, 주택 가격처럼 연속적인 숫자로 변하는 타겟변수를 예측

3. Ranking

• 여러 대안중에서 가장 효과가 좋은 대안을 선택하는데 쓰임

Assembly Language
: 사람이 이해하기 쉬운 언어

Machine Language
: 기계가 이해하기 쉬운 언어
어셈블리 언어를 0과1로 바꾼 것에 불과하다(그래야 Cpu, 하드웨어가 이해하기 때문)

Architecture(아키텍쳐) : 명령어들의 집합
어떤 명령어를 지원하는가

MicroArchitectur : 컴퓨터 내부구조

과거에도 지금에도, 아키텍쳐는 대부분 그대로였다. 하지만 마이크로아키텍쳐는 다르다.
시간이 지나면서 CPU 구조가 더 빠르게, 더 전력소모가 적게 발전했기 때문에 마이크로 아키텍쳐는 계속 발전했다

아키텍쳐가 바뀌지 않는 이유
: 호환성 때문, 아키텍쳐가 바뀌면 과거 프로그램들이 호환이 안되기 때문

아키텍쳐 : 프로그래머가 보는 관점
이 CPU가 얼마나 좋든 나쁘든 우리는 CPU를 조정하는 명령어에 관심있다

마이크로아키텍쳐
: 어떻게 이 명령어들을 실제로 구현할 것 인가

(instruction)명령어란?
: 컴퓨터에 있어서 하나의 언어

(Instruction set)명령어 집합이란?
: 그런 언어들의 집합, 단어모음(vocabulary)

• 명령어는 수행할 명령어와 사용할 데이터를 나타낸다
• 어셈블리 언어 : 사람이 읽을 수 있는 명령어 포맷/형식
• 기계어 : 기계가 읽을 수 있는 명령어 포맷/형식

강화학습(Reinforcement Learning)

• 행동 결과에 따른 보상(혹은 벌점)을 레이블로 줌
  [체스 승리 or 패배]
• 주어진 환경(enviornment)에서 에이전트(agent)가
  최대의 보상(reward)을 얻기 위해 최상의 정책(policy)을 학습
• 딥마인드의 알파고(Alpha Go)
  아타리(Atari)게임

준지도 학습(Semi-supervised Learning)

• 대부분 데이터에는 레이블이 없고 일부 데이터에만 레이블이 있음
• 군집을 통해 데이터를 분할하고 소수 레이블을 이용해 전체 그룹을 인식
• Google Photos, Facebook 사진 태그
• 제한된 볼츠만 머신(RBM)으로 구성된 심층 신뢰 신경망(DBN)

자기지도 학습(Self-supervised Learning)

• 오토인코드(Autoencoder)-15장
• 입력과 레이블이 동일함
• 일반적인 레이블이 없기 때문에 비지도 학습
  자기자신이 타깃이기 때문에 자기지도 학습
  어쨌든 타깃이 있으므로 지도 학습으로도 부른다

비지도 학습(Unsupervised Learning)

• 훈련 데이터에 레이블이 없음
• 블로그 방문자를 그룹으로 묶기(어떻게 40%는 학생, 20%는 성인인 것을 알 수 있을까?)
• 고객을 자동으로 그룹으로 나누어 각각 다른 홍보자료를 보내기(전자기기, 식료품점, ...)

대표적인 비지도 학습 알고리즘

• 군집(Clustering)
  - k-평균(k-means)
  - 계층 군집(Hierarchial Clustering), 병합 군집(Agglomerative Clustering)
  - 기댓값 최대화(Expection Macimization)
  
  
• 시각화, 차원 축소
  - 주성분 분석(PCA), 커널 PCA, NMF
  - 지역 선형 임베딩(LLE)
  
  
• 연관 규칙(Association Rule) : 데이터 마이닝
  - 어프라이어리(Apriori), 이클렛(Eclat)

기존의 방법론들의 오버헤드가 발생, 오버헤드가 발생한다는 것은 그만큼의 기간, 비용, 인력, 위험성들이 높았다

지도학습(Supervised Learning)

• 학습데이터베이스(훈련세트) = (특징, 레이블) 쌀

레이블[Label, 정답(ground truth)또는 타깃(target)이라고도 한다]

• 스팸/스팸 아님 --> 이진분류(binary classification)
• 개/고양이/새 --> 다중분류(multiclass classification)

클래스(class) : Label의 범주

• 스팸/스팸아님
• 개/고양이/새

특징[feature, 속성(attribute)]

분류(classification) / 회기(regression) 문제

• 문서 내 문자들 --> 스팸/스팸아님 : classification(분류)
• 영상의 픽셀들 --> 개/고양이/새 : classification(분류)
• 주행거리, 연식, 브랜드 --> 중고차 가격 : 회기(Regression)

대표적인 지도(Supervised) 학습 알고리즘

• k-최근접 이웃(k-Nearest Neighbors)
• 선형 회귀(Linear Regression) - 회귀 알고리즘
• 로지스틱 회귀(Logistic Regression) - 분류 알고리즘
• 서포트 벡터 머신(Support Vector Machine, SWM)
• 결정 트리(Decision Tree), 앙상블 학습(Ensemble Learning)
• 신경망(Neural Network), 딥러닝(Deep Learning) : 지도/비지도/강화

머신러닝이란?

: 데이터로부터 학습하도록 컴퓨터를 프로그래밍하는 기술

머신러닝이 유용한 분야

• 많은 수동 조정과 규칙이 필요한 문제
• 전통적인 방법으로 해결하기 어렵거나 알려진 해가 없는 문제
  ex) 음성인식
• 변화하는 환경에 적응해야 하는 문제
  : 새로운 데이터에 적용할 수 있음
• 복잡한 문제와 대량의 데이터에서 통찰 얻기(데이터 마이닝)

머신러닝 시스템 종류

• 사람의 감독여부
  Supervised(지도), Unsupervised(비지도), Reinforcement(강화학습)
• 실시간으로 점진적 학습인지 여부
  Online(온라인 학습), Batch(배치 학습), Incremental(점진적 학습)
  
  
• 훈련 데이터와 단순 비교인지, 패턴을 찾기 위해 예측 모델을 만드는지
  Instance-based(사례 기반), Model-based(모델 기반 학습)

소프트웨어적으로 봤을 때, 자동으로 프로그래밍이 되는 자동화 시스템이 나오기 시작했다

4세대 기법이란?

• 자동화 도구 사용
• 요구사항 명세서로부터 실행 코드 자동으로 생성
• 형식 규격 언어 표현법 진행 : 고급 언어의 모호성 해결
• 정확성 있는 명세서 해석
• 개발 과정의 자동화
• 높은 생산성과 소프트웨어 위기를 해결하기 위한 폭넓은 응용 분야에 적용
  (아직까지는 크게 다양한 분야에서 사용되지는 않는다)

단점

• 불필요한 많은 양의 코드 생성
• 어려운 유지보수 < 제일 큰 단점

자동생성코드를 돌리다보면 내가 원하지 않는 불필요한 코드가 생성되고, 속도가 떨어질 수 있다

유지보수도 어렵다. 자동생성이라는 개념은 좋지만, 내가 원하는 특성이 들어간 것을 만들기에는 많이 불편하다.