o1-zkr 님의 블로그

ARX(AutoRegressive with eXogenous inputs) 모델 알아보기

jisuleee — Fri, 19 Jun 2026 10:15:56 +0900

목차는 아래와 같다.

1. ARX 모델이란?
2. ARX 모델의 구조
3. 실습

1. ARX 모델이란?

1) ARX 모델의 정의

ARX(AutoRegressive with eXogenous inputs)모델은 시계열 데이터의 현재값을 과거의 출력 및 외부 입력으로 설명하는 대표적인 선형 동적 모델이다. 특히 입력과 출력 데이터가 모두 존재하는 환경에서 시스템의 동적 특성을 분석하거나 미래 상태를 예측하는 목적으로 활용된다.

ARX는 두 가지 구성요소에서 유래한다.

AutoRegressive (AR): 과거 출력값의 영향
eXogenous inputs (X): 외부 입력의 영향

즉, ARX 모델은 "현재 상태는 과거 상태와 외부 자극의 영향을 동시에 받는다"는 가정에 기반한 모델이다.

$$y(t)=\Sigma_{i=1}^{n_a}a_iy(t-i)+\Sigma_{j=1}^{n_b}b_ju(t-j)+e(t)$$

여기에서 $y(t)$는 현재 출력값, $y(t-i)$는 i시점 이전의 과거 출력 값, $u(t-j)$는 i시점 이전의 과거 외부 입력값,

$a_i$는 자기 회귀 계수, $b_j$는 입력 영향 계수, $e(t)$는 오차항, $n_a$와 $n_b$는 출력 및 입력 차수를 의미한다.

2) ARX 모델의 파라미터 추정

일반적으로 ARX 모델을 구축한다는 것은 결국 계수 $a_i$와 $b_j$를 추정하는 과정이라고 볼 수 있다.

예를 들어

$$y(t)=0.8y(t-1)+0.1u(t-1)$$

라는 모델은 "현재 상태의 80%는 직전 상태에 의해 결정되고, 외부 입력은 10% 정도 영향을 미친다"고 해석할 수 있다.

ARX 모델은 수식이 선형 구조를 가지므로 아래와 같은 행렬 형태로 변환할 수 있다.

$$Y=\Phi \theta +E$$

이때 $Y$는 실제 출력, $\Phi$는 데이터 행렬, $\theta$는 찾고자하는 파라미터, $E$는 오차이다.

*대표적인 파라미터 추정 방법

최소제곱법(Least Squares)

실제값과 예측값의 차이로 계산되는 오차(error)를 단순히 더하면 양수와 음수가 상쇄되는 문제가 발생한다.

이러한 문제를 방지하고자 오차를 제곱하여 사용함으로써 양수/음수 상쇄가 발생하지 않고 큰 오차에 더 큰 패널티를 줄 수 있다.

특히 ARX 모델은 계수들이 선형적으로 존재하기 때문에, 복잡한 신경망처럼 반복 학습을 수행할 필요 없이 최소 제곱법으로 한 번에 계산할 수 있다. 계산 및 구현이 쉽고, 해석이 명확하기 때문에 ARX 모델의 대표적인 파라미터 추정 방법으로 활용된다.

최소제곱법은 다음을 최소로 만드는 파라미터를 찾는다.

$$J=\Sigma_{t=1}^Ne(t)^2=\Sigma_{t=1}^N((y(t)-\hat{y}(t))^2$$

이때 $e(t)$는 예측 오차, $N$은 데이터 개수, $y(t)$는 실제값, $\hat{y}(t)$는 모델의 예측값을 의미한다.

선형대수학에서 증명되는 결과에 따르면, 오차제곱합을 최소로 만드는 파라미터 $\hat{\theta} $는

아래 정규방정식(Normal Equation)을 통해 계산할 수 있다.

$$\hat{\theta}=(\Phi^T\Phi)^{-1}\Phi^TY$$

<정규방정식 유도하기>

ARX 모델의 행렬 형태 $Y=\Phi \theta +E$에서 오차를 정의하자.

$$E=Y-\Phi\theta$$

최소제곱법은 오차($E$) 제곱합($J=E^TE$)이 최소가 되도록 $\theta$를 찾는 것을 목표로 한다.

$J$에 $E$를 대입하고 전개하면

$$
\begin{align}
J &= (Y-\Phi\theta)^T(Y-\Phi\theta) \\
&= Y^TY-Y^T\Phi\theta-\theta^T\Phi^TY+\theta^T\Phi^TY+\theta^T\Phi^T\Phi\theta \\
&= Y^TY-2\theta^T\Phi^TY+\theta^T\Phi^T\Phi\theta
\end{align}
$$

$J$를 최소화하기 위해 $\theta$로 미분하면

$$\frac{\partial J}{\partial \theta}=-2\Phi^{T}Y+2\Phi^{T}\Phi\theta$$

$\theta$에 대해 정리하면 $$\hat{\theta}=(\Phi^T\Phi)^{-1}\Phi^TY$$이 나온다.

2. ARX 모델의 구조

1) AutoRegressive(AR)

과거 출력값이 현재 출력값에 미치는 영향을 나타낸다.

$$y(t)=a_ty(t-1)+a_2y(t-2)=...$$

예를 들어 현재의 실내 온도가 5분 전, 10분 전 실내온도와 높은 상관관계를 가진다면 이러한 특성을 AR 부분이 표현하게 된다.

즉, 시스템의 관성(Inertia) 또는 상태 지속성(Persistence)을 모델링하는 역할을 한다.

2) eXogenous Input(X)

외부 입력이 시스템에 미치는 영향을 나타낸다.

$$y(t)=b_1u(t-1)+b_2u(t-2)+...$$

예를 들어, 난방기 출력, 창문 개도율, 냉방기 가동 여부와 같은 제어 입력이 실내온도에 영향을 미친다면 이를 X 부분이 설명한다.

3. 실습

연습 코드 다운로드:

arx_basic_example.ipynb

0.07MB

앙상블 기법 알아보기: 부스팅, 배깅, 스태킹

jisuleee — Sun, 14 Jun 2026 13:59:34 +0900

목차는 아래와 같다.

1. 앙상블 기법 개요
2. 앙상블 기법의 종류
3. 실습

1. 앙상블 기법 개요

1) 앙상블 기법의 정의

앙상블(Ensemble) 기법은 여러 개의 머신러닝 (Machine Learning, ML) 모델을 결합하여

하나의 최종 예측 결과를 만드는 방법이다.

사람들이 중요한 결정을 내릴 때 여러 전문가의 의견을 종합하는 것처럼,

ML에서도 여러 모델의 예측을 조합함으로써 더 안정적이고 신뢰성 있는 결과를 얻을 수 있다.

2) 앙상블 기법의 필요성

근본적으로 앙상블 기법은 단일 모델의 한계를 보완하기 위해 필요하다.

단일 모델을 사용할 경우 발생할 수 있는 문제는 아래와 같다.

1. 과적합 (Ovefitting)

모델이 학습 데이터의 패턴뿐 아니라 노이즈까지 학습하여

학습 데이터에서는 높은 성능을 보이지만,

새로운 데이터에서는 성능이 저하되는 문제(일반화 성능 저하 문제, Poor Generalization)가 발생할 수 있다.

2. 과소적합(Underfitting)

모델이 데이터의 복잡한 패턴을 충분히 학습하지 못하는 경우가 발생할 수 있다.

이 경우 학습 데이터와 새로운 데이터 모두에서 성능이 낮게 나타난다.

2. 앙상블 기법의 종류

1) 배깅 (Bagging, Bootstrap Aggregating)

머신러닝에서 동일한 알고리즘¹을 여러 개 학습시킨 뒤, 각 모델²의 예측 결과를 평균 또는 다수결로 결합하는 방법이다.

각 모델은 원본 데이터로부터 복원추출³(Bootstrap)된 서로 다른 학습 데이터를 사용한다.

대표적인 알고리즘은 Random Forest가 있다.

Random Forest는 배깅(Bagging)을 기반으로 여러 개의 Decision Tree⁴를 학습시킨 후,

각 트리의 예측 결과를 다수결(분류 - 결과가 범주) 또는 평균(회귀 - 결과가 연속적인 숫자) 방식으로 결합하여 최종 결과를 도출한다.

¹알고리즘(Algorithm)은 데이터를 학습하는 방법 또는 규칙을 의미한다. 예를 들어 Decision Tree, Logistic Regression, SVM 등이 알고리즘에 해당한다.

²모델(Model)은 알고리즘이 실제 데이터를 학습하여 만들어진 결과물이다. 같은 Decision Tree 알고리즘을 사용하더라도 학습 데이터가 다르면 서로 다른 모델이 생성될 수 있다.

³복원추출(Bootstrap)은 데이터를 한 번 추출한 후 다시 원래 집합에 넣고 다음 추출을 수행하는 방식으로, 동일한 데이터가 여러 번 선택될 수 있는 추출 방법이다. 주어진 데이터만을 이용해 새로운 데이터를 반복적으로 생성하여 통계량을 추정할 수 있다.

⁴Decision Tree(의사결정나무): 데이터를 여러 조건으로 반복적으로 분할하여 최종 예측 결과를 도출하는 머신러닝 알고리즘이다.

2) 부스팅 (Boosting)

이전 모델이 잘못 예측한 데이터를 다음 모델이 집중적으로 학습하도록 순차적으로 모델을 생성하는 방법

여러 개의 약한 학습기를 결합하여 강한 학습기를 만든다.

대표적인 알고리즘으로는 AdaBoost, Gradient Boosting, XGBoost, LightGBM, CatBoost, 등이 있다.

AdaBoost (Adaptive Boosting)

이전 모델이 틀린 데이터에 더 높은 가중치(Weight)를 부여하여 다음 모델이 해당 데이터를 집중적으로 학습하도록 만드는 알고리즘이다.

예를 들어, 이전 모델이 학생 A,B 는 맞히고 학생 C,D는 틀렸다면 다음트리는 학생 C,D를 더 중요하게 학습한다.

하지만 이상치가 존재하는 데이터에서는 대부분의 데이터보다 소수의 이상치에 집착하면서 오히려 과적합 발생 가능성이 있다.

Gradient Boosting

이전 모델의 오차(Error)를 직접 학습하도록 다음 모델을 만드는 알고리즘이다.

예를 들어 실제 값이 100인데 Tree1이 80을 예측했다면, 다음트리 Tree2는 20이라는 오차를 학습한다.

즉, 이전 모델이 못 맞힌 부분(residual)을 계속 보완하는 방식이다.

결과의 correct/wrong만 보는 AdaBoost와 다르게, 틀림 정도까지 함께 보기 때문에 AdaBoost 보다 성능이 좋다.

XGBoost (Extreme Gradient Boosting)

Gradient Boosting을 개선하여 과적합 방지와 학습 속도를 향상시킨 알고리즘이다.구조는 동일하지만, 추가로 정규화, 가지치기, 결측치 자동 처리, 병렬 연산을 지원한다.

LightGBM

XGBoost보다 더 빠르고 대용량 처리에 최적화된 알고리즘이다.기존 트리는 모든 잎을 균형 있게 성장시키지만, LightBGM은 가장 성능 향상이 큰 잎만 성장시킨다.그래서 같은 성능을 내더라도 더 적은 노드와 더 적은 메모리를 사용하는 경우가 많다.또한 연속적인 정수로 이루어진 나이 등의 특징을 다룰 때 구간으로 묶어서 처리하기 때문에 메모리 및 계산량이 낮다.

CatBoost (Categorical Boosting)

CatBoost는 범주형 변수를 효율적으로 처리하기 위해 개발된 알고리즘이다.

예를 들어, 성별이라는 범주형 변수를 다룰 때 남 → 0, 여 → 1와 같은 전처리를 내부적으로 처리한다.

그를 통해 데이터 누수를 방지하여 보다 안정적인 예측 성능을 제공한다.

3) 스태킹 (Stacking)

여러 종류의 모델을 학습시킨 후, 각 모델의 예측 결과를 다시 새로운 모델의 입력으로 사용하여 최종 예측을 수행하는 방법이다.

일반적으로 Random Forest, XGBoost, LightGBM 등을 Base Model로 사용하고, Logistic Regression이나 Linear Regression을 Meta Model로 사용한다.

bagging과 boosting의 차이 (출처: https://space-cho.tistory.com/14)

3. 실습

필요한 라이브러리 및 모듈 임포트

배깅 (랜덤 포레스트) 예시

부스팅 (AdaBoost) 예시

스태킹 (베이스: RandomForest, AdaBoost / Meta: LogisticRegression) 예시

실제 예측결과 시각화

연습 코드 다운로드:

ensemble_comparison.ipynb

0.01MB