행렬의 기초 개념

행렬에서 제일 중요한 두 문제는 연립방정식 $Ax = b$와 고유값문제 $Ax = \lambda x$다. 우선 $Ax = b$를 푸는 방법을 알아보고 $Ax = \lambda x$는 다음 장에서 다룬다.

왜 그러는지 모르겠지만 여기서는 $A$를 행렬, $A_i$를 i번째 행벡터, $A^j$를 j번째 열벡터, $A_i^j$를 $a_{ij}$원소라고 하자.
아니 행렬 거듭제곱은 어쩌려고 이딴 notation을
$e^A$는 행렬 테일러전개로 정의되는데

그럼 $Ax = b$는 $A^i$들의 선형결합으로 $b$를 나타낼 수 있냐는 문제가 된다.
그럼 반대로 $x = A^{-1}b$이므로 역행렬은 행벡터의 선형결합으로 x를 나타내는 방식이다?
$A^{-1} = \frac{A^{adj}}{\det A}$ adjugate 행렬도 행벡터의 선형결합을 의미하는거
그럼 행벡터 x 열벡터가 더 이쁘니까 $AA^{-1}$ 말고 $A^{-1}A$로 써야한다??
Cramer's rule: $x_i = \frac{\det A_i}{\det A}$는 b에서 $A^i$로 내린 수직선이 만나는 점을 의미하는거다????
너무 추상적인 개념이니까 그냥 아래 리스트나 보도록 하자

• 소행렬 $A_{ij}$는 i행, j열을 소거한 행렬
• $n \times n$은 정사각행렬 (square matrix)
• $a_{11}, \ldots, a_{nn}$은 주대각 (principal diagonal)
• 주대각 아래쪽이 0이면 위삼각행렬 (upper triangular matrix, U), 주대각 위쪽이 0이면 아래삼각행렬 (lower triangular matrix, L)
• 주대각이 아닌 모든 원소가 0이면 대각행렬 (diagonal matrix, D)
• 주대각이 모두 같은 대각행렬은 스칼라행렬 (scalar matrix, S)
• 그게 1이면 단위행렬 (unit matrix, I)
• 행렬의 기본행연산: 두 행 교환, 상수곱, 한 행의 상수배 더함
• 행 열 바꾸면 전치 (transpose)
• 주대각 합은 트레이스 (trace)
• $x^Ty$는 두 벡터의 내적 ($x \cdot y$), $xy^T$는 두 벡터의 외적

수치적인 근

방정식의 근은 오차범위 내에서만 파악 가능
ex) $10x = 3$의 정확한 근을 표현할 수 없음

따라서 방정식의 근을 찾는다는건 사실 $|f(x)| < \varepsilon$이 되는 값의 범위을 찾는다고 생각해야 함.
실수를 다룰 때는 정확하게 a==b인지 검사할 수 없다!!

이분법

$f(x)$가 연속함수고 $f(a)f(b) < 0$이라면 $f(x)=0$인 $x \in (a,b)$가 존재한다.

정수

다 알다시피 $2n$비트 숫자는 $-2^n$ 부터 $2^n - 1$ 까지 표현가능

실수

$$x = \pm 1.m \times 2^c$$

단정도 (single)에선 sign 1비트, exponent 8비트, mantissa 23비트
배정도는 (double)에선 sign 1비트, exponent 11비트, mantissa에 52비트

Curry–Howard correspondence

Functional Programming Language는 Mathematics랑 일대일 대응된다!

P: T라면 T(Type)은 proposal(명제), P(Program)은 proof(증명)이라고 생각할 수 있다.
만약 type checking이 된다면, proposal에 맞는 proof가 있다는 뜻이므로, 명제가 참이다!

이걸 왜 하냐?
엄밀하게 수학, 또는 프로그램의 정확성을 증명할 수 있다!
특히 LLM 시대에 LLM이 내놓은 출력을 사실 믿을 수가 없는 상황임 -> 증명보조기로 검증할 수 있다면?

실제로 수학자들도 증명을 (Coq이 아니라 Lean을 쓰지만) 컴퓨터로 검증하고 있다!

Introduction

https://arxiv.org/abs/1706.03762

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.

일명 Transformer 논문. LLM 시대를 열 수 있게 만들어준 기념비적인 논문이다.

Background

Dynamics

Simulation is the most popular method to create computer animation procedurally.

Unlike kinematics, dynamics concerns forces and their effect on motion.

Animation Equation

The basic equation: $F=ma$??

4G/5G cellular networks

The solution for wide-area mobile internet!
We have more mobile-broadband-connected devices than fixed-broadband-connected devices.

Widespread deployment/use!
4G is available 97% of the time in Korea!

Comparison with wired internet

Similarities: