Publish to my blog (weekly)

선형 함수를 만드는 법 - 수학 - 2019
- 선형 함수의 그래프는 직선
- 비선형은 곡선이며 각 섹션의 기울기는 다릅니다
- 선형 함수는 다음과 같습니다.
  C = Ax + By
- A / B는 선형 함수 그래프의 기울기
Mathematics for Artificial Intelligence – Linear Algebra
- linear algebra
- scalar, vector, matrix, and tensor
- every record in a dataset can be represented as a vector
- parameters of neural networks are abstracted as matrices
- one simple number
- Scalar
- They have lowercase italic names
- an ordered array of scalars
- Vector
- points in space
- vector space
- each element having an index
- lowercase bold names
- Matrix
- a two-dimensional array of scalars with an uppercase bold name
- added or subtracted
- only if they have the same number of rows and columns
- Matrices
- the number of the columns of the first matrix is equal to the number of the rows of the second one
- multiplied
- dot product
- distributive
- associative
- multiply matrices element-wise.
- Hadamard product and is denoted as A
  ∘ B
- multiplied with a scalar element-wise
- a product of matrix and vector is a vector
- a multidimensional array of numbers
- Tensor
- matrices are also tensors with two dimensions.
- transpose operation
  - 전치연산 (전치 행렬을 만드는 연산)
- transpose matrix
  - 전치행렬
- a mirror image of the matrix across the main diagonal line
- Transpose matrix of the matrix A is denoted as
  A^T (alternatively: A′, A^tr, ^tA or A^t).
- identity matrix
  - 단위행렬
- Identity matrix and its example
- Inverse matrix
- number*reciprocal number = 1
- Moore-Penrose pseudoinverse
  - 무어 - 펜로스 의사 역행렬
- diagonal matrix
  - 대각 행렬
- the diagonal matrix has values different than 1. We can say that the identity matrix is one type of diagonal matrix. These matrixes are exceptionally useful for some algorithms.
- map the matrix into a scalar
- determinant – det(A) or |A|
- Detrminant
- linear dependency
  - https://ko.khanacademy.org/math/linear-algebra/vectors-and-spaces/linear-independence/v/linear-algebra-introduction-to-linear-independence벡터 x, y는 2차원 벡터인 경우 방향에 상관없이 하나의 직선상에 존재하는 좌표를 위미하며, 3차원 벡터인 경우 동일 2차원 평면상에 존재하는 좌표를 의미한다.
- the size of the vector
- functions that are called norms – Lⁿ
- The most well-known norm is the norm in two-dimensional space – L² norm or Euclidian norm.
- Norm
- the triangle inequality
- absolutely scalable
- positive definite
- L¹ norm
- This function is simple and keeps the same growth rate in all points of a vector space
- Frobenius norm:
- Frobenius norm
[번역] 머신러닝 속 수학 · mingrammer's note
- 머신러닝에서 사용되는 최적화 방법들을 이해하기 위해 필요한 개념
- 머신러닝 알고리즘의 계산 효율성과 확장성을 이해하고 데이터셋의 희소성을 활용
What is the Difference Between Hadoop and Spark? | DIMENSIONLESS TECHNOLOGIES PVT.LTD.
- It does not have its own storage system like Hadoop has, so it requires a storage platform like HDFS.
- ‘Spark Context’.
- ‘driver program’
- Spark Context acts as a gateway for the execution of Spark application.
- distributes them to slave nodes called ‘Worker Nodes’.
- breaks a job into multiple tasks
- executors
- The cluster manager launches the executors. Then the driver sends the tasks to executors and monitors their end to end execution.
- If a node fails, the cluster manager will assign that task to another node, thus, making RDD’s fault tolerant
- immutable
- transformations
- actions
- computations
- send the result back to the driver
- dataset organized in named columns
- a table in a relational database.
- immutable
- a particular schema
- perform SQL like queries
- structured or semi-structured data
- a combination of RDD and dataframe
- can be manipulated using transformations
- can be created from JVM objects
- datasets are strongly typed
- structured and unstructured data
- fault recovery
- supports RDD
- task scheduling
- memory management
- distribution of jobs across worker nodes
- process data which streams in real time
- SQL queries
- machine learning algorithms
- data visualization in the form of the graph
- While in Spark, the data is stored in RAM which makes reading and writing data highly faster. Spark is 100 times faster than Hadoop.
- it will initially read from disk and save the output in RAM, so in the second job, the input is read from RAM and output stored in RAM and so on
- more suitable for batch processing
- predicting the consumer tastes
- identify patterns in data
- forecasting
- supply planning
- research
- calculating aggregates over a period of time
- real-time processing
- batch processing
- trending hashtags
- fraud detection
- digital marketing
- stock market analysis
- Spark programming framework is much simpler than MapReduce
- Hive, Pig, Sqoop, HBase which are very easy to use
- Those blocks have duplicate copies stored in other nodes with the default replication factor as 3. So, if a node goes down, the data can be retrieved from other nodes. This way, Hadoop achieves fault tolerance.
- vertices represent RDDs
- edges represents the operations to be applied on RDD
- So if a node fails, the task will be assigned to another node based on DAG. Since RDDs are immutable, so if any RDD partition is lost, it can be recomputed from the original dataset using lineage graph. This way Spark achieves fault tolerance.
- a more efficient way to achieve fault tolerance is by saving the state of spark application in reliable storage.
- his is called checkpointing
- Spark can recover the data from the checkpoint directory when a node crashes and continue the process.
- Spark can also integrate with other storage systems like S3 bucket.
- Spark only supports authentication via shared secret password authentication.
- Kerberos network authentication protocol
- Access Control Lists (ACLs) permissions.
- Spark has a popular machine learning library while Hadoop has ETL oriented tools
해석학 (수학) - 위키백과, 우리 모두의 백과사전
- 미적분학을 엄밀하게 형식화하는 것을 목적으로 시작된 수학의 한 분야로, 수열이나 함수의 극한 및 무한급수, 미분, 적분, 측도 및 해석함수 등의 개념을 다룬다
- 대수학과 기하학에 대하여, 미분과 적분을 기초로 함수의 연속성에 관한 성질을 연구하는 수학의 분야
- 어떤 수학적 공간 혹은 대상이든 "가까움"(위상 공간 참고)이나 조금 더 구체적으로는 "거리"(거리 공간 참고)의 개념이 주어지기만 하면 적용될 수 있다.
나이브 베이즈 분류 - 위키백과, 우리 모두의 백과사전
- 첫째, 일부의 확률 모델에서 나이브 베이즈 분류는 지도 학습 (Supervised Learning) 환경에서 매우 효율적으로 훈련 될 수 있다.
- 둘째, 분류에 필요한 파라미터를 추정하기 위한 트레이닝 데이터의 양이 매우 적다
- 셋째, 간단한 디자인과 단순한 가정에도 불구하고, 나이브 베이즈 분류는 많은 복잡한 실제 상황에서 잘 작동한다
- 또한 2006 년에는 다른 분류 알고리즘과의 포괄적인 비교를 통하여 베이지안 분류는 부스트 트리 또는 랜덤 포레스트와 같은 다른 접근 방식을 넘어섰다는 것이 밝혀졌다.^[4]
- - 알파: 근, https://librewiki.net/wiki/%EC%88%98%ED%95%99_%EA%B8%B0%ED%98%B8
- 특성 N의 수가 많은 경우나 하나의 특성이 많은 수의 값을 가질 수 있는 경우 확률 테이블에 베이지안 모델을 바로 적용하기 어려움이 있다. 그러므로, 위의 식은 베이즈 정리와 조건부 확률을 이용하여 다음과 같이 정리 가능하다.
- $Z=p(\mathbf {x} )$ 는 특성값들이 주어진 경우 상수가 되는, 즉 $x_{1},\dots ,x_{n}$ 에만 의존하는 스케일링 팩터
- 공통적인 규칙은 가장 가능성 높은 가설을 선택 하는 것이다. 이것은 사후 또는 MAP 결정 규칙의 최대치를 선택하는 것이다.
- 나이브 베이즈 분류는 이 확률 모델과 결정 규칙을 조합 한 것
- 나이브 베이즈 분류에서는 클래스 k, 즉 $C_{k}$ 에 대해서 다음 식을 통해 최대 확률을 갖는 클래스 k를 찾아낸다
- 클래스의 사전 확률은 클래스간의 동일확률을 가정하여 계산할 수 있고 (i.e., 사전 확률 = 1 / (클래스의 수)), 또한 트레이닝 셋(training set)으로부터 클래스의 확률의 추정치를 계산할 수 있다(i.e., (해당 클래스의 사전확률) = (해당 클래스의 샘플 수) / (샘플의 총 수)). 특성의 분포에 대한 모수들을 추정하기 위해서는, 트레이닝 셋의 특성들을 위한 비모수 모델이나 분포를 가정 또는 생성 해야한다.
- 주어진 클래스 C에 대하여 문서 D가 속할 확률은 다음과 같다.
- "문서 D가 주어졌을 때, 클래스 C 에 속할 확률은 얼마인가?"
- 다시말해서, $p(C\vert D)\,$ 를 구하고자 한다.
- "로그 우도 비(로그 가능 비)"라고 불리는 이 기술은 통계학 에서 일반적인 기술이다.
확률 공간 - 위키백과, 우리 모두의 백과사전
- 측도가 1인 측도 공간
- 확률 공간 $(\Omega ,{\mathcal {F}},\Pr )$
  - https://hanmaths.tistory.com/47
측도 - 위키백과, 우리 모두의 백과사전
- - ㅗ: 모순, 항상 거짓.
확률론 - 위키백과, 우리 모두의 백과사전
- 시행에 대해서 일어날 수 있는 모든 경우의 수가 N가지이고, 어떤 사건이 일어나는 경우의 수가 K가지 일 때, 어떤 사건이 일어나는 확률이 ${\frac {K}{N}}$ 인 것을 뜻하며, 선험적 확률 이라고도 한다.
- 따라서 실제로 같은 시행을 여러 번 반복하여 얻을 수 있는 횟수를 통해 나오는 확률이 통계적 확률(empirical probability)이다.
- "어떤 독립시행에서 사건 K가 일어날 횟수를 k라고 하고 시행 횟수를 n이라고 하면, 통계적 확률에 따른 확률 ${\frac {k}{n}}$ 는 n이 한없이 커질 때 ${\frac {k}{n}}$ 는 일정한 값 a에 가까워진다"
- 큰수의 법칙(law of large number)은 통계적 확률과 수학적 확률 사이의 관계를 나타내는 정리이며, 대수의 법칙이라고도 한다
베이즈 정리 - 위키백과, 우리 모두의 백과사전
- 베이즈 정리는 불확실성 하에서 의사결정문제를 수학적으로 다룰 때 중요하게 이용된다.
- 전통적인 확률이 연역적 추론에 기반을 두고 있다면 베이즈 정리는 확률임에도 귀납적, 경험적인 추론을 사용한다.^[2]
- $B$ 는 관측하여 값을 알아낼 수 있는 대상
- $A$ 는 불확실성을 계산해야 하는 대상
- $A$ 의 확률은 $B$ 가 관측된 후 $P(A)$ 에서 $P(A|B)$ 로 변화하며, 베이즈 정리는 이 때의 변화를 계산하는 방법을 제공한다.
베이즈 확률론 - 위키백과, 우리 모두의 백과사전
- 주관주의 확률 이론의 관점으로 보면 지식의 상태는 개인적인 믿음의 정도(degree of belief)로 측정할 수 있다
- 객관적 관점에서 베이즈 통계의 법칙은 이성적 보편적으로 증명될 수 있으며 논리의 확장으로 설명될 수 있다
- 현대적 기계 학습 방법은 객관적 베이즈 원리에 따라 만들어졌다.
- 어떤 가설의 확률을 평가하기 위해서 사전 확률을 먼저 밝히고 새로운 관련 데이터에 의한 새로운 확률값을 변경한다
- 사후확률은 사전확률과 가능도의 곱에 비례한다. <dl><dd><math alttext="{\displaystyle P(H|D)={\frac {P(D|H)\;P(H)}{P(D)}}}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>P</mi> <mo stretchy="false">(</mo> <mi>H</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>D</mi> <mo stretchy="false">)</mo> <mo>=</mo> <mrow class="MJX-TeXAtom-ORD"> <mfrac> <mrow> <mi>P</mi> <mo stretchy="false">(</mo> <mi>D</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>H</mi> <mo stretchy="false">)</mo> <mspace width="thickmathspace"></mspace> <mi>P</mi> <mo stretchy="false">(</mo> <mi>H</mi> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>P</mi> <mo stretchy="false">(</mo> <mi>D</mi> <mo stretchy="false">)</mo> </mrow> </mfrac> </mrow> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle P(H|D)={\frac {P(D|H)\;P(H)}{P(D)}}}</annotation> </semantics> </math><img alt="P(H|D)={\frac {P(D|H)\;P(H)}{P(D)}}" style="vertical-align: -2.671ex; width:26.577ex; height:6.509ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/eea20682301f4c614bff02e229a02f076561a272"></dd></dl> 여기서 <ul><li><math alttext="{\displaystyle H}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>H</mi> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle H}</annotation> </semantics> </math><img alt="H" style="vertical-align: -0.338ex; width:2.064ex; height:2.176ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/75a9edddcca2f782014371f75dca39d7e13a9c1b">는 가설이다. <math alttext="{\displaystyle D}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>D</mi> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle D}</annotation> </semantics> </math><img alt="D" style="vertical-align: -0.338ex; width:1.924ex; height:2.176ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/f34a0c600395e5d4345287e21fb26efd386990e6">는 데이터이다.</li> <li><math alttext="{\displaystyle P(H)}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>P</mi> <mo stretchy="false">(</mo> <mi>H</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle P(H)}</annotation> </semantics> </math><img alt="P(H)" style="vertical-align: -0.838ex; width:5.618ex; height:2.843ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/bd7c4e1deccceac8c85d862b60dc64545d67b82e"> 는 <math alttext="{\displaystyle H}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>H</mi> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle H}</annotation> </semantics> </math><img alt="H" style="vertical-align: -0.338ex; width:2.064ex; height:2.176ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/75a9edddcca2f782014371f75dca39d7e13a9c1b">의 <a rel="nofollow" href="/wiki/%EC%82%AC%EC%A0%84_%ED%99%95%EB%A5%A0" title="사전 확률">사전 확률</a>이다. <math alttext="{\displaystyle D}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>D</mi> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle D}</annotation> </semantics> </math><img alt="D" style="vertical-align: -0.338ex; width:1.924ex; height:2.176ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/f34a0c600395e5d4345287e21fb26efd386990e6">가 보이기 전까지(관측전)의 <math alttext="{\displaystyle H}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>H</mi> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle H}</annotation> </semantics> </math><img alt="H" style="vertical-align: -0.338ex; width:2.064ex; height:2.176ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/75a9edddcca2f782014371f75dca39d7e13a9c1b">가 참일 확률이다.</li> <li><math alttext="{\displaystyle P(D|H)}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>P</mi> <mo stretchy="false">(</mo> <mi>D</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>H</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle P(D|H)}</annotation> </semantics> </math><img alt="P(D|H)" style="vertical-align: -0.838ex; width:8.189ex; height:2.843ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/7f4e4eb99635077bd630ad6805d77f99ccc23a1f">는 <a rel="nofollow" href="/wiki/%EA%B0%80%EB%8A%A5%EB%8F%84" title="가능도">가능도</a>(Likelihood)이다. <math alttext="{\displaystyle H}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>H</mi> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle H}</annotation> </semantics> </math><img alt="H" style="vertical-align: -0.338ex; width:2.064ex; height:2.176ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/75a9edddcca2f782014371f75dca39d7e13a9c1b">가 참일 때, <math alttext="{\displaystyle D}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>D</mi> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle D}</annotation> </semantics> </math><img alt="D" style="vertical-align: -0.338ex; width:1.924ex; height:2.176ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/f34a0c600395e5d4345287e21fb26efd386990e6">를 보게 될 조건부 확률이다.</li> <li><math alttext="{\displaystyle P(D)}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>P</mi> <mo stretchy="false">(</mo> <mi>D</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle P(D)}</annotation> </semantics> </math><img alt="P(D)" style="vertical-align: -0.838ex; width:5.479ex; height:2.843ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/8eb4a5cc3182bd0e266ab80b8a93ee339de710a5">는 <math alttext="{\displaystyle D}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>D</mi> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle D}</annotation> </semantics> </math><img alt="D" style="vertical-align: -0.338ex; width:1.924ex; height:2.176ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/f34a0c600395e5d4345287e21fb26efd386990e6">의 경계 확률이다.</li> <li><math alttext="{\displaystyle P(H|D)}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>P</mi> <mo stretchy="false">(</mo> <mi>H</mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false">|</mo> </mrow> <mi>D</mi> <mo stretchy="false">)</mo> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle P(H|D)}</annotation> </semantics> </math><img alt="P(H|D)" style="vertical-align: -0.838ex; width:8.189ex; height:2.843ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/d762cc4a424df51aec09d99de7f30c1ba374d99a">는 <a rel="nofollow" href="/wiki/%EC%82%AC%ED%9B%84_%ED%99%95%EB%A5%A0" title="사후 확률" class="mw-redirect">사후 확률</a>이다. <math alttext="{\displaystyle D}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>D</mi> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle D}</annotation> </semantics> </math><img alt="D" style="vertical-align: -0.338ex; width:1.924ex; height:2.176ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/f34a0c600395e5d4345287e21fb26efd386990e6">가 보이고 나서의 <math alttext="{\displaystyle H}" xmlns="http://www.w3.org/1998/Math/MathML"> <semantics> <mrow class="MJX-TeXAtom-ORD"> <mstyle displaystyle="true" scriptlevel="0"> <mi>H</mi> </mstyle> </mrow> <annotation encoding="application/x-tex">{\displaystyle H}</annotation> </semantics> </math><img alt="H" style="vertical-align: -0.338ex; width:2.064ex; height:2.176ex;" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/75a9edddcca2f782014371f75dca39d7e13a9c1b">가 참일 조건부 확률이다.</li></ul>