분류 전체보기 검색 결과
571 개의 검색 결과가 있습니다.
데이터분석/기초

[데이터분석] Data Engineering(엔지니어링) 3

워크플로우(Workflow) 작업 절차를 통한 정보 또는 업무의 이동을 의미 데이터 워크플로우는 데이터 처리의 작업 처리를 의미 ETL 작업 같은 데이터 처리 흐름을 워크 플로우 스케줄링 툴로 처리함 방향성 비순환 그래프(Directed Acyclic Graph) Computer Cluster 여러대의 컴퓨터들이 연결되어 하나의 시스템처럼 동작하는 컴퓨터들의 집합을 말함 물리적으로는 여러대의 컴퓨터 이지만 외부 사용자는 마치 한대의 컴퓨터 인것으로 보임 클러스터의 구성요소 Node(Master + Slave) Network OS Middleware Computer Cluster의 목적 서버의 확장을 통한 우수한 성능을 얻을수 있음 분산 컴퓨터 SPOF(Single Point of Failure) 단일 장..

2021. 12. 11. 12:00
데이터분석/기초

[데이터분석] Data Engineering(엔지니어링) 2

Data Warehouse 사용자의 의사 결정에 도움을 주기 위하여, 여러 시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리 하는 데이터 베이스를 말한다. Data Warehouse를 구축 한다는 것은? 다양한 분석을 할수 있도록 여러 테이블을 가공하여 Mart를 생성을 한다. 이후 사용자는 분석 툴을 활용해 보다 편리하게 분석할 수 있도록 한다. Data Lake Data Warehouse의 정보 분석 한계를 개선하기 위해 생긴 데이터 저장 개념 Data Warehous는 정형데이터를 가공하여 저장하고 Data Lake는 원래 형식대로 대량 저장하여 분석에서 활용한다. 정형, 비정형, 반정형 모두 적재가 가능하다. Data Warehouse에 비해 더 큰 빅데이터 저장 공간 필요하다..

2021. 12. 10. 12:00
데이터분석/기초

[데이터분석] Data Engineering(엔지니어링) 1

크롤링(Crawling) 다양한 정보를 활용하기 쉽도록 수집하는 행위가 크롤링 크롤링을 하는 프로그램을 크롤러라고 한다. 웹의 데이터를 자동화해 가져오는 크롤러가 웹 크롤러다. ETL(Extract Transformation Loading) 내외부의 다수의 데이터를 추출하고 맞게 변환을 후에 저장하는 절차를 의미한다. ELT(Extract Loading Transformation) ETL 오픈 소스 두구 Talend Prntaho Knime Apache NIFI StramSets 정형 데이터(Structured Date) 엑셀 등의 시트에서 작업하듯 열과 행을 정리하여 표로 만들 수 있는 데이터 정형 데이터 쉽게 다루기 위해 관계형 데이터 베이스가 활용되기도 함 정형 데이터를 File로 변환할 경우에는 ..

2021. 12. 9. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 6

학습 셋(Training Set) 모델 생성을 위해 학습 과정에 사용 모델 파라미터 추정을 위해 소모됨 검증/개발 셋(Validtion / Development Set) 학습 과정에서 하이퍼 파라미터를 튜닝하는 데에 사용 여러 하이퍼 파라미터로 생성된 모델 중 어떤 것이 성능이 좋은지 평가하는데에 소모됨 테스트 셋(Test Set) 생성된 모델의 예측 성능 평가 미래에 타킷 값이 관측되지 않은 데이터라고 가정하고, 예측이 잘 되는지 평가하는 데에 소모됨 3-Way Holdout 방법 1. 갖고 있는 데이터를 3개로 분할 -> 학습, 개발, 테스트 셋 2. 여러 Hyperparameter Sets으로 후보 모델을 학습 3. Validation Set을 이용하여 모델들을 평가 4. Training Set과 ..

2021. 12. 8. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 5

파라미터 VS 하이퍼 파라미터 파라미터 - 모델의 구성요소이자 데이터로부터 학습되는 것 하이퍼 파라미터 - 모델 학습과정에 반영되며, 학습을 시작하기 전에 미리 값을 결정하는 것 파라미터 선형 회귀 모델 ( Linear Regression) 직선의 방정식 y=ax + b 파라미터 : a.b 학습을 통해서 y=-x + 10 학습을 통해 파라미터 a는 -1, 파라미터 b는 10으로 결정 하이퍼 파라미터 학습하기 전에 미리 값을 설정하는 하는 모델을 말한다. 빵을 굽는다면 오븐에서 오븐 160도 20분 => 안됨 오븐에서 오븐 180도 18분 => 성공 오븐에서 오븐 200도 16분 => 안됨 이런식으로 미리 값을 설정하고 모델을 학습시키는 것이다. 신경망 Feed-Forward Network 숨은 레이어를 ..

2021. 12. 7. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 4

신경망 모델(Neural Networks) 신경망 모델은 머신러닝 기법 중 하나의 부류로 기술의 발전과 많은 연구에 힘입어 가장 널리 쓰이고 있는 방법 피드 포워드 네트워크(Feed-Forward Network) 입력된 정보가 입력 레이어를 통해서 이동하고 그 안에 숨겨진 레이어를 통해 이동하면서 네트워크의 출력 레이어로 나와 최종 사용자에게 퀄리에 대한 답변을 제공합니다.. 입력 레이어는 사용자가 기존 데이터 또는 정보의 매개 변수를 입력이 되는 레이어 업니다. 숨겨진 레이어 통해서 컴퓨터가 추정된 응답을 생성하기 위해서 유사한 데이터 처리하는 경험을 됩니다.. 정보는 출력 레이어 통해 퍼널링되며 최종 사용자에게 답변이 제공되어집니다.. 피드 포워드 네트워크(Feed-Forward Network) 은 ..

2021. 12. 6. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 3

비지도 학습(Unsupervised Learning) 지도 학습과는 달리 타깃 값(Y)이 없는 입력 데이터 (X)만을 학습하는 방법 입력 데이터에 대재되어 있는 특성을 찾아내는 용도 비지도 학습(Unsupervised Learning)의 종류 1. 군집화(Clustering) : 유사한 포인트 들끼리 그룹을 만드는 방법 2. 잠재 변수 모델 ( Latent Variable Model) 표현된 데이터 속에 내재되어 있는 요인을 찾는 것 주성분(Principal Vomponent Aalysis) 특이값 분해( Singular Value Decomposition) 비음수 행렬 분해(Nommegative Matrix Factorization) 잠재 디리슐레 할당(Latent Dirichlet Allocation..

2021. 12. 5. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 2

지도 학습(Supervised Learning) 입력 데이터 (X)와 타깃 값(Y)을 알고 있는 데이터를 학습하여 이들의 관계를 모델링하는 학습 방법 새로운 데이터에 대한 타킷값을 예측하는 데에 사용 예를 들어서 컴퓨터가 개와 고양이를 분류하는 법을 가르치기 위해서 필요한다면 개, 고양이 사진을 표현한 데이터 : X 개, 고양이 사진의 클래스 : Y 이라고 할때 F(모델)을 개라고 정할 때 학습 알고리즘을 통해서 공부를 하게 되어서 컴퓨터가 인식을 한다는 것이다. 지도 학습(Supervised Learning)의 Y 형태에 따라서 두 가지로 나눈다. 분류(Claaification) 타깃변수 Y가 특정한 값만 가질 수 있는 변수인 이산형 변수 인경우 독립변수 종속변수 모델 차량 운행시간 연료소비량 차량 운..

2021. 12. 4. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 1

Machine Learning(머신러닝) 머신러닝은 컴퓨터가 데이터를 학습하는 알고리즘과 기술을 통칭하면서 컴퓨터과학과 수학, 통계가 모두 필요한 학문입니다. 현상을 설명하거나 미래를 예측하는 용도로 활용한다. Machine Learning(머신러닝) 기반 스팸 필터링 기존의 스팸 메일을 분류하는 규칙을 만들어서 모델화 된 것입니다. 전문가들의 지식은 완전한가? 전문가들의 지식을 빈틈없이 규칙 집합으로 표현 가능한가? 새로운 지식의 업데이트는 용이한가? 스팸 필터링 규칙으로 충분하지 않습니다. 구글에서 똑똑한 스팸 필터링을 한번 알아보도록 하겠습니다. Google 한국 블로그: 지메일의 똑똑한 스팸 필터링으로 원하는 메시지만 받아 보세요. (googleblog.com) 지메일의 똑똑한 스팸 필터링으로 원..

2021. 12. 3. 12:00
데이터분석/기초

[데이터분석] Deep Learning(딥러닝) 5

그동안 딥러닝에서 다루고 있는 용어나 개념을 알아보았습니다. 딥러닝에서 사용하고 있는 프레임워크에 대해서 알아보겠습니다. Deep Learning Framework Tensor Flow Pytorch Keras Teano MXNET CNTK 기타 등등 많은 프레임 워크가 존재합니다. 그중 상위 2개의 대해서 알아보도록 하겠습니다. Tensor Flow Python을 사용하는 Open Source Software Library Originally Developed by Google Brain Team에서 개발됨 Deep Mind, Uber, AirBnb DropBox 같은 기업에서 사용 PyTorch Lua라는 언어로 작성된 Torch Library의 Python 후속 제품 Facebook AI Resea..

2021. 12. 2. 12:00
데이터분석/기초

[데이터분석] Deep Learning(딥러닝) 4

Recurrent Neural Network 이전까지 들어온 입력 공간이 존재하면서 새로운 입력과 함께 모든 값이 입력으로 같이 들어간다는 것이다. Recurrent Neural Network(RNN)의 문제점 Swquence가 길어지면 성능이 떨어지고 학섭도 잘 안되고 오래된 입력에 대해서는 기억을 잘 못한다. 우리가 "시장에 가면"이라는 게임을 보면 생선도 있고 과일도 있고 과자도 있고 우유도 있고 라는 게임 중에 마지막 사람이 처음부터 생선을 까먹으면 틀리는 게임처럼 오래된 입력을 대해서 기억을 못 하는 경우라고 생각하면 됩다. Recurrent Neural Network(RNN)의 문제점을 해결하기 위한 2가지 LSTM - Long Short Term Memory GRU - Gated Recurr..

2021. 12. 1. 12:00
데이터분석/기초

[데이터분석] Deep Learning(딥러닝) 3

Back Propagation Loss로부터 거꾸로 한 단계씩 미분 값을 구하고 이 값들을 chain rule에 의하여 곱해가면서 Weight 대한 gradient를 구하는 방법 DataSet 나누기 2가지 혹은 3가지로 나눕니다. Training set / Test set Training set / Validation set / Test set Training set : 학습에 사용하는 Data Validation set : 학습에 사용하지 않고, Hyper Patameter Tunuing에 사용하는 Data Test set : 학습이 완전히 끝난 후에 Model을 평가하는 위한 Data Deep Learning 의 목적 Deep Neural Network 를 사용하여 우리가 가진 Data로 학습을 잘..

2021. 11. 30. 12:00
데이터분석/기초

[데이터분석] Deep Learning(딥러닝) 2

Weight 초기화 아무것도 모르는 상태에서 weight 초기값은 어떻게 찾을까? 일단은 랜덤한 값으로 찾자. Loss Function(Cost Function) Neural Network이 잘되고 있는지에 대한 척도를 알아보기 위해서 Neural Network의 출력값과 실제의 값을 비교 하여서 차이를 확인 하는 방법이다. 그 구간을 Loss Function의 값이 줄어들도록 Weight 값이 조금씩 바꾸는 것이다. weight를 어떻게 바꿔야 Loss Function의 값이 줄어드는 것은 미분을 적용하는것이다. Gradient Descent Loss Funtion의 미분(gradient)을 Weight 값를 찾는 방법이다. Recap - Gradient Descent 모든 트레이닝 데이타를 대해서 N..

2021. 11. 29. 12:00
데이터분석/기초

[데이터분석] Deep Learning(딥러닝) 1

생물학적 뉴런(Neuron) Perceptron(1958, Frank Rosenblatt) 생물학적 뉴런을 모방하여 만든 인공 신경망의 기본 단위 Artificial Neural Network(ANN) Perceptron을 여러개 연결 한 것, 우리가 원하는 목표를 달성하기 위해서 weight 값들을 찾아내는 과정 Single Layer Perceptron (SLP) Multi Layer Perceptron(MLP) Deep Learning Deep Neural Network을 이용한 Machine Learning 방법은 Hidden Layer 수가 2개 이상인 Network

2021. 11. 28. 12:00
데이터분석/기초

[데이터분석] 기초 통계학 7

구조방정식 모형 변수들 간의 관계를 밝히는 구조모형과 각 변수와 이를 측정하는 문항들 간의 관계를 밝히는 측정 모형을 함께 고려하는 분석 방법 확인적 요인분석과 매개효과 분석에 주로 활용 구조 모형 - 변수간의 관계 측정모형 - 변수와 측정문항들 간의 관계 확인적 요인 분석 측정문항들의 타당도를 알아보기 위한 분석으로 구조 방정식 모형중 측정 모형만 분석하는 방법 단일 수준 분석 모든 변수가 하나의 수준으로 이루어진 경우 다수 준분석 독립변수와 종속변수의 수준이 다른 경우 다수 준분석 독립변수와 종속변수의 개인 수준이지만 조절 변수의 수준이 다른 경우

2021. 11. 27. 12:00
데이터분석/기초

[데이터분석] 기초 통계학 6

로지스틱 회귀 분석 방법 독립변수가 연속형 변수이지만, 종속변수가 비연 속형 변수(이분형 변수)인 경우에는 로지스틱 회귀분석을 사용하는 분석 방법 로지스틱 회귀분석의 원리 특정 사건이 발생할 확률과 살생하지 않을 확률 간의 비율 로지스틱 회귀식 회귀분석에서 종속변수(y)를 Odd 비로 자연로그를 취한 값으로 대체 b1 > 0 : x가 증가할수록 특정 사건이 발생하지 않을 확률보다 발생할 확률이 높다는 의미 b1 < 0 : x가 증가할수록 특정 사건이 발생할 확률보다 발생하지 않을 확률이 높다는 의미 로지스틱 회귀분석 가설 H0 : 독립변수가 종속 변수에 미치는 영향의 크기는'0'이다. H1(양측 검증) : 독립변수가 종속변수에 미치는 영향의 크기는 '0' 아니다. H2(단측 검증) : 독립변수가 종속변수..

2021. 11. 26. 12:00
데이터분석/기초

[데이터 분석] 기초 통계학 5

분석 분석 방법 독립변수기 비연 속형 변수(명목 척도나 서열 척도)이고, 종속변수가 연속형 변수(등간 척도나 비율 척도) 일 때 사용하는 분석방법으로 독립 변수의 집단이 3개 이상일 때 사용하는 분석 방법 F-분포를 사용하여 분석 분산분석의 원리 집단 간 분산과 집단 내 부산을 통해 분석 집단 간 분산 > 집단내 분산 : 집단간 차이가 있음 집단간 분산 < 집단내 분산 : 집단간 차이가 크지 않음 실제 분석은 (집단 간 분사)/집단 내 분산)을 활용 사후 분석 : 어떠한 집단 들 간에 평균 차이가 발생하는 지를 알아보기 위한 분석 방법 분산분석의 종류 1) 1-way ANOVA : 독립변수 1개, 종속변수 1개 2) 2-way ANOVA : 독립변수 2개, 종속변수 1개 3) 3-way ANOVA : 독..

2021. 11. 25. 12:00
데이터분석/기초

[데이터분석] 기초 통계 학 4

양측 검증 방향성을 고려하지 않은 채로 연구가설(H1)을 설정할 때 사용하는 검증 방법 단측 검증 방향성을 고려하여 연구 가설을 설정할때 사용하는 검증 방법 양측 검증과 단측 검증 1) 양측 검증 - A집단의 평균과 B집단의 평균 간에는 차이가 있을 것이다. - A 변수가 B변수에 미치는 영향의 크기는 '0'이 아니다. 2) 단측 검증 - A 집단의 평균보다 B집단의 평균이 클 것이다. - A변수가 B변수에 미치는 영향의 크기는 '0'보다 클 것이다. 연구가설(H1)의 채택 가능성 - 양측 검증보다는 단측 검증일 경우에 연구가설(H1)이 채택될 가능성이 높다. - 95% 신뢰 수준의 단측 검증 = 90% 신뢰 수준의 양측 검증 t-분석방법 - 독립변수가 비연 속형 변수 (즉, 명목 척도나 서열 척도)이고..

2021. 11. 24. 12:00
데이터분석/기초

[데이터분석] 기초 통계 학 3

공 분산 두 변수가 함께 각자의 평균으로부터 멀어지는 정도 한 변수가 자신의 평균으로부터 멀어질 대 다른 변수가 자신의 평균으로부터 멀어지는 정도의 의미 상관계수 두 변수 간의 관계로 하나의 변수가 변화함에 따라 다른 변수가 변화 하는 정도를 의미 영가설(H0) 연구가설과는 반대되는 가설이고, 실제 분석이 이루어지는 가설 연구 가설(H1) 분석을 통해서 알아보고자 하는 내용으로 이루어진 가설 통계분석에서 영가설(H0)이 채택시 연구가설을 기각 영가설(H0)이 기각시 연구 가설을 채택 1) 집단 간 차이 검증 - 영가설(H0) : A집단의 평균과 B집단의 평균 간에는 차이가 없다. - 연구 가설(H1) : A집단의 평균과 B집단의 평균간에는 차이가 있다. 2) 영향력 검증 - 영가설(H0) : A변수가 B..

2021. 11. 23. 12:00
데이터분석/기초

[데이터분석] 기초 통계 학 2

척도의 원칙 포괄성 : 척도 안에 모든 경우의 수가 포함되어야 한다는 원칙 당신의 최종 학력은? 1) 고졸 이하 2) 전문대졸 3) 4년대 졸 4) 대학원 졸 이상 상호 배타성 : 척도 안에 중복되는 경우의 수가 없어야 한다는 원칙 당신의 월급은? 1) 1백만원1백만 원 이하 2) 1백만 원 초과 ~ 2백만 원 이상 3) 2백만원 초과 ~ 3백만 원 이상 4) 3백만 원 초과 명목 척도 측정이 이루어지는 항목이며 상호배타적인 특성만을 가진 척도 당신의 성별은? 1) 남성 2) 여성 서열 척도 명복 척도 들 중 항목들 간에 서열이나 순위 존재하는 척도 당신의 최종 학력은? 1) 무학 2) 초졸 3) 중볼 4) 고졸 5) 전문대졸 6) 4년대 졸 7) 석사졸 8) 박사졸 9) 기타 등간 척도 서열 척도들 중..

2021. 11. 22. 12:00