전체 글 검색 결과
526 개의 검색 결과가 있습니다.
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 4

신경망 모델(Neural Networks) 신경망 모델은 머신러닝 기법 중 하나의 부류로 기술의 발전과 많은 연구에 힘입어 가장 널리 쓰이고 있는 방법 피드 포워드 네트워크(Feed-Forward Network) 입력된 정보가 입력 레이어를 통해서 이동하고 그 안에 숨겨진 레이어를 통해 이동하면서 네트워크의 출력 레이어로 나와 최종 사용자에게 퀄리에 대한 답변을 제공합니다.. 입력 레이어는 사용자가 기존 데이터 또는 정보의 매개 변수를 입력이 되는 레이어 업니다. 숨겨진 레이어 통해서 컴퓨터가 추정된 응답을 생성하기 위해서 유사한 데이터 처리하는 경험을 됩니다.. 정보는 출력 레이어 통해 퍼널링되며 최종 사용자에게 답변이 제공되어집니다.. 피드 포워드 네트워크(Feed-Forward Network) 은 ..

2021. 12. 6. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 3

비지도 학습(Unsupervised Learning) 지도 학습과는 달리 타깃 값(Y)이 없는 입력 데이터 (X)만을 학습하는 방법 입력 데이터에 대재되어 있는 특성을 찾아내는 용도 비지도 학습(Unsupervised Learning)의 종류 1. 군집화(Clustering) : 유사한 포인트 들끼리 그룹을 만드는 방법 2. 잠재 변수 모델 ( Latent Variable Model) 표현된 데이터 속에 내재되어 있는 요인을 찾는 것 주성분(Principal Vomponent Aalysis) 특이값 분해( Singular Value Decomposition) 비음수 행렬 분해(Nommegative Matrix Factorization) 잠재 디리슐레 할당(Latent Dirichlet Allocation..

2021. 12. 5. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 2

지도 학습(Supervised Learning) 입력 데이터 (X)와 타깃 값(Y)을 알고 있는 데이터를 학습하여 이들의 관계를 모델링하는 학습 방법 새로운 데이터에 대한 타킷값을 예측하는 데에 사용 예를 들어서 컴퓨터가 개와 고양이를 분류하는 법을 가르치기 위해서 필요한다면 개, 고양이 사진을 표현한 데이터 : X 개, 고양이 사진의 클래스 : Y 이라고 할때 F(모델)을 개라고 정할 때 학습 알고리즘을 통해서 공부를 하게 되어서 컴퓨터가 인식을 한다는 것이다. 지도 학습(Supervised Learning)의 Y 형태에 따라서 두 가지로 나눈다. 분류(Claaification) 타깃변수 Y가 특정한 값만 가질 수 있는 변수인 이산형 변수 인경우 독립변수 종속변수 모델 차량 운행시간 연료소비량 차량 운..

2021. 12. 4. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 1

Machine Learning(머신러닝) 머신러닝은 컴퓨터가 데이터를 학습하는 알고리즘과 기술을 통칭하면서 컴퓨터과학과 수학, 통계가 모두 필요한 학문입니다. 현상을 설명하거나 미래를 예측하는 용도로 활용한다. Machine Learning(머신러닝) 기반 스팸 필터링 기존의 스팸 메일을 분류하는 규칙을 만들어서 모델화 된 것입니다. 전문가들의 지식은 완전한가? 전문가들의 지식을 빈틈없이 규칙 집합으로 표현 가능한가? 새로운 지식의 업데이트는 용이한가? 스팸 필터링 규칙으로 충분하지 않습니다. 구글에서 똑똑한 스팸 필터링을 한번 알아보도록 하겠습니다. Google 한국 블로그: 지메일의 똑똑한 스팸 필터링으로 원하는 메시지만 받아 보세요. (googleblog.com) 지메일의 똑똑한 스팸 필터링으로 원..

2021. 12. 3. 12:00
데이터분석/기초

[데이터분석] Deep Learning(딥러닝) 5

그동안 딥러닝에서 다루고 있는 용어나 개념을 알아보았습니다. 딥러닝에서 사용하고 있는 프레임워크에 대해서 알아보겠습니다. Deep Learning Framework Tensor Flow Pytorch Keras Teano MXNET CNTK 기타 등등 많은 프레임 워크가 존재합니다. 그중 상위 2개의 대해서 알아보도록 하겠습니다. Tensor Flow Python을 사용하는 Open Source Software Library Originally Developed by Google Brain Team에서 개발됨 Deep Mind, Uber, AirBnb DropBox 같은 기업에서 사용 PyTorch Lua라는 언어로 작성된 Torch Library의 Python 후속 제품 Facebook AI Resea..

2021. 12. 2. 12:00
데이터분석/기초

[데이터분석] Deep Learning(딥러닝) 4

Recurrent Neural Network 이전까지 들어온 입력 공간이 존재하면서 새로운 입력과 함께 모든 값이 입력으로 같이 들어간다는 것이다. Recurrent Neural Network(RNN)의 문제점 Swquence가 길어지면 성능이 떨어지고 학섭도 잘 안되고 오래된 입력에 대해서는 기억을 잘 못한다. 우리가 "시장에 가면"이라는 게임을 보면 생선도 있고 과일도 있고 과자도 있고 우유도 있고 라는 게임 중에 마지막 사람이 처음부터 생선을 까먹으면 틀리는 게임처럼 오래된 입력을 대해서 기억을 못 하는 경우라고 생각하면 됩다. Recurrent Neural Network(RNN)의 문제점을 해결하기 위한 2가지 LSTM - Long Short Term Memory GRU - Gated Recurr..

2021. 12. 1. 12:00
데이터분석/기초

[데이터분석] Deep Learning(딥러닝) 3

Back Propagation Loss로부터 거꾸로 한 단계씩 미분 값을 구하고 이 값들을 chain rule에 의하여 곱해가면서 Weight 대한 gradient를 구하는 방법 DataSet 나누기 2가지 혹은 3가지로 나눕니다. Training set / Test set Training set / Validation set / Test set Training set : 학습에 사용하는 Data Validation set : 학습에 사용하지 않고, Hyper Patameter Tunuing에 사용하는 Data Test set : 학습이 완전히 끝난 후에 Model을 평가하는 위한 Data Deep Learning 의 목적 Deep Neural Network 를 사용하여 우리가 가진 Data로 학습을 잘..

2021. 11. 30. 12:00
데이터분석/기초

[데이터분석] Deep Learning(딥러닝) 2

Weight 초기화 아무것도 모르는 상태에서 weight 초기값은 어떻게 찾을까? 일단은 랜덤한 값으로 찾자. Loss Function(Cost Function) Neural Network이 잘되고 있는지에 대한 척도를 알아보기 위해서 Neural Network의 출력값과 실제의 값을 비교 하여서 차이를 확인 하는 방법이다. 그 구간을 Loss Function의 값이 줄어들도록 Weight 값이 조금씩 바꾸는 것이다. weight를 어떻게 바꿔야 Loss Function의 값이 줄어드는 것은 미분을 적용하는것이다. Gradient Descent Loss Funtion의 미분(gradient)을 Weight 값를 찾는 방법이다. Recap - Gradient Descent 모든 트레이닝 데이타를 대해서 N..

2021. 11. 29. 12:00
데이터분석/기초

[데이터분석] Deep Learning(딥러닝) 1

생물학적 뉴런(Neuron) Perceptron(1958, Frank Rosenblatt) 생물학적 뉴런을 모방하여 만든 인공 신경망의 기본 단위 Artificial Neural Network(ANN) Perceptron을 여러개 연결 한 것, 우리가 원하는 목표를 달성하기 위해서 weight 값들을 찾아내는 과정 Single Layer Perceptron (SLP) Multi Layer Perceptron(MLP) Deep Learning Deep Neural Network을 이용한 Machine Learning 방법은 Hidden Layer 수가 2개 이상인 Network

2021. 11. 28. 12:00
데이터분석/기초

[데이터분석] 기초 통계학 7

구조방정식 모형 변수들 간의 관계를 밝히는 구조모형과 각 변수와 이를 측정하는 문항들 간의 관계를 밝히는 측정 모형을 함께 고려하는 분석 방법 확인적 요인분석과 매개효과 분석에 주로 활용 구조 모형 - 변수간의 관계 측정모형 - 변수와 측정문항들 간의 관계 확인적 요인 분석 측정문항들의 타당도를 알아보기 위한 분석으로 구조 방정식 모형중 측정 모형만 분석하는 방법 단일 수준 분석 모든 변수가 하나의 수준으로 이루어진 경우 다수 준분석 독립변수와 종속변수의 수준이 다른 경우 다수 준분석 독립변수와 종속변수의 개인 수준이지만 조절 변수의 수준이 다른 경우

2021. 11. 27. 12:00
데이터분석/기초

[데이터분석] 기초 통계학 6

로지스틱 회귀 분석 방법 독립변수가 연속형 변수이지만, 종속변수가 비연 속형 변수(이분형 변수)인 경우에는 로지스틱 회귀분석을 사용하는 분석 방법 로지스틱 회귀분석의 원리 특정 사건이 발생할 확률과 살생하지 않을 확률 간의 비율 로지스틱 회귀식 회귀분석에서 종속변수(y)를 Odd 비로 자연로그를 취한 값으로 대체 b1 > 0 : x가 증가할수록 특정 사건이 발생하지 않을 확률보다 발생할 확률이 높다는 의미 b1 < 0 : x가 증가할수록 특정 사건이 발생할 확률보다 발생하지 않을 확률이 높다는 의미 로지스틱 회귀분석 가설 H0 : 독립변수가 종속 변수에 미치는 영향의 크기는'0'이다. H1(양측 검증) : 독립변수가 종속변수에 미치는 영향의 크기는 '0' 아니다. H2(단측 검증) : 독립변수가 종속변수..

2021. 11. 26. 12:00
데이터분석/기초

[데이터 분석] 기초 통계학 5

분석 분석 방법 독립변수기 비연 속형 변수(명목 척도나 서열 척도)이고, 종속변수가 연속형 변수(등간 척도나 비율 척도) 일 때 사용하는 분석방법으로 독립 변수의 집단이 3개 이상일 때 사용하는 분석 방법 F-분포를 사용하여 분석 분산분석의 원리 집단 간 분산과 집단 내 부산을 통해 분석 집단 간 분산 > 집단내 분산 : 집단간 차이가 있음 집단간 분산 < 집단내 분산 : 집단간 차이가 크지 않음 실제 분석은 (집단 간 분사)/집단 내 분산)을 활용 사후 분석 : 어떠한 집단 들 간에 평균 차이가 발생하는 지를 알아보기 위한 분석 방법 분산분석의 종류 1) 1-way ANOVA : 독립변수 1개, 종속변수 1개 2) 2-way ANOVA : 독립변수 2개, 종속변수 1개 3) 3-way ANOVA : 독..

2021. 11. 25. 12:00
데이터분석/기초

[데이터분석] 기초 통계 학 4

양측 검증 방향성을 고려하지 않은 채로 연구가설(H1)을 설정할 때 사용하는 검증 방법 단측 검증 방향성을 고려하여 연구 가설을 설정할때 사용하는 검증 방법 양측 검증과 단측 검증 1) 양측 검증 - A집단의 평균과 B집단의 평균 간에는 차이가 있을 것이다. - A 변수가 B변수에 미치는 영향의 크기는 '0'이 아니다. 2) 단측 검증 - A 집단의 평균보다 B집단의 평균이 클 것이다. - A변수가 B변수에 미치는 영향의 크기는 '0'보다 클 것이다. 연구가설(H1)의 채택 가능성 - 양측 검증보다는 단측 검증일 경우에 연구가설(H1)이 채택될 가능성이 높다. - 95% 신뢰 수준의 단측 검증 = 90% 신뢰 수준의 양측 검증 t-분석방법 - 독립변수가 비연 속형 변수 (즉, 명목 척도나 서열 척도)이고..

2021. 11. 24. 12:00
데이터분석/기초

[데이터분석] 기초 통계 학 3

공 분산 두 변수가 함께 각자의 평균으로부터 멀어지는 정도 한 변수가 자신의 평균으로부터 멀어질 대 다른 변수가 자신의 평균으로부터 멀어지는 정도의 의미 상관계수 두 변수 간의 관계로 하나의 변수가 변화함에 따라 다른 변수가 변화 하는 정도를 의미 영가설(H0) 연구가설과는 반대되는 가설이고, 실제 분석이 이루어지는 가설 연구 가설(H1) 분석을 통해서 알아보고자 하는 내용으로 이루어진 가설 통계분석에서 영가설(H0)이 채택시 연구가설을 기각 영가설(H0)이 기각시 연구 가설을 채택 1) 집단 간 차이 검증 - 영가설(H0) : A집단의 평균과 B집단의 평균 간에는 차이가 없다. - 연구 가설(H1) : A집단의 평균과 B집단의 평균간에는 차이가 있다. 2) 영향력 검증 - 영가설(H0) : A변수가 B..

2021. 11. 23. 12:00
데이터분석/기초

[데이터분석] 기초 통계 학 2

척도의 원칙 포괄성 : 척도 안에 모든 경우의 수가 포함되어야 한다는 원칙 당신의 최종 학력은? 1) 고졸 이하 2) 전문대졸 3) 4년대 졸 4) 대학원 졸 이상 상호 배타성 : 척도 안에 중복되는 경우의 수가 없어야 한다는 원칙 당신의 월급은? 1) 1백만원1백만 원 이하 2) 1백만 원 초과 ~ 2백만 원 이상 3) 2백만원 초과 ~ 3백만 원 이상 4) 3백만 원 초과 명목 척도 측정이 이루어지는 항목이며 상호배타적인 특성만을 가진 척도 당신의 성별은? 1) 남성 2) 여성 서열 척도 명복 척도 들 중 항목들 간에 서열이나 순위 존재하는 척도 당신의 최종 학력은? 1) 무학 2) 초졸 3) 중볼 4) 고졸 5) 전문대졸 6) 4년대 졸 7) 석사졸 8) 박사졸 9) 기타 등간 척도 서열 척도들 중..

2021. 11. 22. 12:00
데이터분석/기초

[데이터분석] 기초 통계학 1

기술통계 수집한 자료를 분석하여 대상들의 속성을 파악하는 통계방법 1) 중심 경향 값 : 전체 자료를 대표할 수 있는 수치들 평균 : 전체 자료가 가지는 수치들의 총합을 전체 자료의 수로 나눈 수치 중앙값 : 최댓값과 최솟값의 정가운데 수치 최빈값 : 가장 많은 빈도를 보이는 수치 2) 분산도 : 전체 자료가 얼마나 퍼져 있는 지를 알 수 있는 수치들 분산 : 각 자료가 평균으로부터 떨어진 거리(편차)들을 제곱한 수치들의 총합을 전체 자료의 수로 나눈 수치 표준편차 : 분산을 제곱근을 취한 수치 3) 상관계수 : 두 변수 간의 관계의 크기 4) 회귀 계수 : 독립변수(원인)가 종속변수(결과)에 미치는 영향의 크기 추정 통계 모집단을 대표하는 표본을 추출하고 표본의 기술통계를 이용하여 모집단의 속성들을 유..

2021. 11. 21. 12:00
데이터분석/기초

[데이터분석] 헬스케어 / 제약 / 기타 데이터 활용

우리는 건강해서 오랫동안 살 수 있는 환경을 만들어야 합니다. 헬스 케어 분야와 제약회사 등이 어떤 데이터를 가지고 분석을 하는지 알아봅시다. 헬스 케어 의료 빅데이터 분석을 통한 질병 감시 예측 서비스를 말합니다. 1. 의료기관 약국 - 환자 진료(처방, 조제) 시 DUR 정보 확인 2. 심사평가원 - 처방패턴 분석으로 의심 질병 실시간 모니터링 3. 정부 - 감염병 확산 등 위기상황 발생 시 즉각 대응 4. 국민 - 잠재적 질병 발병 예방 의료 빅데이터 및 AI 환자의 진단정보, 의료차트, 간호기록, 유전자, 개인 습관 데이터 활용 개인에 맞는 건강 관리 및 치료방법 제안 예측 서비스 치료 중심이 아닌 예방에 초점 AI 기술을 이용하여 X선 영상에서 폐결절 이상부위 검출 의사의 판독을 보조하는 소프트..

2021. 11. 20. 12:00
데이터분석/기초

[데이터분석] 금융 보험 데이터 활용하기

금융권인 은행과 보험사에서는 데이터 분석을 어떻게 이루어지고 있는가? 가장 중요한 것들은 고객 행동 데이터 분석을 통해서 다른 곳의 인사이트에 적용이 된다는 것이다. 고객 행동 데이터 분석 신용카드를 사용하는 고객의 이동 경로 분석을 진행 한다. 인지> 탐색> 신규> 거래 등 고객의 이동경로를 기준으로 분석한다. 각 상황에 맞는 마케팅을 통해 고객 이탈 방지를 이용한다. 은행 앱으로 환율 조회를 하는 사람에게는 여행 적금 권유 메시지 신용카드 사용 중에 결혼 준비 관련 결제 기록이 많으면 관련 여행 보험 가입 권유 메시지 국내외 빅데이터 활용 신용 평가 가능 빅 데이터 활용한 기업 진단 시스템 구축 기업 관련 빅데이터를 통합하여 수백 개의 리스크 지표를 분석해 기업의 분실 가능성을 파악한다. 통신사나 B..

2021. 11. 19. 12:00
데이터분석/기초

[데이터 분석] 제조업 통신/마케팅 데이터 활용하기

제조업 데이터 분석 제조업에서는 데이터 분석이 가장 중요하다 품질 수율 개선 생산 운영 최적화 장비 설비 관리 정비 에너지 장비 절감 안전 보건 환경 판매 예측 재고 관리 제조의 전 영역에서 분석 적용됩니다. 품질 수율 분석 - 저수율 생산 경로 추적 분석해서 수율에 영향을 미치는 설비와 인자를 탐색 후 개선됩니다. 예지 정비 - 생산장비가 어떻게 문제가 있는지 진동 분석을 통한 고장 예측 진단을 정밀화 할 수 있다. 제조 데이터의 특징은 변수 개수가 많아서 독립변수들 간에 높은 선형 관가가 존재함으로써 적절하게 제거하여 다중 공선 성이 필요하다. 불균형 자료가 다양하여 양품과 불량률에 대한 비율을 조사하여 데이터 분석을 예측할 수 있다. 통신/마케팅 데이터 분석 고객 상품 추천 분석- 도서 고객 상품 ..

2021. 11. 18. 12:00
데이터분석/기초

[데이터분석] 공공데이터 활용하기

공공 데이터는 우리가 사업을 하거나 마케팅에 활용하기 위해서 사용되는 곳입니다. 생각보다 대용량 데이터 분석이 가능한 곳이고 데이터 분석 플랫폼으로는 파이썬이나 R을 사용하여 빅데이터 분석 도구로 사용됩니다. 공공데이터 포털 (data.go.kr) 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 사이트에 들어가면 다양한 데이터 목록이 보입니다. 분류명을 목록을 클릭하면 그다음 하위 카테고리에 대한 목록의 퍼센트가 보입니다. 데이터 활용 메뉴를 보면 지금까지 데이터를 활용하여 만들어진 사이트나 모바일 앱들이 존재합니다...

2021. 11. 17. 12:00