데이터분석/기초 검색 결과
38 개의 검색 결과가 있습니다.
데이터분석/기초

[데이터분석] 데이터 분석의 꽃 통계 8

조건부 확률의 이해 조건부 확률의 표기법 A, B : 관심 있는 사건 A 혹은 B n : 전체 관측치 수 n(A) : 사건 A에 해당하는 관측치 수 P(A) : 관심 있는 사건 A의 확률, P(A) = n(A)/n P(A|B) : B라는 조건 하에서 관심 있는 사건 A의 확률 조건부 확률(Conditional Probalbility) 전체 가 아닌 특정 조건을 만족하는 관측치 안에서 계산된 확률 전체 확률과 조건부 확률을 비교해서 차이를 확인 조건부 확률과 독립 독립(Independence) : 두 사건 A, B가 확률적으로 서로 관계가 없는 경우 모집단과 표본 모집단(Population) 관심 있는 대상 전체 표본(Sample) - 모집단에서 추출한 관심 대상 일부 - 데이터 = 표본 표본과 추론 통계..

2021. 12. 27. 12:00
데이터분석/기초

[데이터분석] 데이터 분석의 꽃 통계 7

사건과 확률 사건 : 관측치나 데이터가 특정 조건을 만족시키는 상황 로또 1등에 당첨될 사건, 프로토에서 1등이 당첨될 사건 등 확률 : 관심 있는 사건이 발생할 가능성을 0부터 1 사이 숫자로 표현한 값 확률을 계산하는 다양한 방법 1. 경우의 수의 활용 모든 가능한 경우의 수 중에서 관심 사건에 해당하는 경우의 수의 비중을 계산 예) 동전을 2번 던져 모두 앞면이 나올 확률 계산 - 모든 가능한 경우의 수 4 , 모두 앞면이 나올 확률 : 1/4 = 0.25 예) 로또 1등에 당첨될 확률 계산 - 모든 가능한 경우의 수 6/45 = 8,145,060 - 1등 당첨 경우의 수 : 1 - 1등 당첨 확률 : 1/8,145,060 = 0.00000012 2. 모의실험 관심 사건이 일어날 가상의 상황을 반복..

2021. 12. 21. 12:00
데이터분석/기초

[데이터분석] 데이터 분석의 꽃 통계 6

선형 회귀 변수의 관계를 활용한 예측 예측(Prediction) 주어진 정보를 활용해서 불확실한 미래를 대비 미래의 가능성이나 불확실성을 숫자로 계산해서 활용 결국 변수의 관계를 활용 관심 변수(반응 변수, 종속변수) 예측의 대상이 되는 변수 관심 변수에 관측치 간 차이가 존재 다양한 방법으로 관심 변수 속 차이를 확인 가능 설명변수(=독립변수) 관심 변수 속 차이를 설명할 수 있는 변수 관심 변수와 설명변수의 관계를 확인하여 예측에 활용 한 수치형 변수를 관심 변수로 지정 한 수치형 변수 요약 : 평균 계산 평균을 중심으로 관측치들이 흩어진 차이가 존재 조건부 평균(Conditional Mean) 특정 설명변수 조건과 일치하는 부분 관측치로 계산된 평균 범주형 설명 변수를 활용 : 그룹별 평균 수치형 ..

2021. 12. 20. 12:00
데이터분석/기초

[데이터분석] 데이터 분석의 꽃 통계 5

산점도(Scatter Plot) 두 수치형 변수를 가로축, 세로축으로 활용하여 그린 그래프 2차원 공간에 관측치의 수만큼 찍힌 점의 패턴을 파악 보조선의 중요성 두 변수의 평균을 활용해서 수직/수평선 추가 두 직선이 만나는 지점이 2차원 공간의 무게중심 사분면과 관측치들의 분류 2차원 공간에서 무게 중심 기준으로 나눠진 4개 면 오른쪽 위 제1 사분면부터 반시계 방향으로 순서를 지정 사분면과 두 변수의 상관관계 1. 두 수치형 변수의 관계 - 양의 상관 =" 같이 간다" - 음의 상관 = " 반대로 간다" 2. 산점도의 패턴과 두 변수의 관계 - 제1,3 사분면의 관측치 수 ↑: 두 변수의 양의 상관을 의미 - 제2,4 사분면의 관측치 수 ↑: 두 변수의 음의 상관을 의미 공분산을 활용하여 변수 관계 확..

2021. 12. 19. 12:00
데이터분석/기초

[데이터분석] 데이터 분석의 꽃 통계 4

데이터 공간의 형성 데이터마다 다른, 변수와 관측치 구성에 따라 만들어진 공간 데이터 공간의 구성과 특성 변수 수만큼의 차원이 생성 관측치 수 만큼의 점이 공간에 표현 데이터 공간과 분석의 재정의 키 몸무게 같은 변수가 만들어 내는 공간에서 관측치들이 만들어 내는 차이를 숫자와 그래프로 확인하고 더 자세히 상대적인 차이를 확인 한 다음 가능하다면 차이를 설명하는 과정 공간에서 범주형 변수 관측치들이 1차원에서 정해진 k개 수준 중 하나의 값을 가짐 빈도표 - 각 수준에 관측치들이 몇 개씩 있는지를 표로 요약 막대그래프 : 요약된 표의 빈도만큼 높이로 표현 공간에서 수치형 변수 관측치들이 1차원 수직선에서 다양한 값을 가짐 다섯 숫자 요약 상자 그림 : 최솟값, 최댓값 등의 위치를 확인 히스토그램 : 1차..

2021. 12. 18. 12:00
데이터분석/기초

[데이터분석] 데이터 분석의 꽃 통계 3

수치형 변수의 합계 수치형 변수와 범주형 변수의 차이 수치형 변수는 사칙연산(+-×÷) 가능 수치형 변수의 합계를 활용한 요약 평균 : 관측치들의 저 반적으로 큰 정도 분산/표준편차 : 관측치들 사이의 전반적인 차의 정도 수치형 변수와 표기법(Notation) 복잡한 계산을 표현하기 위해 미리 의미를 약속해둔 기호 n : 관측치 개수 평균(mean)의 의미와 계산 수치형 변수의 모든 관측치를 더하고 관측치 개수로 나눈 값 고정된 합계를 관측치 간 차이가 없게 나눠 가진 값 관측치들의 전반적인 크기를 의미 평균과 중앙값의 비교 관측치들의 전반적인 크기를 설명하는 값 평균 - 전반적인 크기를 잘 설명하지만 특이값에 따란 영향을 많이 받음 중앙값 - 관측치 개수를 활용하기 때문에 특이값의 영향이 제한적 분산(..

2021. 12. 17. 12:00
데이터분석/기초

[데이터분석] 데이터 분석의 꽃 통계 2

수치형 변수 관측치들이 다양한 숫자 값을 가질 수 있음 1. 정렬을 활용한 수치형 변수의 요약 최소 값 최대 값 웅앙 값 들 관측치 들의 전반적인 위치를 확인 2. 합계를 활용한 수치형 변수의 요약 평균, 분산 등 관측치들의 전반적인 특성을 확인 3. 순서와 정렬 관측치들을 값의 크기에 따라 순서를 가짐 순서에 따라 관측치들을 정렬 가능 일반적으로 오름차순으로 정렬 분위수의 활용 오름차순을 기준으로 관측치를 동일한 비율로 나누는 경곗값 수치형 변수 속 관측치들의 전반적인 분포를 확인 1. 백분위수 관측치를 1%씩 나누는 101개의 숫자(0%, 1% --- 99%, 100%) 2. 사분위수 관측치를 25%씩 나누는 5개 숫자(0%, 25%, 50%, 75%, 100%) 사분위수와 다섯 숫자 요약 사분위수(..

2021. 12. 16. 12:00
데이터분석/기초

[데이터분석] 데이터 분석의 꽃 통계 1

데이터 구성과 데이터 분석 데이터 구성 변수와 관측치 고객 성별 연령대 매출금액 1번 고객 2번 고객 3번 고객 4번 고객 5번 고객 변수의 형식 분류 범주형 변수 - 관측치들이 몇 개의 정해진 값만 가질 수 있음. 수치형 변수- 관측치들이 다양한 숫자 값을 가질 수 있음 데이터 분석의 목적 변수 속에서 관측치 간의 차이를 확인 변수 간의 관계를 확인 차이와 관계를 확인 하고 설명 데이터 분석의 과정 숫자와그래프와 차이를 확인 모형으로 차이를 설명 두 가지 차이 절대적 차이 - 관측치의 실제 값이나 데이터를 요약해서 얻은 숫자의 차이 상대적 차이 - 절대적인 차이를 상대적인 값으로 바꾼 숫자의 차이 절대적인 점수 상대적인 등수 90점 30명 중 3등 기술 통계량의 활용 통계량 - 데이터로부터 계산된 모든..

2021. 12. 15. 12:00
데이터분석/기초

[데이터분석] Data Engineering(엔지니어링) 6

하이브(Hive) 하둡 기반의 데이터 웨어 하우스 소프트웨어 SQL 기반의 데이터 요약, 질의 및 분석 기능을 제공 HDFS & Hbase 등 여러 하둡 에코들과 호환 기본 분석을 위한 QL(SQL-Like) 언어 제공 다수의 내부 함수, 분석 함수 제공 SDF(User Defined Function) 지원 다양한 파일 형식으로 전환 기능 Hive Architecture SQL on Hadoop HDFS에 저장된 데이터에 대한 SQL 처리를 제공하는 시스템 Hive를 포함하여 Impala, Presto, Drill 등 다양한 오픈소스 NoSQL(Not Only SQL) DB 배경 관계형 데이터베이스의 한계점 도달 전통적인 관계형 데이터베이스는 데이블 간 관계를 통해 다양한 데이터 조회 가능 빅데이터 시대..

2021. 12. 14. 12:00
데이터분석/기초

[데이터분석] Data Engineering(엔지니어링) 5

하둡(Hadoop) Open Source Java Software Framework Google의 GFS(Google File System) 논문을 기반으로 출발함. 2006년 더그 커팅과 마이크 캐퍼 렐라가 개발함. 하둡 분산 파일 시스템(HDFS : Hadoop Distrubuted File System) 하둡의 분산형 파일 시스템 Name Node : 파일의 메타(meta) 정보를 관리 Data Node : 실제 데이터를 저장하고 내보내는 역할 맵리듀스(MapReduce) Map Reduce라는 두 개의 합수의 조합 분산/병렬 시스템에서 데이터를 처리하는 프레임 워크 Map : 나누어진 단위에서 계산 Reduce : Key 별로 합침 스파크(Spark) In-Memory 기반 Open Source ..

2021. 12. 13. 12:00
데이터분석/기초

[데이터분석] Data Engineering(엔지니어링) 4

Scale UP 서버나 컴퓨터 자체 RAM, CPU, DISK 등의 구성요소 자체를 업그레이드하여 컴퓨팅 상능을 향상하는 방법 1의 처리능력을 가진 서버를 5이상의 능력을 가진 서버로 기능을 향상하는 것을 말한다. Scale Out 네트워크 상의 서버나 컴퓨터의 수를 늘려 컴퓨팅 성능을 향상 시키는 방법 1대의 컴퓨터가 하던일을 5대의 컴퓨터가 나눠서 처리하는 것 을 말한다. 각 서버를 Cluster로 묶기 때문에 1대를 활용하는 것이다. 구분 Scale up 형태의 서버 구성 Scale Out 형태의 서버 구성 확장 Ram,Cpu 등의 하드웨어 서버의 성능을 올림 하나의 서버에서 하던일을 여러대의 서버에서 처리 제약사항 무한 확장이 불가능함 이론상으로 무한 확장 가능 비용 성능증가에 따라 가격이 급등함..

2021. 12. 12. 12:00
데이터분석/기초

[데이터분석] Data Engineering(엔지니어링) 3

워크플로우(Workflow) 작업 절차를 통한 정보 또는 업무의 이동을 의미 데이터 워크플로우는 데이터 처리의 작업 처리를 의미 ETL 작업 같은 데이터 처리 흐름을 워크 플로우 스케줄링 툴로 처리함 방향성 비순환 그래프(Directed Acyclic Graph) Computer Cluster 여러대의 컴퓨터들이 연결되어 하나의 시스템처럼 동작하는 컴퓨터들의 집합을 말함 물리적으로는 여러대의 컴퓨터 이지만 외부 사용자는 마치 한대의 컴퓨터 인것으로 보임 클러스터의 구성요소 Node(Master + Slave) Network OS Middleware Computer Cluster의 목적 서버의 확장을 통한 우수한 성능을 얻을수 있음 분산 컴퓨터 SPOF(Single Point of Failure) 단일 장..

2021. 12. 11. 12:00
데이터분석/기초

[데이터분석] Data Engineering(엔지니어링) 2

Data Warehouse 사용자의 의사 결정에 도움을 주기 위하여, 여러 시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리 하는 데이터 베이스를 말한다. Data Warehouse를 구축 한다는 것은? 다양한 분석을 할수 있도록 여러 테이블을 가공하여 Mart를 생성을 한다. 이후 사용자는 분석 툴을 활용해 보다 편리하게 분석할 수 있도록 한다. Data Lake Data Warehouse의 정보 분석 한계를 개선하기 위해 생긴 데이터 저장 개념 Data Warehous는 정형데이터를 가공하여 저장하고 Data Lake는 원래 형식대로 대량 저장하여 분석에서 활용한다. 정형, 비정형, 반정형 모두 적재가 가능하다. Data Warehouse에 비해 더 큰 빅데이터 저장 공간 필요하다..

2021. 12. 10. 12:00
데이터분석/기초

[데이터분석] Data Engineering(엔지니어링) 1

크롤링(Crawling) 다양한 정보를 활용하기 쉽도록 수집하는 행위가 크롤링 크롤링을 하는 프로그램을 크롤러라고 한다. 웹의 데이터를 자동화해 가져오는 크롤러가 웹 크롤러다. ETL(Extract Transformation Loading) 내외부의 다수의 데이터를 추출하고 맞게 변환을 후에 저장하는 절차를 의미한다. ELT(Extract Loading Transformation) ETL 오픈 소스 두구 Talend Prntaho Knime Apache NIFI StramSets 정형 데이터(Structured Date) 엑셀 등의 시트에서 작업하듯 열과 행을 정리하여 표로 만들 수 있는 데이터 정형 데이터 쉽게 다루기 위해 관계형 데이터 베이스가 활용되기도 함 정형 데이터를 File로 변환할 경우에는 ..

2021. 12. 9. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 6

학습 셋(Training Set) 모델 생성을 위해 학습 과정에 사용 모델 파라미터 추정을 위해 소모됨 검증/개발 셋(Validtion / Development Set) 학습 과정에서 하이퍼 파라미터를 튜닝하는 데에 사용 여러 하이퍼 파라미터로 생성된 모델 중 어떤 것이 성능이 좋은지 평가하는데에 소모됨 테스트 셋(Test Set) 생성된 모델의 예측 성능 평가 미래에 타킷 값이 관측되지 않은 데이터라고 가정하고, 예측이 잘 되는지 평가하는 데에 소모됨 3-Way Holdout 방법 1. 갖고 있는 데이터를 3개로 분할 -> 학습, 개발, 테스트 셋 2. 여러 Hyperparameter Sets으로 후보 모델을 학습 3. Validation Set을 이용하여 모델들을 평가 4. Training Set과 ..

2021. 12. 8. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 5

파라미터 VS 하이퍼 파라미터 파라미터 - 모델의 구성요소이자 데이터로부터 학습되는 것 하이퍼 파라미터 - 모델 학습과정에 반영되며, 학습을 시작하기 전에 미리 값을 결정하는 것 파라미터 선형 회귀 모델 ( Linear Regression) 직선의 방정식 y=ax + b 파라미터 : a.b 학습을 통해서 y=-x + 10 학습을 통해 파라미터 a는 -1, 파라미터 b는 10으로 결정 하이퍼 파라미터 학습하기 전에 미리 값을 설정하는 하는 모델을 말한다. 빵을 굽는다면 오븐에서 오븐 160도 20분 => 안됨 오븐에서 오븐 180도 18분 => 성공 오븐에서 오븐 200도 16분 => 안됨 이런식으로 미리 값을 설정하고 모델을 학습시키는 것이다. 신경망 Feed-Forward Network 숨은 레이어를 ..

2021. 12. 7. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 4

신경망 모델(Neural Networks) 신경망 모델은 머신러닝 기법 중 하나의 부류로 기술의 발전과 많은 연구에 힘입어 가장 널리 쓰이고 있는 방법 피드 포워드 네트워크(Feed-Forward Network) 입력된 정보가 입력 레이어를 통해서 이동하고 그 안에 숨겨진 레이어를 통해 이동하면서 네트워크의 출력 레이어로 나와 최종 사용자에게 퀄리에 대한 답변을 제공합니다.. 입력 레이어는 사용자가 기존 데이터 또는 정보의 매개 변수를 입력이 되는 레이어 업니다. 숨겨진 레이어 통해서 컴퓨터가 추정된 응답을 생성하기 위해서 유사한 데이터 처리하는 경험을 됩니다.. 정보는 출력 레이어 통해 퍼널링되며 최종 사용자에게 답변이 제공되어집니다.. 피드 포워드 네트워크(Feed-Forward Network) 은 ..

2021. 12. 6. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 3

비지도 학습(Unsupervised Learning) 지도 학습과는 달리 타깃 값(Y)이 없는 입력 데이터 (X)만을 학습하는 방법 입력 데이터에 대재되어 있는 특성을 찾아내는 용도 비지도 학습(Unsupervised Learning)의 종류 1. 군집화(Clustering) : 유사한 포인트 들끼리 그룹을 만드는 방법 2. 잠재 변수 모델 ( Latent Variable Model) 표현된 데이터 속에 내재되어 있는 요인을 찾는 것 주성분(Principal Vomponent Aalysis) 특이값 분해( Singular Value Decomposition) 비음수 행렬 분해(Nommegative Matrix Factorization) 잠재 디리슐레 할당(Latent Dirichlet Allocation..

2021. 12. 5. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 2

지도 학습(Supervised Learning) 입력 데이터 (X)와 타깃 값(Y)을 알고 있는 데이터를 학습하여 이들의 관계를 모델링하는 학습 방법 새로운 데이터에 대한 타킷값을 예측하는 데에 사용 예를 들어서 컴퓨터가 개와 고양이를 분류하는 법을 가르치기 위해서 필요한다면 개, 고양이 사진을 표현한 데이터 : X 개, 고양이 사진의 클래스 : Y 이라고 할때 F(모델)을 개라고 정할 때 학습 알고리즘을 통해서 공부를 하게 되어서 컴퓨터가 인식을 한다는 것이다. 지도 학습(Supervised Learning)의 Y 형태에 따라서 두 가지로 나눈다. 분류(Claaification) 타깃변수 Y가 특정한 값만 가질 수 있는 변수인 이산형 변수 인경우 독립변수 종속변수 모델 차량 운행시간 연료소비량 차량 운..

2021. 12. 4. 12:00
데이터분석/기초

[데이터분석] Machine Learning(머신러닝) 1

Machine Learning(머신러닝) 머신러닝은 컴퓨터가 데이터를 학습하는 알고리즘과 기술을 통칭하면서 컴퓨터과학과 수학, 통계가 모두 필요한 학문입니다. 현상을 설명하거나 미래를 예측하는 용도로 활용한다. Machine Learning(머신러닝) 기반 스팸 필터링 기존의 스팸 메일을 분류하는 규칙을 만들어서 모델화 된 것입니다. 전문가들의 지식은 완전한가? 전문가들의 지식을 빈틈없이 규칙 집합으로 표현 가능한가? 새로운 지식의 업데이트는 용이한가? 스팸 필터링 규칙으로 충분하지 않습니다. 구글에서 똑똑한 스팸 필터링을 한번 알아보도록 하겠습니다. Google 한국 블로그: 지메일의 똑똑한 스팸 필터링으로 원하는 메시지만 받아 보세요. (googleblog.com) 지메일의 똑똑한 스팸 필터링으로 원..

2021. 12. 3. 12:00