본문 바로가기

2017/0722

빅데이터 5 영화 마이너리티 리포트 한번보기! 분류 Classfication 데이터분석은 인문학적 소양이 매우 필요하다. 기술로만은 불가능 하다. 암이었다가 암이 아닌 모델이 훨씬 더 좋은 모델이라고 한다. 1. 각 데이터의 표준화 필요 2. 분류의 결과가 악성이나 양성 id값이 필요한 이유 A란 사람의 생활패턴이 필요 2~4 = 1~ 10 0.2 -0.20.4-0.20.4-0.3 ------0------1------0.5 0.4-0.20.4-0.20.4-0.2 최대값 -a a - 최대값 --------- 현 위치--------- 최대값-최소값최대값 - 최소값 2 - 5-3 5-1 4 --------------- 2 - 1 1 2-1 1 0.4-0.30.10.3-0.2-0.2 --------------- 0.4-0... 2017. 7. 28.
빅데이터 4 3등석의 어른은 죽었다 그래서 3등석의 어린이는 살았다? 절대 흑백논리로 보이지 않는 것을 예측 분석하면 안된다. 타이타닉 분석 EBS 자본주의 꼭 볼것 ! ctree rpart 는 중심값을 가지고 분류The k-Nearest Neighbor Algorithm입력이 특징 공간 내 k개의 가장 가까운 훈련 데이터로 구성데이터를 분류하는데 유용하게 사용하는 알고리즘주어진 훈련 집합의 레코드와 비교하여 가장 밀접한 k개의 레코드를 기반으로 새로운 데이터를 분류하는 알고리즘밀접한 정도는 Euclidean distance를 사용하여 계산 장점높은 정확도, 오류 데이터(outlier)에 둔감, 데이터에 대한 가정이 없음단점계산 비용이 높음, 많은 메모리 요구 군집에서는 3명|2명|정 가운데 서있다면, 3명에 포함된.. 2017. 7. 27.
빅데이터 3 하삼각 / 상삼각 행렬들 예 빅데이터에 꼭 필요한것 정수론 apply()군 함수 리스트 서로 다른 데이터 형의 집합을 정의할 필요가 있을 때 사용할 수 있는 데이터 객체 벡터가 서로 같은 데이터 형으로 구성된다면, 리스트는 서로다른 데이터 형으로 구성된 객체 unlist() lapply() sapply() 데이터 프레임 데이터마이닝 ? 통계에서는 기본적으로 유의미한 시점을 지나가면 데이터를 버린다 데이터 에선 버리지 않는다 하지만 관련된 의미가 없으면 그때 버리지 미리 버리진 않는다 연관규칙(Association Rule) 임의 데이터에서 어떤 데이터의 발생을 예측하는 규칙 데이터 간의 연관성 및 상관관계를 표한하는 규칙 A -> B (A와 B는 데이터의 부분집합) A를 left-hand-side, B를.. 2017. 7. 26.
빅데이터 2 분석 모델을 만든 것 여기까지가 통계인가요 ... 수치 데이터는 바꿀수 없지만 환경 데이터는 바꿀수 있다. 데이터 분석 오차율 0.2 -> 앞의 확률이 적다면( > 0.2, 1,0) 데이터 분석을 할때 정답은 없다. 0.2라는 값과 0.5라는 모델이 나오면 데이터가 부정확함에도 불구하고 최소한의 오차율이 나오게 한다면 과연 맞는 것일까? 행렬 R에서 행렬의 내부 저장 공간은 열 우선 배열방식 (80년대 책을 생각해보면) 행렬에 데이터를 저장시, 1번 열, 2번 열 .. 순으로 저장 matrix() 함수 : 행렬을 만드는 함수 nrow, ncol : 행과 열의 수를 지정하는 인수, 모두 지정할 필요 없음 length 데이터 개수, mode 데이터 타입, dim 행과 열의 개수, dimnames 행과 열의 .. 2017. 7. 25.
데이터베이스 1 경영에 붇이면 경영 빅데이터 의료에 붙이면 의료빅데이터 데이터를 이해하는 능력 데이터를 처리하는 능력 데이터에서 가치를 뽑아내는 능력(타고나는 것 같다) 데이터를 시각화하는 능력 데이터를 잘 전달하는 능력 데이터 사이언티스트 위키피디아 - 데이터 사이언스는 데이터 엔지리어링, 과학적 방법론, 수학, 통게학, 고급커퓨팅, 비주얼 라이제이션, 해커적 사 고방식, 영역별 전문지식을 종합한 학문 - 데이터 사이언티스트는 이러한 수행이 가능한자 가트너 - 분석, 다양한 경험, 팀 차원의 협력 등 그역할이 다양하고 복합적 NIA - 데이터의 다각적 분석을 통해 조직의 전략방향을 제시하는 기획자이자 전략가 빅데이터 정의 데이터 규모 : 데이터 수집, 저장, ,관리 분석할 수 있는 역량을 넘어서는 규모의 데이터 업무 .. 2017. 7. 24.
UX/UI 모바일 UX 모바일 프로토 타입을 간단하게 만드는 것 사용자를 위한 제품 어떻게 ? 내가 생각하는 서비스가 아니고 사용자가 원하는 서비스를 찾는 방법을 찾는게 . 왠지 먹기 싫은 맛 ? >>> 주변사람에게 왜 ??? 진짜냐? >>> 조도/ 장마철 환경적인 문제일 수도? 전체적인것을 파악해야 한다. 적극적인 몇명의 의견이 전체 의견이 될수 있다. -> 중심을 잘 잡아야 한다. ㄴ 일반 고객을 연령대 별로 뽑아 체험단 ? UX 디자이너 사용자 조사, 사용자 리서치! 스타트업의 95%는 __________단계에서 실패가 결정한다. // 무엇을 할지 정하는 성공 5/ 현상유지15 실패 80 내가 하고싶은게 아니라 사람들이 정말 원하는것이 무엇인가? 전략 수집 -> 기본설계 테스트 -> 상세 설계 -> 비주얼 디.. 2017. 7. 20.
사물인터넷 기반 융합기술 교육 - 리눅스프로그래밍 3일 시그널의 의미SIGABRT SIGALRM SIGCHLD SIGCONT SIGFPE SIGGUPSIGILL SGINT SIGKILL SIGQUIT SIGSEGV SIGSTOP SIGTERM SIGTSTP SIGUSR1 SIGUSR2 시그널 발생함수kill /raisesig 인자시그널 번호null signal (0) 실제로 시그널을 보내지 않고 프로세스의 존재 여부를 파악하는 데 사용한다. 존재하지 않는 프로세스에 대한 kill 함수 호출은 에러(-1)를 리턴하고 errno에 ESRCH를 저장 pid 인자의 지정 방법 pid>0pid ==0호출한 프로세스와 같은 프로세스 그룹 id를 가지고 권한이 있는 모든 프로세스에게 시그널을 전달pid < 0pid의 절대값에 해당하는 프로세스 그룹 ID를 가지고 있는 권.. 2017. 7. 19.
사물인터넷 기반 융합기술 교육 - 리눅스프로그래밍 2일 148p 저수준 파일 관련 함수 open() 파일을 읽거나 쓰기 위해서 열거나 생성 creat() 비어있는 파일을 생성 close() 이미 열려있는 파일 닫기 read() 열려있는 파일로 데이터 추출 write() 열려있는 파일로 데이터 저장 lseek() 파일에서 특정 위치로 파일 포인터 이동 unlink() 파일 삭제 remove() 파일이나 디렉토리 삭제 fcntl() 파일과 관련되어 있는 속성 조정 pathname 열거나 생성하고자 하는 파일의 이름 oflag 플래그는 or로 구성가능 mode 새로운 파일을 만드는 경우 접근권한 파일의 플래그 반드시 하나만 정의 O_RDONLY 읽기전용 O_WRONLY 쓰기전용 O_RDWR 읽기, 쓰기 가능 파일 열기 http://forum.falinux.com/.. 2017. 7. 18.
사물인터넷 기반 융합기술 교육 - 리눅스프로그래밍 1일 운영체제(Operation System)하드웨어와 소프트웨어 기능을 사용할 수 있게 하는 시스템 소프트웨어 저장되어 있다가 메모리상으로 올라와야 가동이 가능하다. 1972 J. Donovan 중앙처리장치, 주기억장치, 입출력장치, 보조기억장치 및 파일 자원의 통제를 담당하는 컴퓨터 시스템 내부의 프로그램 집합컴퓨터 시스템 자원의 통제를 강조 1974 s. Shaw 인간과 기계 사이의 인터페이스로 컴퓨터 사용자의 프로그램 설계 및 작성, 오류 수정, 유지보수를 쉽게 해주고 시스템의 효율적인 처리를 위해 한정된 자원의 할당을 통제하는 프로그램 집합인간과 컴퓨터의 인터페이스를 강조 1983 J.Peterson 운영체제 설계의 목표? 단위 시간당 처리하는 일의 양을 향상시키기 위해서 DOSMS-DOS, DR-D.. 2017. 7. 17.