빅데이터 분석을위한 기초지식2 빅데이터 - 하둡 실습 구축 빅데이터 hadoop (1) 기본 속성 5V : Volume, Variety, Velacity + Veracity, Value (2) 처리 과정 수집 -> 저장 -> 처리 -> 분석 -> 시각화 하둡 (0) 하둡이란? 아파치 하둡은 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크이다. 실습환경 준비 -> master화면에서 slave1,slave2를 접속 했을 때 암호를 묻지않고 즉시 접속되도록 만든다. (1) HDFS (Hadoop Distributed File System) 1) 마스터 노드 [1] PC 이름 변경 vi /etc/hostname 의 내용을 master로 변경 [2] DNS 설정 vi /etc/hosts 파.. 2018. 11. 26. 제1강 빅데이터 분석을 위한 기초 - 람다함수 람다 아키텍쳐란 람다 아키텍쳐는 트위터에서 스트리밍 컴퓨팅에 있었던Nathan Marz에 의해서 소개된 아키텍쳐로, 실시간 분석을 지원하는 빅데이타 아키텍쳐이다. 아키텍쳐에 대한 자세한 내용은 http://lambda-architecture.net/ 에 소개되어 있다. Lambda 함수를 만드는 시점에 서비스가 코드를 실행할 때 AWS Lambda가 호출할 수 있는 코드의 함수인 핸들러를 지정합니다. 빅데이타 빅데이터 인공지능 SSL 해킹 1. 시스템에 입력되는 모든 데이터 는 처리를 위해 배치 레이어와 속도 레이어 모두에 전달됩니다. 2. 배치 층 (I)의 마스터 세트 (불변, 추가 전용 원시 데이터 세트), 및 (ii) 사전 계산하도록 배치 인원 관리 두 가지 기능을 갖는다. 3. 계층에 속한 사람들.. 2018. 11. 9. 이전 1 다음
