본문 바로가기
빅데이터 분석을위한 기초지식/빅데이터 기초

제1강 빅데이터 분석을 위한 기초 - 람다함수

by Jasie 2018. 11. 9.

람다 아키텍쳐란


람다 아키텍쳐는 트위터에서 스트리밍 컴퓨팅에 있었던Nathan Marz에 의해서 소개된 아키텍쳐로, 실시간 분석을 지원하는 빅데이타 아키텍쳐이다.

아키텍쳐에 대한 자세한 내용은 http://lambda-architecture.net/ 에 소개되어 있다.


Lambda 함수를 만드는 시점에 서비스가 코드를 실행할 때 AWS Lambda가 호출할 수 있는 코드의 함수인 핸들러를 지정합니다. 



빅데이타 빅데이터 인공지능 SSL 해킹


1. 시스템에 입력되는 모든 데이터 는 처리를 위해 배치 레이어와 속도 레이어 모두에 전달됩니다.


2. 배치 층 (I)의 마스터 세트 (불변, 추가 전용 원시 데이터 세트), 및 (ii) 사전 계산하도록 배치 인원 관리 두 가지 기능을 갖는다.


3. 계층에 속한 사람들은 낮은 대기 시간, 임시 방법으로 조회 할 수 있도록 인덱스를 배치를 볼수있도록 지원한다.


4. 속도 층은 서빙 층에 업데이트 대기 시간에 대한 보상 만 최근의 데이터를 다루고있다.


5. 배치 조회 및 실시간보기의 ​​결과를 병합하여 들어오는 조회에 응답 할 수 있습니다.



문제의 정의

아키텍쳐에 대한 이해를 돕기 위해서 예를 들어 설명해보자.

 페이스북과 SNS 애플리케이션 SNS가 있다고 가정하자. 이 애플리케이션은 모바일 애플리케이션이며, 글쓰기, 읽기, 댓글 달기, 스크롤 하기, 페이지 넘기기등 약 1000여개의 사용자 이벤트가 있다고 가정하자.

 사용자 수는 대략 1억명이며, 매일 이 각 사용자의 행동 패턴을 서버에 저장하여, 일별로, 사용자 이벤트의 개수를 통계로 추출한다고 하자.

클라이언트 디바이스로 부터 올라오는 데이타는 다음과 같다


9. 서버리스 아키텍처(AWS Lambda, AWS API Gateway)

  (1) 서버리스 아키텍처란?

서버리스(Serverless)를 직역하자면, “서버가 없다” 라는 의미가 있습니다. 하지만, 사실상 서버가 없는건 아닙니다. 

특정 작업을 수행하기 위해서 컴퓨터를 혹은 가상머신에 서버를 설정하고, 이를 통하여 처리 하는 것이 아님을 의미합니다.

대신 FaaS (Function as a Service) 에 의존하여 작업을 처리하게 됩니다. 

FaaS 를 제공하는 서비스 중에선, AWS Lambda, Azure Functions, Google Cloud Functions 등이 있습니다.



 

  (2) AWS Lambda (FaaS) => 함수를 미리 생성해두고 그것을 서비스하는 개념

 

AWS Lambda는 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있게 해주는 컴퓨팅 서비스입니다. 

AWS Lambda는 필요 시에만 코드를 실행하며, 하루에 몇 개의 요청에서 초당 수천 개의 요청까지 자동으로 확장이 가능합니다. 

사용한 컴퓨팅 시간에 대해서만 요금을 지불하면 되고 코드가 실행되지 않을 때는 요금이 부과되지 않습니다. 

AWS Lambda를 사용하면 사실상 모든 유형의 애플리케이션 또는 백엔드 서비스를 실행할 수 있으며 이를 관리할 필요는 전혀 없습니다. 

AWS Lambda는 고가용성 컴퓨팅 인프라에서 코드를 실행하고 서버와 운영 체제 유지 관리, 용량 프로비저닝 및 자동 조정, 

코드 및 보안 패치 배포, 코드 모니터링 및 로깅 등 모든 컴퓨팅 리소스 관리를 수행합니다. AWS Lambda가 지원하는 언어 중 하나로 코드를 

공급하기만 하면 됩니다(현재 Node.js, Java, C#, Go 및 Python).



람다함수 구축 실습











공감() 과 댓글은 필자에게 큰 힘이 됩니다.

잠시 1초만 내주시면 안될까요? ~~


로그인 없이도 가능합니당 



댓글