취미가 좋다

데이터가 생성되고 저장되는 곳 회사에서 발생하는 데이터를 저장하는 공간 + 저장 뿐 아니라 데이터를 다른 곳에 보낼 수 있음 1. OLTP Database via CDC OLTP Database 은행 계좌에서 이체할 때, 돈이 나가고 들어가는 두 과정을 모두 처리해야한다. 그걸 묶어서 한번에 처리해주는 데이터베이스. 수많은 트랜잭션이 빠른 속도로, 정규화된 데이터로 처리된다. 데이터 업데이트가 주로 일어난다. vs OLAP 데이터 분석, 데이터 웨어하우스에서 처리하는 것과 비슷하다. 데이터가 많고, 정규화되어 있지 않다. 복잡한 분석쿼리를 날린다. CDC (Change Data Capture) OLTP에서 일어나는 데이터 업데이트 내용을 가져다가, 다른 DB로 복사하는 기술이다. OLTP DB는 트랜잭션..

회사와 서비스 내에 데이터를 발생시키고 저장하고 추출하고 보여주기 위해서는, 즉, 데이터가 흐르도록 하기 위해서는 데이터 인프라가 필요하다. 그 목적으로는 비즈니스 리더들의 의사결정을 도와주고, 서비스/제품을 데이터의 도움으로 향상되도록 하는 것에 있다. 데이터 엔지니어란? : 데이터를 분석하고, 활용할 수 있는 플랫폼을 구축하고, 운영하는 일을 하는 사람 : 빅데이터를 처리할 수 있는 인프라 & 아키텍처를 만드는 사람 요구 기술 프로그래밍, 수학, 빅데이터, 다양한 데이터베이스 지식, ETL 및 BI 도구들에 대한 지식 주 사용 언어 Python, SQL, 쉘스크립트 데이터 인프라의 목적 - 비즈니스 리더들의 의사결정을 도와주기 - 서비스/제품을 데이터의 도움을 받아 향상시키기 데이터 인프라 기초 - ..