[ 데이터 인프라 ] ETL/ELT 도구들 (Connectors)

Connectors

소스에서 발생한 데이터를 연결하여, Data Warehouse / Data Lake로 전달하는 기능을 수행한다.

 

1. Fivetran

아래의 데이터들을 정규화하고, SQL Transform 해서 Analysis Ready Schemas(분석 가능한 스키마)로 변환해주는 역할을 수행한다.

• Applications : salesforce와 같은 CRM, ERP 도구들
• Database : 사내 데이터
• Events : Event Collector로 모은 여러 이벤트들
• Files : S3와 같은 각종 문서 파일들
• Functions : 람다와 같은 클라우드 함수들

 데이터 웨어하우스(Amazon Redshift, Snowflake, Databrics, Google BigQuery, Panoply)을 지원한다.

 

Panoply

ETL 도구이면서 Data Warehouse까지 가지고 있는 서비스

심플하고 저렴하게 제공한다.

 

2. Stitch

Fivetran과 같은 역할을 수행하는 ETL 도구이다.

수많은 데이터 소스, 저장 장소, 분석 도구를 지원한다.

소스 데이터를 가져와서, leading 데이터 플랫폼으로 로드하고, 분석 도구를 연결한다.

 

3. MATILLION

역시 같은 역할을 수행하는 ETL 도구이다.

ETL의 Extact, Load를 무료로 제공한다.

많은 도구를 제공하고, BI 도구도 겸하고 있다.

---

참고

https://youtube.com/playlist?list=PLL-_zEJctPoJ92HmbGxFv1Pv_ugsggGD2 

최신 데이터 인프라 이해하기