Fast campus School

데이터 엔지니어링 (파트타임)

데이터 엔지니어로의 길, 빠르고 정확하게 안내해드리겠습니다.

데이터 엔지니어링 스쿨 코스매니저 인터뷰

2017.09.20 | 1006 명 읽음


안녕하세요. 데이터 엔지니어링 스쿨을 기획한 패스트캠퍼스 코스매니저 박지은 입니다. 산업, 직무 구분없이 데이터 분석에 대한 니즈가 높아지고 있지만, 여전히 데이터 엔지니어링에 대한 일반적인 이해는 부족한 것 같습니다. 그래서 데이터 엔지니어가 하는 일에 대해, 그리고 데이터 엔지니어링 스쿨이 어떻게 진행되는지 간단하게 설명드리고자 합니다. 


데이터 엔지니어를 아시나요?


일반적으로 데이터 관련 취업 시장에서는 데이터 전문가를 크게 '데이터 분석가'와 '데이터 엔지니어'로 구분합니다. '데이터 분석가'는 말 그대로 데이터를 분석하는 사람입니다. 데이터 분석을 통해 비즈니스 인사이트를 도출해서 기업의 비전과 방향을 결정하는 데 중추적인 역할을 합니다. 이에 비해, 데이터 엔지니어는 데이터를 분석하기 위해 주어진 데이터 그 자체에 초점을 둡니다. 지금 내 손에 떨어진 이 데이터가 어떻게 처리되고 분류되었는지에 관련된 데이터 플로우와 인프라 구축에 대해 다룹니다. 다시 말해, 데이터 엔지니어는 다양한 소스에서 발생하는 데이터를 추출, 변환 및 적재하는 아키텍트를 설계하고 구현하며 운영하는 사람입니다. 가공되지 않은 데이터를 직접 저장, 처리, 분석까지 실시하여 '살아있는 결과물'로서 의미를 이끌어낼 수 있는 사람이라 할 수 있습니다.



현재 4차 산업혁명이라는 시대의 흐름에 따라 과거와 비교가 안 될 정도로 데이터의 양이 폭발적으로 증가하고 있습니다. 그야말로 '빅데이터'죠. 이에 맞춰, 데이터 엔지니어가 사회 전반에서 발전과 번영을 이끌 핵심 직무로 급부상하고 있습니다. 즉, 중구난방으로 쌓인 데이터에서 유의미한 가치를 뽑아낼 수 있는 데이터 엔지니어의 능력이 중요해졌습니다. 한국정보화진흥원에 따르면 2016년 국내 빅데이터 시장은 전년 대비 31.3% 성장한 3,440억원 규모입니다. 하지만 데이터를 적절히 핸들링할 수 있는 국내 데이터 엔지니어는 턱없이 부족한 상황입니다. 한국정보화진흥원에 의하면 2015년 기준으로 시장 수요대비 빅데이터 개발 인력 공급률은 39.2%에 그쳤다고 합니다. 심지어, 빅데이터 엔지니어 공급률은 이보다 더 낮은 27.3%라고 합니다. 이로 인해, 국내 데이터 엔지니어들을 기업들이 고액연봉을 제시하며 서로 모셔가려고 경쟁하는 모습을 보여줍니다. 이러한 현상은 국내에서만 일어나는 현상은 아닙니다. 실제로, 미국에서 빅데이터 엔지니어는 IT 분야 뿐만 아니라 기술직 가운데에서도 가장 높은 연봉을 기록했습니다.


데이터 엔지니어링 스쿨의 강점


∨ 데이터 엔지니어링 스쿨은 체계적인 교육과정을 통해 데이터 엔지니어가 되기 위한 로드맵을 제시합니다. 


데이터의 중요성이 부각되면서 데이터에 관련된 교육시장이 확장하는 추세지만, 데이터 엔지니어가 되기 위한 빠르고 정확한 로드맵을 제시하는 과정이 없는 실정입니다. 가령, 국비지원과정이나 대학, 대학원의 강의들은 교육과정과 관련실습이 체계적으로 관리되지 않는 모습을 보여줍니다. 데이터 엔지니어링 스쿨에서는 데이터의 생성, 저장, 추출 및 가공이라는 일련의 흐름을 이해하고 구조화시킬 수 있는 교육과정을 수강생들에게 제공합니다.


∨ 데이터 엔지니어링 스쿨은 꼭 필요한 것들만 가르칩니다. 


데이터 엔지니어에 대해 정확히 파악하고 필요한 교육정보를 제공하는 기관이 미미합니다. 국비지원과정의 경우 전액지원이라는 장점이 있지만, 데이터 엔지니어링을 위한 핵심적인 스킬보다는 프로그래밍 언어, 웹 개발 또는 데이터 엔지니어링의 핵심에서는 벗어난 내용을 다뤄 강의기간이 길어지고, 중요한 부분에 대해서는 깊이있게 다루지 못한다는 단점을 나타냅니다. 데이터 엔지니어링 스쿨은 국내 다양한 기업에서 활발한 활동 중인 데이터 엔지니어분들을 만나뵙고 많은 대화를 통해 꼭 필요한 과정만을 담아 현재 커리큘럼을 구성하였습니다. 어느 기업에 가더라도 데이터 엔지니어에게 공통적이고 필수적인 부분만을 모았습니다. 데이터 엔지니어의 개요부터 Linux와 Infra 등 필수적인 기반지식을 배우고, 최근 높은 효율성을 나타내면서 떠오르는 프레임워크인 Spark에 대해 집중적으로 학습합니다. 


데이터 홍수 속에서
적재적소에 맞는 프레임워크를 이용해
핸들링할 수 있는 
데이터 센터의 핵심 인재입니다.


∨ 현직 데이터 전문가들에게 데이터 엔지니어링 스쿨에 대해 물어봤습니다!


"데이터 엔지니어링 뿐만 아니라 머신러닝까지 학습하는 커리큘럼이 인상적입니다. 다양한 스택의 기술과 함께 머신러닝까지 한 자리에서 배울 수 있다는 점이 매력적이네요. 특히, 자연어 처리 부분은 많은 사람들이 상당히 관심있어하는 분야이기에 이 과정에서 화룡정점이 될 것으로 보이네요."

박** /챗봇 개발, 인공지능 관련 서비스 스타트업 /컴퓨터공학 석사 졸


"현업에서 데이터 분석도 중요하지만, 작은 규모의 회사에서는 분석가가 엔지니어링 및 기타 데이터 관련 제반 업무를 진행하기도 합니다. Spark 뿐만 아니라 데이터 엔지니어링에서 널리 쓰이는 것들을 집중적으로 배울 수 있어서 현업에서 먼저 찾는 데이터 엔지니어로 성장할 수 있을 것 같습니다."

이**/ 데이터 분석가, 여행 관련 플랫폼 서비스 스타트업 /데이터 사이언스 스쿨 수료


"현실에서는 데이터를 다루는데 있어서 가장 중요한 것이 알고리즘이 아니더군요. 수 기가부터 테라 단위의 데이터를 적절히 정제해 얼마나 깨끗한 데이터를 만들까. 어떤 데이터가 필요할까 등 데이터 수집부터 관리까지에 80% 이상의 시간을 할애합니다. 이 과정은 이 80%의 시간을 40%로 줄여줄 수 있을 만큼 파워풀한 툴과 데이터 분야의 트렌드를 잘 담아내고 있네요."

이** /데이터 마이닝 개발자, 데이터 솔루션 개발 관련 기업


"대부분의 강의들은 데이터의 '분석'부분만을 중시하고 '데이터를 어떤 방법으로 이렇게 쌓아놓게 되었는지'에 대해서는 다루지 않았습니다. 단순히 데이터 엔지니어링 도구를 배우는 강의를 넘어서 여러 종류의 데이터를 필요한 상황에 따라서 알맞게 구축하고 팀원 모두가 쉽게 활용할 수 있는 데이터 환경을 만드는 진짜 데이터 엔지니어가 되고 싶다면 본 강의를 기대해도 좋을 것 같습니다."

강** / 백엔드 개발자, O2O 서비스 스타트업 /데이터 사이언스 스쿨 수료생


데이터 사이언스 스쿨의 경험을 통해, 데이터 분석 앞에서 진행되는 데이터 플로우를 이해하는 것이 분석을 위해 선행되어야 하는 필수적인 부분이라는 니즈를 확인했습니다. 실제로, 수료생들 중 백엔드 쪽으로 먼저 역량을 쌓고자 직무를 선회하여 기량을 다지고 있는 경우도 많이 볼 수 있었습니다. 데이터 사이언스 스쿨의 경험과 실제 현업 실무와의 인터뷰를 통해 데이터 엔지니어링 스쿨의 지향점을 발견할 수 있었습니다.


데이터 엔지니어링 스쿨 소개


본 과정을 원활하게 수강하시기 위해서는 아래 조건 중 최소 2가지를 충족하셔야 합니다.

- 객체 지향 언어가 어떤 것인지 설명할 수 있다.

- Java 또는 Python으로 자유롭게 객체를 생성하고, 함수를 짜고, 클래스를 구현할 수 있다.

- 절차 지향 코드를 객체 지향 코드로 자유롭게 구현하고 효율화할 수 있다.

- 객체 지향 언어를 이용해 알고리즘 기초 수준의 문제는 섭렵했다.


∨ 현업에서 데이터 분산 처리 시스템을 직접 구현하고 있는 전문가가 직접 강의합니다. 


Spark 부분을 맡고 있는 김상우 강사님은 커플앱 서비스 '비트윈'을 만드는 VCNC에서 데이터 분석을 진행하신 전문가입니다. 또한, Scala를 강의하시는 김흥진 강사님은 국내 유일한 Scala 사용자 커뮤니티인 라스칼라 코딩단에서 2013년부터 지금까지 꾸준하게 스터디를 이끌고 있으며, 국내 최고 수준의 Scala 전문가입니다. 실무를 직접 경험한 전문가의 수준 높은 강의와 피드백을 통해 데이터 엔지니어에 꼭 필요한 교육을 받을 수 있습니다. 


∨ 반드시 알아야 할 기초 지식을 배우는 동시에 실습과 병행하면서 효과적으로 실무 역량을 향상시킵니다.


IT 기반 지식을 다지기 위한 Linux와 Infra(Database network), SQL과 NoSQL을 학습합니다. Cloud service의 대명사 Amazon Web Service를 실제 기업에서 활용하는 수준까지 다뤄봅니다. 앞서 다져진 기반 위에 쌓아갈 핵심 기술인 프레임워크 Hadoop와 Spark를 집중적으로 학습합니다. Spark의 강점인 빠른 데이터 분산 처리를 더욱 극대화시키기 위한 Scala 언어 학습은 물론, 분석이 가능한 MLLib의 학습력을 끌어올리기 위해 Python 언어학습도 병행합니다. PySpark를 이용한 Machine learning도 함께 학습하며 자연어 처리, 추천 시스템을 구현하는 프로젝트 실습을 통해 데이터 엔지니어로서의 역량을 최대로 끌어올립니다. 이 모든 과정은 단순히 내용을 받아들이는 것이 아닌 실습과 병행하여 효과적으로 습득할 수 있습니다.


∨ 트러블 슈팅 및 실무자/스킬업 특강을 통해 성장하세요.


학습한 내용을 바탕으로 프로젝트 실습을 수행하며, 문제를 확인하고 해결하는 과정에서 강사님의 트러블 슈팅이 진행됩니다. 또한, 현업에서 활동하고 계신 실무자 분들께 직접 듣는 특강, 그리고 데이터 엔지니어로서 실무 능력을 높일 수 있는 스킬업 특강을 들을 수 있습니다. 본격적으로 데이터 엔지니어로 나아가기 위한 발판을 다질 수 있습니다.


∨ 취업지원 프로그램을 통해 효과적으로 커리어를 전환하세요.


데이터 엔지니어링 스쿨은 커리어를 전환하고자 희망하는 분들을 위해 취업 지원 프로그램을 진행하고 있습니다. 채용매니저가 다양한 기업과의 꾸준한 채용 연계 협업을 하고 있으며, 수강생을 위한 커리어 코칭도 함께합니다.  데이터 엔지니어를 희망하는 기업이 수강생을 만날 수 있도록 참여 기업 특강, 네트워킹데이, 하이어링데이 등과 같은 기회를 제공합니다. 


더 많은 이야기를 들려드리고자 <데이터 엔지니어를 꿈꾸는 사람들을 위한 오픈 세미나>를 개최합니다. 전문가에게 직접 듣는 '데이터 엔지니어 이야기'가 궁금하시다면 참여해주세요. 


데이터 엔지니어링 스쿨 바로가기

http://school.fastcampus.co.kr/data_des/