Hey, my name is HAJI
I'm a Data Enginner

웹 개발, 인공지능, 데이터 웨어하우스 구축에 관심이 있고, 이와 관련된 흥미로운 기회를 찾고 있는 데이터 엔지니어입니다.

2014년부터 자바 백앤드 개발자를 거처 데이터 엔지니어로 일하고 있으며, 지금은 인공지능에 관련된 다양한 데이터 가공, 처리, 관리하고 있습니다.

Minimalist items

About Me

Data Enginner

대규모의 데이터를 하둡,카프카,하이브,엘라스틱서치를 활용하여 운영한 경험이 있습니다. 쇼핑몰의 검색 시스템을 엘라스틱 서치로 개편하고 동의어를 처리하고 이에대한 로그를 AWS 의 데이터 웨어하우스를 구축하여 처리한 경험이 있습니다. 인공지능 모델의 성능 향상을 위해 데이터 라벨링 시스템과 모델의 성능 평가 시스템을 구축하여 인공지능의 성능을 향상시키고 있습니다.

Projects

Computer
외국인 채용 플랫폼 "How's Your Visa", 하유비

외국인 채용 플랫폼 개발 중입니다. 채용 정보와 커뮤니티 기능이 탑재된 android, iOS 어플 및 web site가 제공됩니다.

병원 대시보드 시스템

생체신호측정 기기에서 측정된 데이터를 웹서버에 표시해주고, 일정 Threshold 를 넘는 경우 알람/호출 기능을 동작하는 대시보드를 구현하였습니다.

Plant Computer
인공지능 관리 오피스

AI 모델 테스트 및 결과 확인 백오피스를 구축하고 관리하고 있습니다. 모델 학습을 위한 라벨링 시스템, 학습데이터, 크롤링 데이터 관리 시스템, 모델 테스트 시스템이 구축되어 있으며, 다양한 패션 아이템의 속성에 대한 인공지능을 학습하고 있습니다.

검색/추천 시스템

명품 쇼핑몰의 상품 검색 시스템을 개편하였습니다. 동의어 검색, 검색 랭킹, 데이터 웨어하우스 구축을 진행하였으며, 데이터 웨어하우스 구축에는 aws를 활용하였습니다. aws를 활용한 추천 시스템도 구축하여 비슷한 유저가 본 인기 상품을 추천하였습니다.

Plant Credit card
네이버 동영상 데이터 관리

실시간 데이터 집계 시스템을 구축하고 기존에 한시간마다 집계 가능하던 시스템을 실시간으로 서비스 하였습니다. 동영상 추천 시스템을 확장하여 모든 동영상 서비스 군에서 사용 가능하게 데이터를 제공하였습니다. 동영상 어뷰징 시스템을 개편하고 동영상 광고측과 데이터를 맞춰 보며 어뷰징에 대한 필터링을 진행하였습니다.

Publications

커머스 스타트업의 효율적인 데이터 분석 플랫폼 구축기
스타트업에서 빠르게 분석 서비스를 구성하기 위한 AWS 분석 서비스를 활용하고 있습니다. 본 세션에서는 커머스 서비스의 대용량 데이터를 Amazon Kinesis Firehose를 이용하여 실시간으로 사내에 흐르는 중요 데이터를 캡쳐하여 다양한 용도로 사용하는 방법을 알아봅니다. 매달 수백억 건의 사용자 행동 로그를 안정적이고 견고하게 수집하여 인하우스 데이터 분석 방법을 소개합니다. 또한, Amazon Personalize를 통한 개인화 추천 및 Amazon SageMaker를 이용한 이미지분류 등 기계 학습 활용 사례도 공유합니다.
가심비 AWS ElasticSearch Architecture
ElasticSearch의 활용도는 점차 증가하고 있고 검색 시스템뿐만 아니라, 빅데이터 시스템의 실시간 처리를 목적으로 hadoop과 함께 활용하고 있기도 합니다. 최근 ElasticSearch에서 AWS, GCP, ES cloud 등의 cloud 서비스를 통해 손쉽게 구축, 사용 할 수 있도록 지원하고 있으나, 기업 내에서 성능과 커스터마이징을 위해 구축할 경우 최소한의 설정으로 구축할 수 있는 방법을 공유합니다.