빅쿼리

이번 포스팅에서는 약 2년간 회사에서 빅쿼리를 사용하면서 자주 활용하고 있는 기능들을 소개해보려 합니다. 0. 들어가며약 2년 전 회사에서 빅쿼리를 도입할 때 빅쿼리 날짜 및 시간 함수들을 정리한 적이 있었는데요. [빅쿼리/SQL] 날짜 및 시간 함수 기본기 다잡기이번 포스팅은 빅쿼리에서 날짜 및 시간 함수를 다루는 기본적인 개념 및 방법들에 대해 정리한 내용을 담았습니다. 0. 들어가며 SQL을 다루는 다양한 DMBS가 존재하고 요즘 들어 빅쿼리를 사용하schatz37.tistory.com위 포스팅이 빅쿼리를 제대로 사용하기 전에 미리 함수들을 알아두기 위해 작성되었다면,이번 포스팅에서는 2년간 빅쿼리에서 자주 사용했던 함수 몇 가지를 정리해보려 합니다.  1. 유용한 함수 및 기능들1) DATE_TR..

이번 포스팅은 사내에 분석가들이 아닌 분들이 필요로 하는 데이터를 쉽게 추출할 수 있도록 가이드해 준 후기를 담았습니다. 0. 들어가며저는 커머스 회사에서 데이터 분석가로 일을 하고 있는데요.조직 구성 상 커머스 조직과 마케팅 조직에서 필요한 데이터 추출 및 분석 요청을 제가 있는 팀에서 커버하고 있고,그렇다 보니 업무가 밀려 요청을 처리하는 데 있어 리드타임이 발생하는 경우가 발생했습니다.그래서 팀 내에서 논의를 통해 '요청 부서에서 스스로 쿼리를 통해 데이터를 추출한다면 여러 장점들이 생기지 않을까?'라는 생각을 하게 되었고 이를 위한 가이드 쿼리 작성 및 설명회를 가지게 되었습니다. 여기서 전제가 되었던 부분은 사내 비분석가들을 대상으로 빅쿼리 교육을 진행하는 등, 데이터 활용에 열려있는 환경이라는..

이번 포스팅에서는 지난번 포스팅에 이어 빅쿼리에서 JSON 형태의 데이터를 파싱 하는 방법을 계속해서 살펴보려 합니다. 지난번 글에서는 JSON 파싱 함수와 관련된 내용을 정리했다면 이번 포스팅에서는 ARRAY 가 함께 쓰인 JSON 데이터를 파싱 하는 방법에 대해 포스팅하려 하는데요. 만약 JSON 데이터에 익숙하지 않으시다면 지난 글을 읽어보시고 이 포스팅을 보시는 걸 추천드립니다! [빅쿼리/SQL] JSON 형식의 데이터 파싱하기 (기본편) 빅쿼리에서 데이터마트를 통해 어느정도 정제된 데이터를 사용하지 않고, 그 앞단의 보다 Raw 한 데이터를 살펴보게 되면 { } 와 [ ] 로 묶여있는 낯선 형태의 데이터를 자주 접하게 되는데요. 이 schatz37.tistory.com 0. ARRAY 형식의 데..

빅쿼리에서 데이터마트를 통해 어느정도 정제된 데이터를 사용하지 않고, 그 앞단의 보다 Raw 한 데이터를 살펴보게 되면 { } 와 [ ]  로 묶여있는 낯선 형태의 데이터를 자주 접하게 되는데요.이번 포스팅에서는 저렇게 묶여있는 JSON 형태의 데이터를 다루는 방법에 대해 살펴보려 합니다. 공식 문서는 링크에서 확인하실 수 있습니다! JSON functions  |  BigQuery  |  Google Cloudprojects.locations.transferConfigs.runs.transferLogscloud.google.com0. JSON....?먼저 JSON 데이터를 파싱하는 방법을 살펴보기 앞서 JSON 형식의 데이터는 어떻게 구성되고, 왜 사용하는지를 알아보고 시작합시다. 0.1. JSON 이..

이번 포스팅은 빅쿼리에서 날짜 및 시간 함수를 다루는 기본적인 개념 및 방법들에 대해 정리한 내용을 담았습니다. 0. 들어가며 SQL을 다루는 다양한 DMBS가 존재하고 요즘 들어 빅쿼리를 사용하는 회사가 늘어나고 있는데요. 저도 재직 중인 회사에서 빅쿼리를 도입하게 되어 처음으로 빅쿼리를 다뤄보게 되었습니다. 그런데 지금까지 몇 가지 DBMS를 사용해 봤지만 빅쿼리는 유달리 날짜 및 시간을 다루는 부분에 민감한(?) 느낌이 들더라구요. 그래서 이번 포스팅에서는 빅쿼리에서의 날짜 및 시간 타입을 정리해 보고, 날짜 및 시간을 다루는 방법에 대해서 살펴볼 예정입니다. 1. 빅쿼리에서의 날짜/시간 데이터 타입 우선 날짜/시간 함수를 다루기 전에 결국 날짜/시간도 숫자로 이루어져 있으니, 빅쿼리에서 숫자와 관..