#1 언어 노트

이번 포스팅에서는 SQL로 원하는 데이터를 추출했을 때 이 데이터가 제대로 추출된 데이터인가? 를 확인하는 과정을 담아보려 합니다. 0. 들어가며 데이터 분석가들이 업무를 함에 있어 가장 기본적으로 갖추어야 하는 부분은 데이터 추출이 아닐까라는 생각을 하는데요. 쿼리를 작성하면서 정확한 데이터를 추출하려 노력하겠지만 사람인지라 실수를 하는 경우도 당연히 발생합니다. 그런데 참 어려운 것이 추출한 데이터의 Row수가 너무 많다 보니 이것을 눈으로 보면서 제대로 뽑혔는지를 확인할 수 없고, 그렇다 보니 잘못되었지만 추출된 데이터를 가지고 분석을 할 때 까지도 잘못된 지 모르고 분석을 하다가 되돌아가는 경우가 생깁니다. (최악의 경우에는 분석결과를 다 만들어 놓고도 모르는 경우가 있을 수 있지 않을까요?) ..

이번 포스팅에서는 지난번 포스팅에 이어 빅쿼리에서 JSON 형태의 데이터를 파싱 하는 방법을 계속해서 살펴보려 합니다. 지난번 글에서는 JSON 파싱 함수와 관련된 내용을 정리했다면 이번 포스팅에서는 ARRAY 가 함께 쓰인 JSON 데이터를 파싱 하는 방법에 대해 포스팅하려 하는데요. 만약 JSON 데이터에 익숙하지 않으시다면 지난 글을 읽어보시고 이 포스팅을 보시는 걸 추천드립니다! [빅쿼리/SQL] JSON 형식의 데이터 파싱하기 (기본편) 빅쿼리에서 데이터마트를 통해 어느정도 정제된 데이터를 사용하지 않고, 그 앞단의 보다 Raw 한 데이터를 살펴보게 되면 { } 와 [ ] 로 묶여있는 낯선 형태의 데이터를 자주 접하게 되는데요. 이 schatz37.tistory.com 0. ARRAY 형식의 데..

빅쿼리에서 데이터마트를 통해 어느정도 정제된 데이터를 사용하지 않고, 그 앞단의 보다 Raw 한 데이터를 살펴보게 되면 { } 와 [ ]  로 묶여있는 낯선 형태의 데이터를 자주 접하게 되는데요.이번 포스팅에서는 저렇게 묶여있는 JSON 형태의 데이터를 다루는 방법에 대해 살펴보려 합니다. 공식 문서는 링크에서 확인하실 수 있습니다! JSON functions  |  BigQuery  |  Google Cloudprojects.locations.transferConfigs.runs.transferLogscloud.google.com0. JSON....?먼저 JSON 데이터를 파싱하는 방법을 살펴보기 앞서 JSON 형식의 데이터는 어떻게 구성되고, 왜 사용하는지를 알아보고 시작합시다. 0.1. JSON 이..

이번 포스팅은 빅쿼리에서 날짜 및 시간 함수를 다루는 기본적인 개념 및 방법들에 대해 정리한 내용을 담았습니다. 0. 들어가며 SQL을 다루는 다양한 DMBS가 존재하고 요즘 들어 빅쿼리를 사용하는 회사가 늘어나고 있는데요. 저도 재직 중인 회사에서 빅쿼리를 도입하게 되어 처음으로 빅쿼리를 다뤄보게 되었습니다. 그런데 지금까지 몇 가지 DBMS를 사용해 봤지만 빅쿼리는 유달리 날짜 및 시간을 다루는 부분에 민감한(?) 느낌이 들더라구요. 그래서 이번 포스팅에서는 빅쿼리에서의 날짜 및 시간 타입을 정리해 보고, 날짜 및 시간을 다루는 방법에 대해서 살펴볼 예정입니다. 1. 빅쿼리에서의 날짜/시간 데이터 타입 우선 날짜/시간 함수를 다루기 전에 결국 날짜/시간도 숫자로 이루어져 있으니, 빅쿼리에서 숫자와 관..

요즘 회사에서 '어떻게 하면 보다 효율적인 sql을 작성할 수 있을까?' 라는 부분에 굉장히 많이 고민하고 있는데요. 이번 포스팅에서는 공부가 필요하다고 생각되는 with절에 대해서 포스팅하려 합니다. 0. with 절이란? 0.1. with 절 사용방법 with절은 SQL 에서 쿼리를 작성할 때 하나의 서브쿼리 또는 임시 테이블처럼 활용할 수 있는 기능입니다. 물론 서브쿼리와는 조금의 차이를 가지고 있지만, 우선 with 절을 어떻게 사용하는지에 대해 알아봅시다. 글로써 with 절을 설명하기보다 실제로 with절이 어떻게 작성되는지를 살펴보면 조금 더 빠르게 이해할 수 있을것같은데요. with 절의 사용 구문을 살펴보면 아래와 같습니다. with {테이블 명} as ( with절로 저장하고 싶은 SQ..

이번 포스팅은 tidyverse 생태계 중 하나인 dplyr 에 대해서 빠르게 훑어보는 것을 목적으로 하는 게시글입니다. 0. dplyr 이란? dplyr은 R 의 tidyverse 생태계 안에 들어있는 하나의 패키지입니다. tidyverse 안에는 여러 패키지들이 들어있지만 dplyr은 데이터 추출, 필터링, 계산, 열 추가, 요약, 그룹화를 편리하게 할 수 있는 함수들을 제공합니다. 이러한 편리함뿐만 아니라 dplyr 에서는 연산의 상당부분을 C++ 을 이용하여 기존의 R 패키지들이 가진 속도의 문제를 해결했다고 합니다. 그렇기 때문에 dplyr 패키지를 활용한다면 보다 빠르고 편리하게 데이터를 처리할 수 있다는 장점이 있습니다. 그럼 이러한 장점을 활용하기 위해 먼저 dplyr 패키지엔 어떤한 주요..

이번 포스팅에서는 SQL쿼리 작성을 할 때 성능을 높혀줄 수 있는 Index 에 대해 이야기를 해보려 합니다. 어떻게 Index 를 설정하는지에 대한 내용은 담지 않을 예정이며, Index 를 활용하면 어떤 부분이 좋은지, 어떻게 활용하면 되는지 등에 대한 활용에 대한 내용만 담을 예정입니다. 0. 인덱스(Index) 란? 우선 이해를 돕기 위해 인덱스의 사전적 정의에 대해 살펴봅시다. 인덱스 (index) - 책 속의 내용 중에서 중요한 단어나 항목, 인명 따위를 쉽게 찾아볼 수 있도록 일정한 순서에 따라 별도로 배열하여 놓은 목록 (출처 : 네이버 어학사전) 위 정의를 더 간단하게 이야기를 해보면 '인덱스는 하나의 책갈피이다.' 라고 생각해볼 수 있습니다. 우리가 찾으려는 내용을 보다 쉽고 빠르게 찾..

0. 들어가며 몇몇 DBMS 에서는 MEDIAN 이라는 함수를 제공하여 편리하게 중앙값을 구할 수 있지만, 제가 회사에서 작업하는 경우에는 이 함수를 지원하지 않아 직접 쿼리를 작성해야 했습니다. 그래서 포스팅에서는 SQL에서 중앙값을 구하는 방식에 대해서 간략하게 포스팅하려 합니다. 1. 중앙값에 대하여 우선 중앙값의 의미에 대해서 알아봅시다. 중앙값 (median) : 통계 자료에서 변량을 크기 순서대로 늘어놓았을 때 그들의 한가운데 있는 값. 즉 전체 항을 이등분한 위치에 있는 값으로 통계 자료에서 대푯값의 하나이다. (출처 : 네이버 국어사전) 위 설명에서 확인할 수 있듯 중앙값은 대표값을 구하려는 집단에서 모든 수를 나열했을 때, 정중앙에 위치한 값을 의미합니다. 그리고 중앙값의 장단점은 이렇습..

이번 포스팅에서는 정규표현식에 대한 개념과 SQL에서의 활용법에 대해 다룰 예정입니다. 0. 들어가며 SQL을 활용하다보면 where절에 문자열을 다루는 조건을 넣어 데이터를 추출하게 되는데요. 보통은 like 를 활용하거나 substr 등을 활용해서 데이터를 추출하게 됩니다. 그런데 조금 더 복잡한 규칙을 찾아내서 그에 해당하는 문자열을 뽑아올 때에는 and 조건이나 or조건을 이용하게 됩니다. 이렇게 되면 쿼리 작성을 할 때 귀찮게 반복을 하게 되고 따라서 쿼리문의 길이가 길어지죠. 이러한 부분을 어느정도 해결할 수 있는 방법이 바로 '정규표현식'을 활용하는 것입니다. 그러니 한번 정규표현식에 대해 한번 알아겠습니다. 1. 정규표현식이란? 정규표현식 (Regular Expression) - 특정한 규..

0. 들어가며 요즘에는 대부분의 DBMS에서는 윈도우 함수(Window Function)를 제공하고 있습니다. 업무를 하다보면 여러 서브쿼리를 이용하여 만들어야 할 결과물을 윈도우 함수를 활용해 아주 간단하게 만들 수 있는 경우가 많습니다. 이렇게 간편한 윈도우 함수가 없었을 시절에는 어떻게 결과값들을 만들었을까요? 이번 시간에는 윈도우 함수가 없다면 어떻게 쿼리를 작성했을지를 생각해보며 윈도우 함수의 소중함을 느껴보는 시간을 가져보도록 하겠습니다. 0.1. 윈도우 함수(Window Function)란? 우선 윈도우 함수가 무엇인지 아주 간단하게 설명하고 넘어가도록 하겠습니다. 윈도우 함수의 정의를 찾아보면 다음과 같습니다. 윈도우 함수(Window Function) = 행과 행간의 관계를 쉽게 정의 하..

0. 들어가며 SQL 쿼리를 작성하다보면 서브쿼리를 자주 사용하게 됩니다. 서브쿼리는 '쿼리 안의 쿼리' 라고 생각을 하면 되는데, SQL 구문의 다양한 부분(SELECT, FROM, WHERE, HAVING, ORDER BY 절 등)에 사용할 수 있어 활용도가 높은 방식입니다. 각 위치에 따라 서브쿼리를 부르는 명칭이 달라지지만 이번 포스팅에서는 그런 부분보다 성능 관점에서의 서브쿼리, 서브쿼리를 잘 활용하는 방법에 대해 공부해보도록 하겠습니다. (거창하게 시작하지만 조그마한 결론으로 마무리 되니 편하게 읽어주세요😊) 0.1. 서브쿼리(Subquery)란? 서브쿼리는 SQL 내부에서 작성되는 일시적인 테이블입니다. 여기서 '일시적인 테이블' 이라는 부분이 성능적인 차이를 불러옵니다. SQL 구문 작성 ..

0. 들어가며 SQL을 이용하다보면 특정 RDB 제품에서만 지원하는 함수들이 있습니다. 저는 업무를 할 때 SparkSQL 을 사용하는데 사용하고 싶은데 지원하지 않는 기능들이 몇 가지 있더라구요.. 오늘은 그 중 하나인 PIVOT/UNPIVOT 함수를 이야기해보려 합니다. 0.1. PIVOT 이란? 우선 시작하기 전 일단 PIVOT 이 뭔지를 먼저 알아봅시다. R 에서 tidyr 이라는 패키지를 공부하신 분이라면 조금 더 익숙할 것이라 생각합니다. tidyr 의 다양한 기능 중 데이터의 포맷(format)을 Long/Wide format 으로 변환시켜주는 기능이 있는데, 그 기능이 떠올리시면 됩니다. 이러한 기능을 PIVOT/UNPIVOT 이라 부르고 이는 일부 RDB에서도 지원하는 함수입니다. PIV..