디지털 마케터의 Python 활용: 네이버 블로그 검색결과 크롤링

September 17, 2021 · 4 mins read

콘텐츠

1. 디지털 마케터가 OPEN API에 관심갖게 된 계기
2. OPEN API 이해하기
3. 네이버 OPEN API 활용하기
4. Python 코드 가져오기
5. 응용과 활용방안 고민


1. 디지털 마케터가 OPEN API에 관심갖게 된 계기

저의 디지털 업무는 크게 세 가지로 구분됩니다.

첫째, 디지털 외부 환경 분석 : 자사 브랜드 쿼리 분석, 관련 트렌드 지표 분석, 블로그/소셜미디어의 브랜드 이슈 모니터링
둘째, 디지털 캠페인 운영 : 유튜브, 페이스북, 인스타그램, 네이버 등 캠페인 목적에 맞는 전략에 따라 광고 운영
셋째, 성과 평가와 매출 기여도 파악

다 한땀 한땀씩 정성들여 하는 업무지만 이슈 모니터링 만큼은 자동화를 시킬 수 있지 않을까? 라는 의문으로 네이버 OPEN API를 활용해 블로그 글을 가져오는 작업을 해보았습니다. (아직은 네이버에서 하나씩 찾는게 더 빠르긴 하지만^^언젠가 스킬이 업그레이드 될 것으로 기대하며 글을 적어봅니다.)

2. OPEN API 이해하기

API란? Application Programming Interface의 약자로 응용 프로그램에서 사용할 수 있도록, 운영 체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있도록 만든 ‘인터페이스’입니다. (출처 : 위키피디아)

복잡한 정의를 이해해보면,컴퓨터로 특정 작업을 할 때마다 사용자가 프로그래밍 언어를 사용해 명령과 제어를 하는 것은 불가합니다. 이때 API가 중간에서 커뮤니케이션 역할을 담당합니다.

여기서 더 나아가 OPEN API는 말 그대로 각 플랫폼이 보유한 정보 등을 다른 곳에서 활용할 수 있도록 공개해 둔 API 입니다.

지난 글에 소개된 것처럼 네이버, 카카오, 구글 등 자신들의 API를 공개하고 있는데요, 이들의 자산을 오픈하는 이유는 무분별한 크롤링을 막고 또 제공 정보들의 활용도를 높이는 부분에 목적이 있는 것 같습니다.

3. 네이버 OPEN API 활용하기

네이버에서 OPEN API를 활용하는 방법은 간단합니다.먼저 네이버 계정으로 NAVER Developers 사이트를 방문해 애플리케이션을 등록하고 Client ID와 Secret code를 발급받습니다.

네이버 Developers 에서 애플리케이션 등록하기 애플리케이션등록

Client ID와 Secret code 발급하기 Client ID와 Secret 코드 발급

4. Python 코드 가져오기

그 다음 상단의 Documents검색 탭에 들어가 호출 예제를 가져오면 됩니다. 아래와 같은 다양한 내용들을 확인할 수 있는데 저는 특정 검색어에 따른 블로그 글을 확인해보겠습니다.

리스트

이 중에 블로그로 접속하면 언어별 소스 코드가 모두 제공됩니다.
저는 파이썬 언어를 그대로 복사하여 노란색 부분만 채워 사용해보겠습니다^^ Python code 출처 : 네이버 Developers

추가 가공없이, 위 3가지만 조정하면 블로그 글이 실제로 불러와집니다. results

다행히 실제 네이버 블로그 검색결과와 동일합니다. searchresults

5. 응용과 활용방안 고민

그러나 위 예시처럼 리스트가 추출된다면, 차라리 네이버에 들어가서 검색결과를 하나씩 긁어오는 정리가 빠를 수 있습니다.

따라서 검색 결과의 개수를 100개로 증가시키고, 표로 보기 편하게 조정해보려고 합니다.

내용 업데이트에는 링크의 유튜브 영상을 참고하였습니다.
제가 쓴 코드가 아니기에 이미지 형식으로만 붙여넣겠습니다.

1) display 개수 증가

검색 결과 수를 100개로 늘리는 코드입니다.
각 요청 변수에 대한 설명은 네이버 developers 페이지에도 자세히 소개되어 있습니다.

code01

2) pandas 라이브버리 활용하여 DataFrame 만들기

code02

3) for문으로 반복작업 수행

code03

4) 결과 확인하기

코드를 호출하면 아래처럼 지정 검색어의 블로그 검색결과를 100개 리스트로 확인 가능합니다.

code04


마치며,

향후 활용방안은?
파이썬에서 블로그 100개 리스트를 결과값으로 뽑고, 엑셀 스프레드시트 혹은 다른 솔루션으로 옮겨 팀원들에게 공유하면 편리하게 제품 활용 후기를 확인할 수 있을 것으로 생각됩니다.

나중에 데이터 전처리나 텍스트마이닝을 배우면 디지털상에서 바이럴되는 공통 주제를 추출할 수도 있을 것 같습니다.

마케터에게 파이썬?
저의 경우, 파이썬은 태블로 대시보드 시각화 프로젝트에 참여하며 시작하게 되었습니다. 따라서 아직은 지식이 많이 부족하지만 저처럼 개발자가 아닌 디지털마케터 수준에서 업무 효율성을 높이기위해 사용하실 계획이라면 굳이 하나씩 문법을 배울 필요 없이 훌륭한 유튜버 분들과 훌륭한 블로그 글을 참고하여 하나씩 배워가는 즐거움이 있을 것으로 기대됩니다.


comments powered by Disqus