본격 업무 자동화의 시작! - 핵심 구문 4가지 - 스터디 노트

1. 웹 크롤링 개요

웹 크롤링은 특정 웹사이트에서 원하는 데이터를 가져오는 기술입니다. 엑셀 VBA에서는 보통 XMLHTTP나 WinHttp 객체를 사용해 웹사이트에서 HTML 데이터를 요청(request)하고, 필요한 부분을 분석(parse)하여 가져옵니다.

2. 크롤링을 위한 준비

1. 참조 설정: 엑셀 VBA로 웹에 접근하려면 Microsoft XML, v6.0 참조를 추가해야 합니다.
   • VBA 창에서 도구 > 참조를 선택하고 Microsoft XML, v6.0을 체크합니다.
2. 구글 검색 페이지 분석: 구글 검색 결과 페이지의 HTML 구조를 파악해 크롤링하려는 데이터를 특정 위치에서 가져올 수 있어야 합니다. 구글은 검색어 트렌드와 같은 데이터에 대해 API를 제공하지만, 특정 조건에서만 사용이 가능해 크롤링이 복잡할 수 있습니다. 이를 해결하기 위해 웹의 다른 트렌드 페이지를 참고하거나, 뉴스 검색 페이지에서 필요한 데이터를 가져올 수도 있습니다.

3. 주의 사항

• 구글과 같은 큰 사이트는 크롤링을 제한하는 경우가 많습니다. 자주 요청하거나 대량 데이터를 크롤링할 경우 IP가 차단될 수 있으므로, 주의가 필요합니다.
• 구글 API 사용 검토: 구글은 검색 트렌드 API를 제공하며, 공식 API를 사용하는 것이 권장됩니다. API 사용이 가능할 경우 API 키를 발급받고 그 키를 활용하는 방식으로 보다 안전하게 데이터에 접근할 수 있습니다.

4. 코드 실행 순서

1. GetGoogleTrends 서브루틴을 실행하여 웹사이트에서 HTML 데이터를 가져옵니다.
2. ParseHTMLContent 서브루틴을 통해 필요한 검색어 데이터를 엑셀 시트에 정리합니다.

5. 추가 팁: API 사용하기

구글의 공식 API를 사용할 경우 https://trends.google.com/trends/api와 같은 URL 형식으로 접근하며, API 키와 쿼리 파라미터를 추가해 보다 정확하고 안정적으로 데이터를 받을 수 있습니다.

이렇게 VBA를 활용해 엑셀에서 구글 검색어 실시간 조회 기능을 구현할 수 있으며, 크롤링보다는 가능한 API를 사용하는 것이 효율적이므로 권장됩니다.