빅데이터1 웹 스크레이핑, 데이터 금맥 캐기인가 디지털 무단침입인가? 웹서핑을 하다가 마음에 드는 글이나 이미지를 발견하면 우리는 자연스럽게 '복사-붙여넣기'를 합니다. 아주 간단하고 익숙한 일이죠. 그런데 만약 여러분이 한 쇼핑몰의 상품 만 개의 가격 정보를 전부 엑셀 파일로 정리해야 한다면 어떨까요? 혹은, 특정 커뮤니티에 '치킨'이라는 단어가 들어간 게시물 제목을 천 개쯤 모아야 한다면요?아마 끔찍한 노가다를 떠올리셨을 겁니다. 이때 마법처럼 등장하는 기술이 바로 '웹 스크레이핑(Web Scraping)', 우리에게는 흔히 '크롤링(Crawling)'으로 더 익숙한 기술입니다. 디지털 세계의 탐정, 혹은 도둑웹 스크레이핑을 한마디로 정의하면 '웹사이트의 특정 정보를 자동으로 추출하여 수집하는 기술'입니다. 사람이 하려면 며칠 밤낮이 걸릴 '복붙' 노가다를, 똑똑한 프.. 2025. 8. 8. 이전 1 다음
