#cURL로 웹 사이트 내 모든 이미지 파일 크롤링(Crawling)하기
#cURL 이미지 파일 크롤링 방법
오늘은 cURL을 이용해서 간단하게 웹사이트를 크롤링하는 방법에 대해 공유해 보도록 하겠습니다. 특히나 웹 사이트 내에서 특정 이미지들을 모두 다운로드 할 수 있는 방법을 알아보겠습니다.
앞서서는 cURL을 통해서 파일을 다운로드하는 방법에 대해서 공유해드렸는데요.
그 부분에 대해서 궁금하신 분들은 아래 링크를 통해 이전 블로그 글을 참고 해주세요!
cURL 명령 한 줄로 파일 다운로드하기!
#cURL 명령 한 줄로 파일 다운로드하기! #cURL 파일 다운로드 #cURL 명령으로 파일 다운로드하는 방법 인터넷이나 PC를 사용하다 보면, URL을 통해서 파일을 다운로드 할 수 있는 경우가 많습니다.
isss.tistory.com
cURL 명령 한 줄로 웹 사이트내 모든 이미지를 크롤링하는 방법을 알아보겠습니다.
아래는 www.google.com 내에서 PNG 파일을 모두 크롤링해서 다운로드하는 명령어 입니다.
curl https://www.google.com | grep --only-matching 'src="[^"]*.png"' | \
cut -d\" -f2 | \
while read i; do curl https://www.google.com/"${i}" -o "${i##*/}"; done
실제로 테스트를 해보겠습니다.
명령어 실행을 하면, 다음과 같이 진행이 되는데요.
명령어 실해이 완료되면, 아래와 같이 png 파일들이 모두 다운도르 된 것을 확인할 수 있습니다.
이와 비슷하게, PNG파일 뿐만 아니라 JPG, JPEG 등으로 패턴을 변경해서 사용하셔도 좋을 것 같습니다.
잘만 사용하면 유용한 명령어이니, 잘 활용하시기 바랍니다!
이런 글은 어때요?
'#연구 > #Tech' 카테고리의 다른 글
| cURL 명령 한 줄로 파일 다운로드하기! (0) | 2021.05.30 |
|---|---|
| Shortener URL의 Expand URL 정보를 명령어 한 줄로 가져오기 (feat. cURL) (0) | 2021.05.30 |
| 맥(Mac OS)에서 PhotoScape X로 사진 모자이크 처리하기! (0) | 2021.05.20 |
| Windows 10 PC의 속도를 빠르게 하는 4가지 방법! (0) | 2021.05.20 |
| 문서 작성에 필수인 MS Word 필수 단축키 한방 정리! (Windows & Mac OS) (0) | 2021.05.20 |