본문 바로가기

Project/크롤러 제작

(2)
구글 크롤러 제작 프로젝트(#1) : Google 크롤링 코드 제작_저장 이전 게시물 : 2024.06.28 - [Project/크롤러 제작] - 구글 크롤러 제작 프로젝트(#0) : 시연 영상   구글 크롤러를 구현하는 것은 어렵지 않지만, 이를 다른 사람들이 쉽고, 편하고, 유용하게 사용할 수 있도록 하려면 몇가지를 고려해봐야 한다고 생각했습니다. 현재까지 확인이 되는 오픈 구글 크롤러는 2가지 유형으로 웹 서비스, 오픈 소스로 볼 수 있었는데 각각의 단점을 아래와 같이 정리해 볼 수 있었습니다.1. 웹 서비스 : 사용자의 진입 허들. ( '직접 검색하는 시간'과 '해당 웹에 들어가서 검색'에 있어서 과연 메리트가 있을지....)2.  오픈 소스 : 최신 패치 x(html, css 등의 변화)이러한 단점들을 보완할 수 있는 방법을 마련하려고 고민을 해보았고 검색부터 저장까..
구글 크롤러 제작 프로젝트(#0) : 시연 영상 아래의 영상은 코드가 어떤 식으로 동작하는지 확인할 수 있는 용도로 제작되었습니다. 코드를 보기 전에 먼저 시청하시면 보다 쉬운 코드 이해가 가능하실겁니다😊. [ 코드 테스트 영상 ]  이번에는 간단한 GUI를 통해 구글 이미지를 크롤링하고 중복이미지 검출할 수 있는 크롤러 폼을 만들어 보았습니다. 아직 PyQt5에 대한 이해도가 부족해서 폼 형식이 어설프지만(?) 최대한 사용자 입장에서 불필요한 부분은 제거하고, 필요한 기능만 넣어 보았습니다!해당 프로젝트에서는 python만으로 진행하였고, Visual Studio code에서 작업을 했습니다😄. class를 크게 보면 2개로 나누어 설명 드릴 수 있을 것 같아 나누어 설명드리도록 하겠습니다!  아래의 깃헙 주소로 가시면 해당 내용에 대한 코드를 ..