반응형 scrapper2 [Google Go 언어] 미니 프로젝트 : Scrapper + Web Step 1 기존 Scrapper 에서 Web을 이용하여 검색어를 입력해보자. 검색어에 맞춰 데이터를 수집하고, 파일을 다운로드 및 삭제해보자. `scrapper/scrapper.go` Windows 에서 읽기가 가능하도록 utf8bom 을 설정 추가 파일 삭제가 가능하도록 flush 추가 package scrapper import ( "encoding/csv" "fmt" "log" "net/http" "os" "strconv" "strings" "time" "github.com/PuerkitoBio/goquery" ) type extractedJob struct { id string title string location string salary string summary string } func Sc.. 2021. 11. 22. [Google Go 언어] 미니 프로젝트 : Scrapper Step 1 각 페이지에서 상세 정보를 읽고 CSV로 저장하자 `totalPages := getPages()` 에서 페이지 링크를 취합 `go getPage(i, c)` 에서 각 페이지마다 스크랩 시작 위 함수 내부의 `go extractJob(card, c)`에서 상세정보 취합 `jobs = append(jobs, extractedJobs...)` 에서 취합된 상세 정보 병합 `writeJobs(jobs)` 에서 CSV로 파일 출력 package main import ( "encoding/csv" "fmt" "log" "net/http" "os" "strconv" "strings" "time" "github.com/PuerkitoBio/goquery" ) type extractedJob struct {.. 2021. 11. 22. 이전 1 다음 반응형
