python-爬取104人力銀行的職缺訊息
python-爬取104人力銀行的職缺訊息
(一).印出職缺內容
首先先以Google Chrome連到104人力銀行網站，隨意搜尋關鍵字，我先舉搜尋'Python'為例子。
接著網頁會加載搜尋到有關Python的職缺，按下F12進入開發者模式。
對著各個職缺名稱點選右鍵->檢查，會跳出該職缺內容的路徑。
我們知道，所有職缺的子標籤都是在<div id="js-job-content">的標籤裡，而每個子標籤都叫做<article class="js-job-item">，這些資訊即可爬取個職缺內容囉。
我只想要知道各個職缺名稱、公司名稱、地址、薪資、網址。
職缺名稱在data-job-name裡 ，也在<a>標籤的class"js-job-link"裡
公司名稱在data-cust-name裡
地址在<ul>標籤的class="job-list-intro"的<li>標籤裡
薪資在<span>標籤的class="b-tag--default:裡
網址在<a>標籤的href裡
程式碼如下：
#印出各個職缺內容
import requests
import bs4
url = 'https://www.104.com.tw/jobs/search/?keyword=python&order=1&jobsource=2018indexpoc&ro=0'
htmlFile = requests.get(url)
ObjSoup=bs4.BeautifulSoup(htmlFile.text,'lxml')
jobs = ObjSoup.find_all('article',class_='js-job-item') #搜尋所有職缺
for job in jobs:
print(job.find('a',class_="js-job-link").text) #職缺內容
print(job.get('data-cust-name')) #公司名稱
print(job.find('ul', class_='job-list-intro').find('li').text) #地址
print(job.find('span',class_='b-tag--default').text) #薪資
print(job.find('a').get('href')) #網址
print('='*70)
執行結果：
(二)資料存取，將爬取資料存成csv檔
光是印出職缺內容還不夠，我希望能存成CSV格式，使用EXCEL來搜尋比較方便。
這裡我使用CSV方式來做資料存取的動作。
程式碼如下：
#將各個職缺內容存到csv檔
import requests
import bs4
import csv
url = 'https://www.104.com.tw/jobs/search/?keyword=python&order=1&jobsource=2018indexpoc&ro=0'
htmlFile = requests.get(url)
ObjSoup=bs4.BeautifulSoup(htmlFile.text,'lxml')
jobs = ObjSoup.find_all('article',class_='js-job-item') #搜尋所有職缺
fn='104人力銀行職缺內容.csv' #取CSV檔名
columns_name=['職缺內容','公司名稱','地址','薪資','網址'] #第一欄的名稱
with open(fn,'w',newline='',) as csvFile: #定義CSV的寫入檔,並且每次寫入完會換下一行
dictWriter = csv.DictWriter(csvFile,fieldnames=columns_name) #定義寫入器
dictWriter.writeheader()
for job in jobs:
job_name=job.find('a',class_="js-job-link").text #職缺內容
job_company=job.get('data-cust-name') #公司名稱
job_loc=job.find('ul', class_='job-list-intro').find('li').text #地址
job_pay=job.find('span',class_='b-tag--default').text #薪資
job_url=job.find('a').get('href') #網址
dictWriter.writerow({'職缺內容':job_name,'公司名稱':job_company,
'地址':job_loc,'薪資':job_pay,'網址':job_url})
執行結果：
會跑出一個104人力銀行職缺內容.csv檔案
這樣子我們就完成資料的存取囉！
(三)連續爬取多頁,並存成CSV檔
讀者可能會發現，明明還有好幾頁，為什麼只存第一頁的職缺資料而已。
當你試著在網站上往下滾輪到底，網站會自動載入第二頁的職缺內容，這是使用了Ajax的加載技術。觀察網址發現，網址會自動變成含有page=2，所以我們知道，如果要爬取下一頁的資訊，只需要把這個跑出來的網址宣告給url參數就好了。
因為會大量搜尋網站上的資料，故每一次換頁時需加上等待時間time.sleep()較佳。
現在筆者試著把取前5頁的職缺資訊
程式碼如下：
#爬取5頁的職缺內容,將各個職缺內容存到csv檔
import requests
import bs4
import csv
import random,time
url_A ='https://www.104.com.tw/jobs/search/?ro=0&kwop=7&keyword=python&order=15&asc=0&page='
url_B = '&mode=s&jobsource=2018indexpoc'
all_job_datas=[]
for page in range(1,5+1):
url = url_A+str(page)+url_B
print(url)
htmlFile = requests.get(url)
ObjSoup=bs4.BeautifulSoup(htmlFile.text,'lxml')
jobs = ObjSoup.find_all('article',class_='js-job-item') #搜尋所有職缺
for job in jobs:
job_name=job.find('a',class_="js-job-link").text #職缺內容
job_company=job.get('data-cust-name') #公司名稱
job_loc=job.find('ul', class_='job-list-intro').find('li').text #地址
job_pay=job.find('span',class_='b-tag--default').text #薪資
job_url=job.find('a').get('href') #網址
job_data={'職缺內容':job_name,'公司名稱':job_company,
'地址':job_loc,'薪資':job_pay,'網址':job_url}
all_job_datas.append(job_data)
time.sleep(random.randint(1,3))
fn='104人力銀行職缺內容共5頁.csv' #取CSV檔名
columns_name=['職缺內容','公司名稱','地址','薪資','網址'] #第一欄的名稱
with open(fn,'w',newline='') as csvFile: #定義CSV的寫入檔,並且每次寫入完會換下一行
dictWriter = csv.DictWriter(csvFile,fieldnames=columns_name) #定義寫入器
dictWriter.writeheader()
for data in all_job_datas:
dictWriter.writerow(data)
