文章目錄
使用 C# 搭配 Puppeteer Sharp 來獲取網頁內容
最近團隊有個需求,需要從網頁上抓取一些資料,雖然普遍對於網路爬蟲的第一印象都是 python,但因為團隊中多數成員都是 C# developer,為了非常態性需求改使用 python,不僅開發效率變差,加上後續維護也會因為熟悉度不夠而多花不少時間在重新上手,因此還是決定以 C# 為主,只是爬網頁資料有不少套件可以利用,便想趁這個機會比較一下各家 library 的差異,以下是我比較的幾個 library 與筆記連結:
- HtmlAgilityPack:使用 C# 搭配 HtmlAgilityPack 來獲取網頁內容
- ScrapySharp:使用 C# 搭配 ScrapySharp 來獲取網頁內容
- AngleSharp:使用 C# 搭配 AngleSharp 來獲取網頁內容
- Puppeteer Sharp:使用 C# 搭配 Puppeteer Sharp 來獲取網頁內容
- Selenium:使用 C# 搭配 Selenium 來獲取網頁內容
- Playwright:使用 C# 搭配 Playwright 來獲取網頁內容
- C# Crawler 套件 Benchmark
Puppeteer Sharp 是 Node.JS Puppeteer API 的 .NET 移植。
Puppeteer Sharp 提供 API 通過 DevTools 協定或 WebDriver BiDi 控制 Chrome 或 Firefox。默認情況下,Puppeteer 在不可見 UI (headless) 中運行
基本環境說明
- macOS Sequoia 15.0 (Apple M2 Pro)
- .NET SDK 8.0.401
- NuGet Libraries
- PuppeteerSharp 20.0.2
使用方式
心得
- 語法原則上就是 JavaScript,只是透過 C# 來執行,少了語法提示跟檢查的功能
只能使用標準寫法
li[class='List(n)']
,不允許li.List(n)
錯誤訊息
錯誤截圖
需要先安裝 Chrome 或 Firefox 瀏覽器而造成執行較慢
如何取得 xpath 或是 selector
開啟瀏覽器的開發者工具並選取要取得的元素
右鍵選擇
Copy
–>Copy XPath
或是Copy selector
完整程式碼請參考 GitHub - yowko/puppeteer-sharp-demo
參考資訊
- 使用 C# 搭配 HtmlAgilityPack 來獲取網頁內容
- 使用 C# 搭配 ScrapySharp 來獲取網頁內容
- 使用 C# 搭配 AngleSharp 來獲取網頁內容
- 使用 C# 搭配 Puppeteer Sharp 來獲取網頁內容
- 使用 C# 搭配 Selenium 來獲取網頁內容
- 使用 C# 搭配 Playwright 來獲取網頁內容
- C# Crawler 套件 Benchmark
- GitHub - puppeteer-sharp
- Puppeteer Sharp Api Documentation
- 7 Best C# Web Scraping Libraries in 2024
- Popular Scraping libraries in C#
- GitHub - yowko/puppeteer-sharp-demo
文章作者 Yowko Tsai
上次更新 2024-09-23
授權合約
本部落格 (Yowko's Notes) 所有的文章內容(包含圖片),任何轉載行為,必須通知並獲本部落格作者 (Yowko Tsai) 的同意始得轉載,且轉載皆須註明出處與作者。
Yowko's Notes 由 Yowko Tsai 製作,以創用CC 姓名標示-非商業性-相同方式分享 3.0 台灣 授權條款 釋出。