Intro to Web Scraping

網路爬蟲：撰寫程式碼使其自動從網站抓取所需的資料。
原理：網頁上的資訊都是使用HTML寫成，因此我們可以藉由Python將網站的HTML抓下來後，再從中找出想要的資訊。
注意事項：
1. 獲得網站擁有者的許可：並非所有網站都允許使用網路爬蟲。
2. 發送過多請求可能會被視為攻擊伺服器，導致IP地址被封鎖。
3. 某些網站會架設阻擋爬蟲的功能。
4. 每個網站都有不同的HTML程式碼，所以無法使用同一份程式碼對所有網站進行爬蟲。
5. 當網站更新時，執行網路爬蟲的程式碼也要跟著變更。
提到網路爬蟲，我們大多都會看到或想到Python。事實上，除了Python以外，還有其他程式語言可用於網路爬蟲，例如：Java、JavaScript。但Python是其中最容易上手與編寫的一種，因此Python成為執行網路爬蟲最流行的語言。

HTTP and HTTPs

HTTP (HyperText Transfer Protocol，超文本傳輸協定)

超文字(hypertext)：在網路上點擊一個連結，會被帶到另外一個地方，因此該連結就不是純文字，而是被稱為超文字。

超文字 - 維基百科，自由的百科全書
全世界說好在網路上的資料要如何傳輸，規範要如何發送請求，伺服器要如何應答......等等。

超文本傳輸協定 - 維基百科，自由的百科全書

HTTPs (HyperText Transfer Protocol Secure，超文本傳輸安全協定)

在使用HTTP傳輸資料時，運用演算法進行加密。

超級文字傳輸安全協定 - 維基百科，自由的百科全書

HTML Basics

HTML (HyperText Markup Language，超文本標記語言)是一種標記語言，而不是程式語言。

每個HTML頁面由兩部分組成：head and body。

<!DOCTYPE html>
<html lang="en">
  <head>
    <meta charset="UTF-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1.0" />
    <title>Document</title>
  </head>
  <body></body>
</html>

基本架構的標籤
- <!DOCTYPE html>：告訴網頁瀏覽器接下來的內容是html。
每個html標籤都包含兩個部分：starting tag和closing tag，並將內容包在兩個部分中間。
- <html> </html>：代表HTML頁面。
- <head> </head>：包含與屬性相關的東西。
- <body> </body>：包含網頁中看到的內容。
head tag中基本會放的東西：
- <meta>：定義html的一些屬性，例如：charset (character set)、寬度…等等。
- <title>：網頁標題。
body tag中的常用標籤：
- 標題：<h1>, <h2>, <h3>, <h4>, <h5>, <h6>
- 段落：<p>
- 無序列表：<ul>
- 有序列表：<ol>
- 列表：<li>，在<ul>、<ol>中使用
- 表格：<table>
- 表格行(table row)：<tr>
- 表格標題(table heading)：<th>
- 表格內容(table data)：<td>
有屬性的標籤：
- 超連結：<a href=“...”> (<a> 代表錨點)
- 圖片：<img src="..."> (src 代表來源)
- <input type=“…”> 定義接受使用者輸入的類型

HTTP Requests in Python

import requests

result = requests.get('<https://example.com/>')
print(type(result))
# <class 'requests.models.Response'>
print(result.headers)
# {'Content-Encoding': 'gzip', 'Accept-Ranges': 'bytes', 'Age': '333098', 'Cache-Control': 'max-age=604800', 'Content-Type': 'text/html; charset=UTF-8', 'Date': 'Wed, 19 Oct 2022 08:01:22 GMT', 'Etag': '"3147526947"', 'Expires': 'Wed, 26 Oct 2022 08:01:22 GMT', 'Last-Modified': 'Thu, 17 Oct 2019 07:18:26 GMT', 'Server': 'ECS (sab/5783)', 'Vary': 'Accept-Encoding', 'X-Cache': 'HIT', 'Content-Length': '648'}
print(result.encoding)
# UTF-8
print(result.cookies)
# <RequestsCookieJar[]>
print(result.status_code)
# 200
print(result.text)
# 結果
<!doctype html>
<html>
<head>
    <title>Example Domain</title>

    <meta charset="utf-8" />
    <meta http-equiv="Content-type" content="text/html; charset=utf-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1" />
    <style type="text/css">
    body {
        background-color: #f0f0f2;
        margin: 0;
        padding: 0;
        font-family: -apple-system, system-ui, BlinkMacSystemFont, "Segoe UI", "Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif;
        
    }
    div {
        width: 600px;
        margin: 5em auto;
        padding: 2em;
        background-color: #fdfdff;
        border-radius: 0.5em;
        box-shadow: 2px 3px 7px 2px rgba(0,0,0,0.02);
    }
    a:link, a:visited {
        color: #38488f;
        text-decoration: none;
    }
    @media (max-width: 700px) {
        div {
            margin: 0 auto;
            width: auto;
        }
    }
    </style>    
</head>

<body>
<div>
    <h1>Example Domain</h1>
    <p>This domain is for use in illustrative examples in documents. You may use this
    domain in literature without prior coordination or asking for permission.</p>
    <p><a href="<https://www.iana.org/domains/example>">More information...</a></p>
</div>
</body>
</html>