PHP 下載遠端網頁 (上)

如果要下載遠端網頁，最簡單的方法就是fopen()，他可以直接指定url ，像開檔案一樣讀取遠端http/ftp 資料(如果需要登入就不行囉)，這方法對公開的網頁幾乎是萬試萬靈，現在來看看程式範例：

<?php
$url = "http://functtionlab.org/";
$contents = "";

$fp = fopen($url, "r");    //這邊使用r(read only)的方式開啟檔案
while (!feof($fp)) {        //如果檔案沒結束則繼續讀下一行
    $contents .= fgets($fp);    //儲存到$html 變數中
}
fclose($fp);
echo $contents;
?>

如果是ftp 就把上面url 改成FTP 的位址，會用｢匿名｣登入

接下來進階一點，如果網頁有Basic Authentication(驗證)，fopen() 就過不去了，Basic 驗證是遇到會跳出一個Windows 登入對話框的網頁(這註解寫的比較淺顯，不精準勿怪)
遇到Basic 驗證，我們要適時送出帳號密碼，所以要改用fsockopen() 搭配fputs()...

這邊來小談一下用｢命令提示字元｣取得網頁的方法，不知道你有沒有試過

1. 先開啟命令提是字元
2. 輸入 telnet www.fju.edu.tw 80
3. 摸黑輸入 GET / HTTP/1.0
4. 連按兩下Enter 送出
5. 這時後就可以看到伺服器回應(如圖)

有了這個概念，看程式碼應該會比較好懂：

<?php
$page = "/private/list.php";    //這是要檢視的頁面
$host = "www.example.com";
//這裡不能有HTTP 喔，要用指定連接埠號的，不然fsockopen 會出現｢Unable to find the socket transport "http" - did you forget to enable it when you configured PHP?｣的錯誤
$port = 80;
$user = "function1122";
$pass = "P@ssw0rd";

//接下來來產生模仿劉覽器的標頭，先送出GET 要求網頁
$header = sprintf("GET %s HTTP/1.1\r\n", $page);
//這邊來模仿一下IE6 好了:P
$header .= "Accept: */*\r\nAccept-Language: zh-tw\r\nAccept-Encoding: gzip. deflate\r\nUser-Agent: Mozilla/4.0 (compatible; MSIE 6.0; windows NT 5.1; SV1)\r\n";
$header .= sprintf("Host: %s\r\n", $host);
$header .= "Connection: Keep-Alive\r\n";
//這裡就是送出Basic 驗正的帳密，他是用Byte 傳送的唷，帳號密碼中間用冒號隔開
$header .= sprintf("Authorization: Basic %s\r\n", base64_encode("$user:$pass"));
//最後再送出一個Enter 代表資料送完了
$header .= "\r\n";

//建立一個socket 連線
$fp = fsockopen ($host, $port, &$errno, &$errstr, 30);
if(!$fp){
    //如果連線失敗則顯示錯誤訊息和代碼
     echo "$errstr ($errno)\n";
}else{
    //成功先像伺服器送出剛剛準備好的header
    fputs ($fp, $header);
    //讀取伺服器回應
    while (!feof($fp)) {
        echo fgets ($fp,128);
    }
    fclose ($fp);
}
?>

呼!!!終於搞定了
但如果伺服器是用NTLM 驗證fsockopen() 就會變得很麻煩...因為要用程是去計算伺服器送來的｢挑戰｣，才能對挑戰｢回應｣(若想了解NTLM 原理，建議參考NTLM Authentication Scheme for HTTP)

所以如果要用PHP 去登入需要NTLM 驗證的伺服器，這邊實做起來非常困難，找遍了網路也找不太到，但是...突然想起cURL，下集待續...

下集：PHP 下載遠端網頁 (上)
精彩嘛:$ Tags: 系統工程, 科技隨筆, PHP

• 編輯文章
• 此文章網址
• 轉寄此文章
• 目前有2 意見