*情報 作者名:YouTubeダウンロードし放題 引用元:なでしこプログラム掲示板「HTTPグループ」>http://nade.jp-pro.net/bbs/bbs2/cbbs.cgi?mode=al2&namber=1219 更新: 2012/01/27 Cookie取得を更新 エラー防止の真偽グループを追加 *[[ダウンロード>http://www26.atwiki.jp/isoroku_be/?cmd=upload&act=open&page=%E2%97%86HTTP%E3%82%B0%E3%83%AB%E3%83%BC%E3%83%97&file=HTTP%E3%82%B0%E3%83%AB%E3%83%BC%E3%83%97.nako]] *概要 五十六さんの作品「TCPクライアントでHTTPっぽいものセット」(以下TCPセット) (http://nade.jp-pro.net/bbs/bbs2/cbbs.cgi?mode=al2&namber=911 感謝!!) を元に機能拡張・改善したライブラリです。 目標としては、簡単に利用できて、且つ、カスタマイズ性に飛んだライブラリを目指して作成しました。 TCPセットとの大まかな違いとしては、 ・TCPデータ取得→新HTTPデータ取得 ・グループとして利用できる ・不同期ダウンロード ・Cookieの自動取得 ・POST命令の削除(無念 後日また挑戦してみます) などです。 *解説 「新HTTPデータ取得」は「HTTPデータ取得」と同じ使い方です。 HTTPグループの基本的な使い方は、URLや保存先、オプションなどを指定してから、「開始」です。 **注意 ・HTTPグループに関わる全ての命令を本体の下に記述してください 本来ならば、本体のみを別ファイルにして「取り込む」命令を使用するのが望まれます ・HTTPグループにFILEを設定した時点でダウンロードとみなされます 逆にFILEを空にすればデータ取得になります ・「母艦の終了した時」のイベントのかわりに「母艦終了時」を使用してください **追加した機能 ***グループ化 動的作成による今までの命令も使えます ***ダウンロードの不同期化 「同期はオフ」とすることで不同期ダウンロードができます しかし、タイマーで無理やり内蔵しているので多少バグがあります 動的にHTTPグループを作成し、同時ダウンロードを行う事ができます ***経過表示のイベント化 経過表示時の行動を何度も書き換えることができるようになりました ***Cookie自動取得機能(意外と便利) Internet ExplorerのCookieを取得します ***自動ページ転送機能 Locationがあれば再取得するようになりました ***自動エンコード機能(初期状態ではオフ) ***推定残り時間 ***レジューム(途中ダウンロード)の簡潔化 レジュームを指定しなくても、FILEが存在すればレジュームが使用できるようになりました 逆に強制的に使用しないようにするには「レジューム機能はオフ」とします **削除した機能 ***POST命令 サンプル使う人はGET命令より少ないのと グループが混じると条件分岐が多くて負担が多いので **特に意識しなくてよいこと ***SizeOver機能 動画などの大容量のファイルを「データ取得」するとメモリが足りなくなってしまいます なので、ファイルが0.5MGバイト以上の場合は一時的に保存するようにしました ***チャンクによるバグの修正 チャンクは受信し終わってからまとめて処理するようにしました ***TCPクライアントと統合 「nakonet.nako」も取り込まなくて済みます (TCPクライアントと併用しても問題ありません) ***タイマーとの統合 タイマーを内蔵しているので、不同期ダウンロードの際にタイマーを作成する必要がありません ***TCP自動切断機能(重要) ライブラリ内部でHTTPグループを一括管理しているので、終了時にTCPを手動で切断する必要がなくなりました。 (nakonet.dllのバグでTCPを切断しないと終了できない問題を克服) ***メモリ節約のための変数宣言 変数を厳密に宣言することで余計なメモリを節約し、関数外の変数が影響することを防ぎます ***計算を最小限かつ高速化 *サンプル 本体の後ろに置いてください **新HTTP関数 「http://www.google.co.jp/」の新HTTPデータ取得を言う **一番簡単なグループ HTTP1とはHTTPグループ HTTP1=「http://www.youtube.com/」 HTTP1で開始 それを言う **高度な静的グループ 経過詳細テキストとは文字列 平均速度とは数値 受信サイズとは数値 受信予定サイズとは数値 経過バーとはプログレスバー 経過詳細とはラベル 経過詳細の位置=経過バーの右側 中止ボタンとはボタン HTTP2とはHTTPグループ 中止ボタンのクリックした時は~ HTTP2の有効切替#HTTP2の停止判定=1 HTTP2について URL=「http://www.youtube.com/」 #FILE=「{デスクトップ}sample.html」 #HEAD取得判定=1 #レジューム機能=0 #自動エンコード機能=1 経過表示時は~ 経過詳細テキスト=空 経過パーセント=HTTP2の経過パーセント 平均速度=(HTTP2の平均速度/1024/1024)を1で小数点切り上げ 瞬間速度=(HTTP2の瞬間速度/1024/1024)を1で小数点切り上げ 推定残り=HTTP2の推定残り 経過詳細テキストに「{経過パーセント}% 平均速度:{平均速度}MB/s 瞬間速度:{瞬間速度}MB/s 推定残り:{推定残り}秒」を配列追加 受信サイズ=(HTTP2の受信Size/1024/1024)を1で小数点切り上げ 受信予定サイズ=(HTTP2の受信予定Size/1024/1024)を1で小数点切り上げ 経過詳細テキストに「受信:{受信サイズ}/{受信予定サイズ}MB」を配列追加 もし、経過パーセント=100ならば 経過詳細テキスト=「ダウンロード完了」 経過詳細=経過詳細テキスト 経過バー=HTTP2の経過パーセント レジューム機能=0 経過表示間隔=0.5 データとは文字列 データ=開始 データを言う **IDを利用した動的グループの同時ダウンロード URL一覧とは配列 URL一覧に「http://www.google.co.jp/」を配列追加 URL一覧に「http://www.yahoo.co.jp/」を配列追加 URL一覧に「http://ja.wikipedia.org/wiki/」を配列追加#「http://ja.wikipedia.org/wiki/メインページ」に転送 URL一覧に「http://www.youtube.com/」を配列追加 URL一覧に「http://www.apple.com/jp/」を配列追加 URL一覧に「http://twitter.com/」を配列追加 IDとは数値 ID一覧とは配列 URL一覧で反復 ID=ActiveHTTPG_ID;ID一覧にIDを配列追加 Panel[回数]を経過パネルとして作成 Panel[回数]→Y=(回数-1)*60 Panel[回数]→テキスト1=対象 HTTPG[ID]→URL=対象 HTTPG[ID]→同期=0 HTTPG[ID]→タグ=回数 HTTPG[ID]→経過表示時は~ 経過率とは数値=自身→経過パーセント 受信S=(自身→受信Size/1024)を1で小数点切り上げ 平均速度とは数値=(自身→平均速度/1024/1024)を1で小数点切り上げ 瞬間速度とは数値=(自身→瞬間速度/1024/1024)を1で小数点切り上げ 推定残りとは数値=自身→推定残り Panel[自身→タグ]→値=経過率 TEXTとは文字列 TEXT[0]=「{経過率}% {受信S}kb」 TEXT[1]=「平均:{平均速度}MB/s 瞬間:{瞬間速度}MB/s 残り時間:{推定残り}秒」 もし、経過率=100ならば TEXT[1]=「ダウンロード完了」 Panel[自身→タグ]→テキスト2=TEXT 描画処理反映 ID一覧で反復;HTTPG[対象]→開始() ■経過パネル ・Y ←Y設定 ・値 ←値設定 ・テキスト1 ←テキスト1設定 ・テキスト2 ←テキスト2設定 ・値設定(S)~経過バーOBJ→値=S ・テキスト1設定(S)~ラベル1OBJ→テキスト=S ・テキスト2設定(S)~ラベル2OBJ→テキスト=S ・Y設定(S)~ 経過バーOBJ→Y=S それ=経過バーOBJ→右側;ラベル1OBJ→位置=それ それ=経過バーOBJ→下側;ラベル2OBJ→位置=それ ・パネルOBJ ・経過バーOBJ ・ラベル1OBJ ・ラベル2OBJ ・作る~ 経過バーOBJをプログレスバーとして作成 ラベル1OBJをラベルとして作成 ラベル2OBJをラベルとして作成 ラベル1OBJ→テキスト=空 それ=経過バーOBJ→右側;ラベル1OBJ→位置=それ ラベル2OBJ→テキスト=空 それ=経過バーOBJ→下側;ラベル2OBJ→位置=それ *本体 !変数宣言が必要 最大HTTP数とは数値=20 !HTTP_ID一覧とは配列 !__TCPIDとは数値=0 母艦終了時とは変数 母艦終了時は~何もしない 経過表示時イベントとは変数 経過表示時イベントは~ それ=自身→経過パーセント;母艦=それ&「%」 母艦の終了可能=0 母艦の閉じた時は~ 母艦終了時 HTTP_ID一覧で反復 エラー無視#一応エラー回避 「{対象}→終了時処理」をナデシコする 母艦の終了可能=1;おわり !初期UA=「HTTP」 !ERROR_TCP_403=「HTTP_403 "Forbidden" アクセスが認められていません。」 !ERROR_TCP_404=「HTTP_404 "NotFound" 見つかりません」 !ERROR_TIMEOUT=「HTTP_TIMEOUT タイムアウトしました」 !ERROR_STOP=「HTTP_STOP ユーザーによって停止されました」 ■真偽 ・値 ←値設定 →値取得 デフォルト ・{整数}F値 ・値設定(V)~ もし、(V=0)||(V=1)ならばF値=V 違えばエラー発生 ・値取得~_=F値 ■HTTPグループ # ↓読み書きOK # 基本オプション 初期化されないので毎回書き換えるように ・URL{="http://www.google.co.jp/"} ←URL設定 →URL取得 デフォルト ・FILE ←FILE設定 →FILE取得 ・{整数/*真偽値*/}HEAD取得判定 ・{イベント}経過表示時 # 高度なオプション ・{イベント}終了時イベント ・{イベント}エラー時#~エラーメッセージと言う ・{ハッシュ}オプション# 送信ヘッダに追加 UAなど ・{ハッシュ}Cookie ・{真偽}有効{=1} ←有効設定 →有効取得 ・{真偽}同期{=1} ・{真偽}Cookie自動取得{=1} # InternetExplorerのCookieを適用 ・{真偽}レジューム機能{=1} ・{真偽}自動ページ転送{=1} ・{真偽}自動エンコード機能# UTF8を自動でエンコード ・{数値}経過表示間隔{=0.1}# 経過表示する間隔(0.1秒ごと) ・{数値}瞬間速度幅{=5} ・{数値}TimeOut秒数{=5} ・{数値}HTTPVer{=1.1} ・ポケット ・タグ# 一時データの格納に使える # ↓読込のみOK ・FILEDATA ・HEAD # 経過表示に使える変数 ・{整数}通信中・{整数}受信回数 ・{整数}受信予定Size・{整数}受信Size ・{整数}開始時間 ・{整数}経過時間 ・{整数}経過パーセント ・{整数}推定残り# 秒 ・{数値}平均速度・{数値}瞬間速度# b/s ・{整数}瞬間Size・{整数}前時間・{整数}瞬間時間 ・{整数}TimeOut回数 #----- ・{ハッシュ}HEAD_HASH・{整数}StatusNum{=200} ・Pass ・送信HEAD・{整数}出力H ・{真偽}一回目判定{=1} ・{真偽}Download判定・{真偽}Chunk判定 ・{真偽}Resume判定・{真偽}SizeOver判定 ・{真偽}中断判定・{真偽}停止判定 ・Host{="www.google.co.jp"}・{整数}Port{=80} ・{整数}ID # フェイク ・{非公開}FURL ・URL取得~FURLで戻る ・{非公開}FFILE ・FILE取得~FFILEで戻る ・{非公開}F有効{=1} ・有効取得~F有効で戻る ・{非公開}Option ・{非公開}FERROR ←エラー設定 ・エラー設定(S)~エラーメッセージ=S;エラー時 #---------------------------------------------------------------- ・開始~ FILEDATA=空;HEAD=空;終了時処理#一応 Option=オプション もし、Option@「User-Agent」=空ならば、Option@「User-Agent」=初期UA もし、Option@「Host」=空ならば、Option@「Host」=Host もし、Cookie自動取得=1ならば、Cookie=FURLのCookie取得 もし、Cookie≠空ならば、Option@「Cookie」=Cookieの改行を「;」に置換 もし、Download判定=1ならば もし、(FFILEの存在=1)AND(レジューム機能=0)ならば FFILEをファイル完全削除 出力H=FFILEを「書」でファイルストリーム開く もし、FFILEの存在=1ならば、 Resume判定=1 受信Size=FFILEのファイルサイズ Option@「Range」=「bytes={受信Size}-」 出力Hで受信Sizeにファイルストリーム位置設定 送信HEAD=Optionを逆HTTPヘッダハッシュ変換("GET",Pass,HTTPVer);接続 もし、同期=0ならば TIMER_OBJ=VCL_CREATE(自身,名前,VCL_GUI_TIMER) VCL_SET(TIMER_OBJ,VCL_PROP_VALUE,経過表示間隔*1000) VCL_SET(TIMER_OBJ,VCL_PROP_ENABLED,1);戻る オンの間 メインループ もし、(通信中=0)AND(一回目判定=0)ならば抜ける (経過表示間隔)秒待つ メインループ後 もし、HEAD取得判定=1ならば、HEADで戻る 違えば、FILEDATAで戻る ・メインループ~ もし、停止判定=1ならば、終了時処理;FERROR=ERROR_STOP;戻る 経過表示時 もし、一回目判定=1ならば、 TimeOut回数に1を直接足す もし、(経過表示間隔*TimeOut回数)>TimeOut秒数ならば 終了時処理;FERROR=ERROR_TIMEOUT;戻る 違えば、TimeOut回数=0 ・メインループ後~ 経過表示時 もし、Download判定=1ならば 出力Hで0にファイルストリーム位置設定 FILEDATA=出力Hで(0.5*1024*1024)をファイルストリーム読む 出力Hをファイルストリーム閉じる #自動エンコード機能 もし、自動エンコード機能=1ならば Typeとは文字列=HEAD_HASH@「Content-Type」 Typeを「^([^;]*);」で正規表現マッチ もし、抽出文字列[0]=「text/html」ならば Typeを「charset=([^\s]*)」で正規表現マッチ もし、抽出文字列[0]=「utf-8」ならば FILEDATA=FILEDATAを「UTF8」から「SJIS」へ文字コード変換 もし、Download判定=1ならば、FILEDATAをFFILEに保存 終了時イベント;終了時処理 ・終了時処理~ 通信中=0;切断 もし、TIMER_OBJ≠空ならば VCL_SET(TIMER_OBJ,VCL_PROP_ENABLED,0);TIMER_OBJ=空 もし、SizeOver判定=1ならば もし、出力Hのファイルストリームサイズ≠-1ならば 出力Hをファイルストリーム閉じる FFILEをファイル完全削除 Download判定=0;FILE=空; # 変数の初期化 一回目判定=1;TimeOut回数=0;SizeOver判定=0;停止判定=0; 受信回数=0;受信予定Size=0;受信Size=0;出力H=0; 経過パーセント=0;平均速度=0;瞬間速度=0; ・接続した時~ 通信中=1;開始時間=システム時間; 送信HEADを送信 ・受信した時~ 受信回数に1を直接足す 受信DATAとは文字列=受信 もし、一回目判定=1ならば 一回目判定=0 HEAD=受信DATAから「{~}{~}」まで切り取る もし、HEAD取得判定=1ならば、経過パーセント=100;通信中=0;切断;戻る HEAD_HASH=HEADをHTTPヘッダハッシュ変換 StatusNum=HEAD_HASH@「HTTP.Response」#正しい使いかたではない もし、StatusNum≠200ならば StatusNumで条件分岐 403ならば、経過パーセント=100;通信中=0;切断;FERROR=ERROR_TCP_403;戻る 404ならば、経過パーセント=100;通信中=0;切断;FERROR=ERROR_TCP_404;戻る 301ならば、HEAD_HASH@「Location」にTCP転送;戻る 302ならば、HEAD_HASH@「Location」にTCP転送;戻る 303ならば、HEAD_HASH@「Location」にTCP転送;戻る #レジュームで既にダウンロード完了しているとき/Rangeが不正な場合 416ならば、経過パーセント=100;通信中=0;切断;戻る 違えば、#StatusNumを言う もし、HEAD_HASH@「Content-Length」≠空ならば 受信予定Size=HEAD_HASH@「Content-Length」 もし、Resume判定=1ならば 受信予定Sizeに受信Sizeを直接足す もし、(Download判定=0)AND(受信予定Size>(0.5*1024*1024))ならば FILE=「download_{テンポラリフォルダ}{開始時間}.bak」 出力H=FFILEを「書」でファイルストリーム開く SizeOver判定=1;Download判定=1; もし、HEAD_HASH@「Transfer-Encoding」=「chunked」ならば、Chunk判定=1 前時間=開始時間 瞬間Sizeに(受信DATAのバイト数)を直接足す 受信Sizeに(受信DATAのバイト数)を直接足す 経過時間=システム時間-開始時間 経過パーセント=INT(受信Size/受信予定Size*100) 平均速度=受信Size/経過時間*1000 もし、受信回数%瞬間速度幅=0ならば 瞬間時間=システム時間-前時間;前時間=システム時間 瞬間速度=瞬間Size/瞬間時間*1000;瞬間Size=0; 推定残り=INT((受信予定Size-受信Size)/平均速度) もし、Chunk判定=0ならば もし、Download判定=0ならば、FILEDATAに受信DATAを追加 違えば、出力Hで受信DATAをファイルストリーム書く もし、経過パーセント>=100ならば 経過パーセント=100;通信中=0;切断;戻る; 違えば FILEDATAに受信DATAを追加 FILEDATAの(FILEDATAのバイト数-4)から1バイト抜き出す もし、それ=「0」ならば FILEDATA=FILEDATAからChunkData抽出 もし、Download判定=1ならば 出力HでFILEDATAをファイルストリーム書く FILEDATA=空 経過パーセント=100;通信中=0;切断;戻る ・URL設定(S)~ FURL=S Host=FURLからURLドメイン名抽出 もし、(FURLを「:(\d+)\/」で正規表現マッチ)≠空ならば、Port=抽出文字列[0] FURLを「http:\/\/[^\/]+(\/.*)」で正規表現マッチ Pass=抽出文字列[0] ・FILE設定(S)~ FFILE=S もし、FFILE≠空ならば、Download判定=1 違えば、Download判定=0 ・有効設定(S)~ F有効=S もし、通信中=1ならば もし、F有効=1ならば もし、中断判定=1ならば 一回目判定=1;Resume判定=1;中断判定=0; Option@「Range」=「bytes={受信Size}-」 送信HEAD=Optionを逆HTTPヘッダハッシュ変換("GET",Pass,HTTPVer);接続 違えば、切断;中断判定=1 ・有効切替~ もし、F有効=0ならば、有効=1 違えば、有効=0 ・停止~停止判定=1 ・TCP転送(Sに)~ 切断 もし、自動ページ転送=0ならば、経過パーセント=100;通信中=0;戻る URL=S;一回目判定=1; もし、Option@「User-Agent」=空ならば、Option@「User-Agent」=初期UA もし、Option@「Host」=空ならば、Option@「Host」=Host もし、Cookie自動取得=1ならば、Cookie=FURLのCookie取得 もし、Cookie≠空ならば、Option@「Cookie」=Cookieの改行を「;」に置換 送信HEAD=Optionを逆HTTPヘッダハッシュ変換("GET",Pass,HTTPVer);接続 ・{非公開}TIMER_OBJ ・時満ちた時~ メインループ もし、(通信中=0)AND(一回目判定=0)ならば VCL_SET(TIMER_OBJ,VCL_PROP_ENABLED,0) メインループ後 ・受信データ・エラーメッセージ・{非公開}TCPID{=0}・{非公開}オブジェクト ・接続~TCP_COMMAND(TCPID,"connect","{Host}:{Port}") ・切断~TCP_COMMAND(TCPID,"disconnect",0) ・送信(Sを)~TCP_COMMAND(TCPID, "send", S) ・受信~TCP_COMMAND(TCPID,"recv",0)で戻る ・作る~ TCPID=__TCPID;__TCPIDに1を直接足す; TCP_COMMAND(TCPID,"create",自身→名前) HTTP_ID一覧に名前を配列追加 ■TAG #タイマーに追加 ・タグ・ポケット ●逆HTTPヘッダハッシュ変換(SをMethod,Pass,HTTP_Ver) HEAD_TOPとは文字列=「{Method} {Pass} HTTP/{HTTP_Ver}」 HEAD_BTTOMとは配列 もし、S@「UA」≠空ならば、S@「UA」=S@「User-Agent」 Sの「UA」をハッシュキー削除 Sのハッシュキー列挙で反復 もし、S@対象≠空ならば、HEAD_BTTOMに「{対象}: {S@対象}」を配列追加 「{HEAD_TOP}{~}{HEAD_BTTOM}{~}{~}」で戻る ●ChunkData抽出(Sの|Sから) 結果とは文字列;DATAとは文字列;ChunkSizeとは数値 オンの間 ChunkSize=INT(「${Sから改行まで切り取る}」) もし、(ChunkSize=「0」)OR(ChunkSize=空)ならば抜ける DATA=Sの1から(ChunkSize)バイト抜き出す 結果にDATAを追加 Sの1から(ChunkSize+2)バイト削除 もし、DATA=空ならば抜ける 結果で戻る ●Cookie取得(URLから|URLの|URLを) 結果とはハッシュ;Hとは数値; DATAとは文字列;DATA配列とは配列; URLを「http://(?:www\.)*([^\/]+\/)」で正規表現マッチ Domainとは文字列=抽出文字列[0] 「{テンポラリフォルダ}\Cookies\*.txt」の全ファイル列挙で反復 H=対象を「読」でファイルストリーム開く DATA=Hで(対象のファイルサイズ)をファイルストリーム読む Hをファイルストリーム閉じる オンの間 DATAで「*」まで切り取る エラー監視#壊れている可能性があるので DATA配列=それの配列上下空行削除 エラーならば続ける もし、DATA配列=空ならば抜ける もし、DATA配列[2]=Domainならば 結果@DATA配列[0]=DATA配列[1] #結果=結果の改行を「;」に置換 結果で戻る HTTPGとは変数;TIMERとは変数; 新HTTPオプションとはハッシュ;HTTPG一覧とはハッシュ; ●HTTPG準備(S) (S)回 HTTPG[回数]をHTTPグループとして作成 HTTPG[回数]→ID=回数 HTTPG一覧@回数=0 ●新HTTPデータ取得(URLから|URLの|URLを) IDとは数値=ActiveHTTPG_ID HTTPG[ID]→URL=URL HTTPG[ID]→経過表示時は~経過表示時イベント HTTPG[ID]→オプション=新HTTPオプション HTTPG[ID]→FILE=空;HTTPG[ID]→HEAD取得判定=0; HTTPG[ID]→開始 HTTPG一覧@ID=0 HTTPG[ID]→FILEDATAで戻る ●新HTTPヘッダ取得(URLから|URLの|URLを) IDとは数値=ActiveHTTPG_ID HTTPG[ID]→URL=URL HTTPG[ID]→経過表示時は~経過表示時イベント HTTPG[ID]→オプション=新HTTPオプション HTTPG[ID]→FILE=空;HTTPG[ID]→HEAD取得判定=1; HTTPG[ID]→開始 HTTPG一覧@ID=0 HTTPG[ID]→HEADで戻る ●新HTTPダウンロード(URLをFILEへ|URLからFILEに) IDとは数値=ActiveHTTPG_ID HTTPG[ID]→URL=URL HTTPG[ID]→経過表示時は~経過表示時イベント HTTPG[ID]→オプション=新HTTPオプション HTTPG[ID]→FILE=FILE;HTTPG[ID]→HEAD取得判定=0; HTTPG[ID]→開始 HTTPG一覧@ID=0 HTTPG[ID]→HEADで戻る ●ActiveHTTPG_ID (最大HTTP数)回 もし、HTTPG一覧@回数=0ならば HTTPG一覧@回数=1;回数で戻る HTTPG準備(20)#最大20個のHTTPグループが利用できます !変数宣言が不要 ---- 総合:&counter() 今日:&counter(today)人 昨日:&counter(yesterday)人 #comment()