プレーンテキスト備忘録
http://w.atwiki.jp/pula/
プレーンテキスト備忘録
ja
2011-08-03T13:35:45+09:00
1312346145
-
WEBからデータ抽出
https://w.atwiki.jp/pula/pages/35.html
***WEBからデータ抽出
**目的
指定したURL(価格.com)のサイトからHTMLデータを取得し、
商品名、最安価格、画像URLを[[正規表現]]で取得
**GUI
#ref(WebGet2.jpg)
**プロジェクト ダウンロード
#ref(WebGet.zip)
**Tips
-C#の正規表現の中で「"(ダブルクォーテーション)」をマッチングさせたい場合は
\でエスケープではなく「""」で「"」とマッチングさせることができる。
**コード ※VCが自動で作ったコードを含まないのでコピペじゃ動かないと思うので参考程度に
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.IO;
using System.Text;
using System.Windows.Forms;
using System.Net;
private void button1_Click(object sender, EventArgs e)
{
/* Webページ取得 */
WebClient wc = new WebClient();
Stream st = wc.OpenRead(UrlTextBox.Text);
Encoding enc = Encoding.GetEncoding("Shift_JIS");
StreamReader sr = new StreamReader(st, enc);
string html = sr.ReadToEnd();
sr.Close();
st.Close();
/* 取得したHTMLデータから商品名を取得 */
System.Text.RegularExpressions.MatchCollection title =
System.Text.RegularExpressions.Regex.Matches(
html, @"(?<=<h1><a href=.*><span.*>).*(?=</span> 価格比較</a>)");
foreach (System.Text.RegularExpressions.Match m in title)
{
label2.Text = m.Value;
}
/* 最安価格を取得 */
System.Text.RegularExpressions.MatchCollection kakaku =
System.Text.RegularExpressions.Regex.Matches(
html, @"(?<=<p class=""fontPrice wordwrapPrice"">¥).*(?=</p>)");
foreach (System.Text.RegularExpressions.Match m in kakaku)
{
label4.Text = "\\" + m.Value;
break; // 1位のみ抽出したいので1回でbreak
}
/* 商品画像を取得 */
System.Text.RegularExpressions.MatchCollection imgurl =
System.Text.RegularExpressions.Regex.Matches(
html, @"(?<=<a href=""http://kakaku.com/item/.*images/"" target=.*img src="").*?(?="".*class=""photo"".*)");
foreach (System.Text.RegularExpressions.Match m in imgurl)
{
pictureBox1.ImageLocation = m.Value;
}
}
2011-08-03T13:35:45+09:00
1312346145
-
Google Chrome使用拡張機能
https://w.atwiki.jp/pula/pages/36.html
***現在使用中の拡張機能
・Gestures for Chrome(TM) - バージョン: 1.12.1
マウスジェスチャ
・New Tabs Always Last - バージョン: 0.1
新規タブ追加時に常に右はじに追加
・Click&Clean - バージョン: 7.6.0.0
ブラウザ終了時に自動的にWeb入力履歴や開いた履歴等の情報を消去
・ChromeMUSE - Multi-URL Shortener/Expander - バージョン: 1.2.14
1クリックでアドレスバーのURLを短縮URLに変換
・View Source With - バージョン: 1.2.5
Webページのソースを指定したエディタで開く
・Silver Bird - バージョン: 1.9.8.1
Twitter拡張機能。見たり書いたり通知したり
2011-08-03T13:19:47+09:00
1312345187
-
メニュー
https://w.atwiki.jp/pula/pages/2.html
プログラミング
#treemenu(title=Perl,
[[ファイルを読み込んで標準出力]],
[[「"」で囲まれたURLのみ抽出]],
[[可逆暗号Crypt-RC4]],
[[構造体配列]],
[[HPをファイルとして保存]]
,[[正規表現]]
,[[小技集]]
)
#treemenu(title=Visual C#,
[[正規表現で文字列の抽出]],
[[WEBからデータ抽出]]
)
#treemenu(title=HP作成,
[[携帯電話を自動判別してリダイレクト]]
)
----
Windows全般
-[[C:\WINDOWS\SYSTEM32\CONFIG\SYSTEM が壊れているため起動できません]]
-[[Vimで確認しながら置換]]
-[[無料でPDF→画像&画像(複数)→PDF]]
-[[Google Chromeで新規タブで開く]]
-[[Google Chrome使用拡張機能]]
----
自由コーナー
[[投稿ネタ]]
----
個人的メモ
-[[邦楽リスト]]
-[[洋楽リスト]]
----
// リンクを張るには "[" 2つで文字列を括ります。
// ">" の左側に文字、右側にURLを記述するとリンクになります
-合計:&counter(total)
-今日:&counter(today)
-昨日:&counter(yesterday)
&link_editmenu(text=ここを編集)
**更新履歴
#recent(20)
2011-08-03T13:12:38+09:00
1312344758
-
正規表現で文字列の抽出
https://w.atwiki.jp/pula/pages/34.html
/* UrlTextBoxに郵便番号っぽい文字列が含まれているか調べる */
if (System.Text.RegularExpressions.Regex.IsMatch(
UrlTextBox.Text, @"\d\d\d-\d\d\d\d"))
{
Console.WriteLine("郵便番号が含まれています");
}
/* UrlTextBox内の郵便番号っぽい文字列をすべて抽出する */
System.Text.RegularExpressions.MatchCollection mc =
System.Text.RegularExpressions.Regex.Matches(
UrlTextBox.Text, @"\d\d\d-\d\d\d\d");
foreach (System.Text.RegularExpressions.Match m in mc)
{
Console.WriteLine(m.Value);
}
/* UrlTextBox内の郵便番号っぽい文字列の"-"を削除して、【】で囲む */
UrlTextBox.Text = System.Text.RegularExpressions.Regex.Replace(
UrlTextBox.Text, @"(\d\d\d)-(\d\d\d\d)", "【$1$2】");
2011-08-03T11:49:06+09:00
1312339746
-
トップページ
https://w.atwiki.jp/pula/pages/1.html
***最終更新日時：&last_modified(j)
**ここのサイトの紹介
-当Wikiは管理人の勉強&備忘録になります。
主に取り扱っている言語はPerl、C言語、C++言語、C#です。
その他にシェルスクリプト、Unix/Linux関連の技術も取り扱うかもしれません。
-基本的に全てのページの編集は&bold(){管理人のみ}が行えるものとします。
この制限は需要があれば今後緩和され、知識の共有の場となる可能性があります。
自由コーナーの&bold(){「投稿ネタ」のページは誰でも編集可能}となっております。
**プログラミング環境
本サイトはWindows環境にて開発を行っている前提で記述しております。
特別な記述がある場合、LinuxやMinGW、Cygwin等を利用する場合がありますが
使用しているものは基本的に「gvim」、「コマンドプロンプト」のみです。
***環境
OS：Windows XP 32bit
Perl：Active Perl 5.12.4
エディタ：gvim、秀丸
C#：Visual C# 2010 Express
**当サイトについて何かあれば下記にお願いします
#comment_num2
2011-08-03T11:42:59+09:00
1312339379
-
Google Chromeで新規タブで開く
https://w.atwiki.jp/pula/pages/33.html
***アドレスバーに入力したURLを新規タブで開く
アドレスバーにURLを入力して「ALT+Enter」キーを入力
***ブックマークを新規タブで開く
ブックマークの上にカーソルを乗せている状態でCTRL+SHIFTを押しながらクリック
または
拡張機能Tabs to the frontを入れる。
2011-08-03T11:41:18+09:00
1312339278
-
無料でPDF→画像&画像(複数)→PDF
https://w.atwiki.jp/pula/pages/32.html
・PDF-XChange Viewer(PDF→PNG/JPEG/BMP/他)
PDFと関連付けされている場合はPDF起動後に[ファイル]→[エクスポート]
・PDF Designer(JPEG/BMP→PDF)
エクスプローラ上からショートカットにファイルを直接ドラッグ＆ドロップで実行。
複数ファイルをドロップすると1つのPDFにまとめて出力してくれる。
PNG形式は読み込めないので一度BMP形式などに変換する必要がある。
2011-07-24T17:54:31+09:00
1311497671
-
Vimで確認しながら置換
https://w.atwiki.jp/pula/pages/31.html
Windows版のgvimにて
ファイルを開いてる状態で
「:%s/置換前の文字/置換後の文字/gc」
を入力すると、置換する箇所としない箇所を選びながら置換できる。
2011-07-20T12:03:44+09:00
1311131024
-
可逆暗号Crypt-RC4
https://w.atwiki.jp/pula/pages/22.html
***可逆暗号Crypt::RC4
環境：Windows XP 32bit, Active [[Perl]] 5.12.4
事前準備：Active Perlをインストール後、コマンドプロンプトを開き
「cpan」と入力後「install Crypt::RC4」(だったかな？)を入力すると自動でインストールが始まる。
全て終わったら「q」でcpanを抜ける。
配布時は配下に「Crypt」フォルダを作成し、その中に「RC4.pm」を入れておけば動作する。
Crypt::RC4はディレクトリ構成らしい。
----
use Crypt::RC4;
my $passphrase = 'phrasetest'; # 暗号化キー(自由な英数字)
my $plaintext = 'mypassword'; # 暗号化したい文字列
print "暗号化前 = $plaintext\n";
# 暗号化キーを用いて暗号化する関数へ
my $encrypted = encrypt($passphrase, $plaintext);
print "暗号化後 = $encrypted\n";
# 暗号化キーを用いて復号化する関数へ
my $decrypted = decrypt($passphrase, $encrypted);
print "復号化 = $decrypted\n";
sub encrypt{
my ($passphrase, $plaintext) = @_;
my $encrypted = RC4($passphrase, $plaintext);
$encrypted =~ s/(.)/unpack('H2', $1)/eg;
return $encrypted;
}
sub decrypt{
my ($passphrase, $encrypted) = @_;
$encrypted =~ s/([0-9A-Fa-f]{2})/pack('H2', $1)/eg;
my $decrypted = RC4($passphrase, $encrypted);
return $decrypted;
}
**実行結果
暗号化前 = mypassword
暗号化後 = 9f81c462a3ec0ed72f97
復号化 = mypassword
#comment_num2
2011-07-19T18:26:29+09:00
1311067589
-
携帯電話を自動判別してリダイレクト
https://w.atwiki.jp/pula/pages/30.html
***携帯電話を自動判別してリダイレクト
目的：http://www.test.comにアクセスしてきた携帯電話をhttp://www.test.com/m/に自動転送する
前提条件：HTML設置サーバーがapacheで運営されていること(.htaccessのmod_rewriteが使えること)
**サーバーのルートディレクトリに下記の内容の「.htaccess」ファイルを設置する
----
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} DoCoMo [NC]
RewriteRule ^$ http://www.test.com/m/ [L]
RewriteCond %{HTTP_USER_AGENT} KDDI [NC]
RewriteRule ^$ http://www.test.com/m/ [L]
RewriteCond %{HTTP_USER_AGENT} vodafone [NC]
RewriteRule ^$ http://www.test.com/m/ [L]
RewriteCond %{HTTP_USER_AGENT} J-PHONE [NC]
RewriteRule ^$ http://www.test.com/m/ [L]
RewriteCond %{HTTP_USER_AGENT} SoftBank [NC]
RewriteRule ^$ http://www.test.com/m/ [L]
RewriteCond %{HTTP_USER_AGENT} Up.Browser [NC]
RewriteRule ^$ http://www.test.com/m/ [L]
----
**mディレクトリ内に「RewriteEngine off」を記述した「.htaccess」ファイルも設置する。
RewriteCondをまとめる[OR]という記述法もあるのだが、うまく動作しなかったので全て分けて書いている。
[NC]は大文字小文字の区別無し、[L]はRewriteCondの条件設定終了を意味する。
#comment_num2
2011-07-19T10:38:07+09:00
1311039487