karino2 @ ウィキ

経済統計CSV

2021-06-13T05:30:23+09:00

[[WebTobin]]向けに経済統計を集めてcsvとして公開しています。 https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdEE4YnJ3dERMclRqazV0ZjJuN0k0UWc&single=true&gid=0&output=html 現時点ではタイトル以外は数値のみ対応していて、欠損値は...で表します。文字列は必要になったら足します。ここにあるurlを使って、例えば df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdGVESWc4OGs2cVJxYVFLaTFZNHhOLVE&single=true&gid=0&output=csv") などとすると実質GDPのデータフレームが取れます。 [[人口統計>https://www.sekai-no-jinko.com/]] ** 公開手順主に以下のサイトの手順に従っています。 http://blog.revolutionanalytics.com/2009/09/how-to-use-a-google-spreadsheet-as-data-in-r.html +google spreadsheetで適当にデータを整形する + File-> Webに公開 + ドキュメント全体をSheet1に + ウェブページをcsvに + 生成されるURLをコピペ以前のやり方(そのうち消す事) +File->Share->Sheet 1を選び、Start Publishを押す +下のWeb PageをCSVに変更 +URLをコピペして公開 ** 最近の更新 ****2012/07/09 -授業者規模別非農林業雇用者数追加。 ****2012/07/08 -実質GDPを速報値に変更。誤っていたTable Of Contentsを更新。 -CPIを暦年ではなく年度別に変更（GDPとあってる方が使いやすいので） -名目GDPを追加（検算の為） -17年基準の実質GDPを追加（最新データが欲しい場合はこちら。接続注意） -人口統計に2010年分を追加。 -自営業者の数を調べる為に地位別就業者数を追加。

WebTobinQ/Example/Chart

2014-04-25T19:33:59+09:00

[[WebTobinQ/Example]] 以下のサイトにコピペして使う。 http://webtobinq.appspot.com/ [[経済統計CSV]]のデータを使います。 **** 消費とgdpをplotしてみる df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdGVESWc4OGs2cVJxYVFLaTFZNHhOLVE&single=true&gid=0&output=csv") plot(df[["Fiscal Year"]],df[["GDP(expenditure approach)"]],ylim=c(100000,600000)) lines(df[["Fiscal Year"]],df[["PrivateConsumption"]]) #ref(20110910135705.png) *** for文、etc. 1983年以降の失業率をplot。月次データから年次データに変換 df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdHZvV0IzaFBNQkowR21wNU4wS2FKb3c&single=true&gid=0&output=csv") totalName <- "男女計: Total" total <- df[[totalName]] n <- (length(total)/12) y <- 1:n for(i in 1:n) { b <- (12*(i-1))+1; e <- (12*(i-1))+12; y[i] <- mean(total[b:e]) } plot(1983:(1983+n-1), y, main="失業率（季節調整済み）", type="l") (下のはたぶん古い） df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdHZvV0IzaFBNQkowR21wNU4wS2FKb3c&single=true&gid=0&output=csv") totalName <- "男女計: Total" total <- df[[totalName]] n <- (length(total)/12) y <- 1:n for(i in 1:n) { b <- (12*(n-i))+1; e <- (12*(n-i))+12; y[i] <- mean(total[b:e]) } plot(1983:(1983+n-1), y, main="失業率（季節調整済み）", type="l") #ref(20110910135749.png) *** 25～34才の失業率（上とほとんど一緒） df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdHZvV0IzaFBNQkowR21wNU4wS2FKb3c&single=true&gid=0&output=csv") totalName <- "男女計: 25～34" total <- df[[totalName]] n <- (length(total)/12) y <- 1:n for(i in 1:n) { b <- (12*(i-1))+1; e <- (12*(i-1))+12; y[i] <- mean(total[b:e]) } plot(1983:(1983+n-1), y, main="失業率（季節調整済み）男女計: 25～34", type="l") *** 失業率15才～24才、25才～34才と35才～44才を並べる。 df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdHZvV0IzaFBNQkowR21wNU4wS2FKb3c&single=true&gid=0&output=csv") sumMonths <- function(total) { n <- (length(total)/12) y <- 1:n for(i in 1:n) { b <- (12*(i-1))+1; e <- (12*(i-1))+12; y[i] <- mean(total[b:e]) } y } y1 <- sumMonths(df[["男女計: 35～44"]]) y2 <- sumMonths(df[["男女計: 25～34"]]) y3 <- sumMonths(df[["男女計: 15～24"]]) plot(1983:(1983+(length(y1)-1), y1, main="失業率（季節調整済み）", type="l") lines(1983:(1983+(length(y1)-1), y2, type="l") lines(1983:(1983+(length(y1)-1), y3, type="l") *** 失業率25才～34才から35才～44才を引く df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdHZvV0IzaFBNQkowR21wNU4wS2FKb3c&single=true&gid=0&output=csv") sumMonths <- function(total) { n <- (length(total)/12) y <- 1:n for(i in 1:n) { b <- (12*(i-1))+1; e <- (12*(i-1))+12; y[i] <- mean(total[b:e]) } y } y1 <- sumMonths(df[["男女計: 35～44"]]) y2 <- sumMonths(df[["男女計: 25～34"]]) plot(1983:(1983+(length(y1)-1), y2-y1, main="失業率（季節調整済み）25～34 - 35～44", type="l") *** 日本の人口全体 pop <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdExXNEhTX3NHWHc3a014eEdxWUs1bHc&single=true&gid=0&output=csv") plot(pop[["Year"]], pop[["総数"]], type="l") #ref(20110910134452.png) *** 日本の人口1980年以降 pop <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdExXNEhTX3NHWHc3a014eEdxWUs1bHc&single=true&gid=0&output=csv") year <- pop[["Year"]] total <- pop[["総数"]] plot(year[year>1979], total[year>1979], type="l") #ref(20110910134508.png) *** 老年人口と生産年齢人口をplot popu<- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdExXNEhTX3NHWHc3a014eEdxWUs1bHc&single=true&gid=0&output=csv") plot(popu[["Year"]], popu[["15～64（生産年齢人口）"]]) lines(popu[["Year"]], popu[["65歳以上（老年人口）"]]) #ref(20110910142824.png) *** 人口、推計とつなげる pop <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdExXNEhTX3NHWHc3a014eEdxWUs1bHc&single=true&gid=0&output=csv") popFuture <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdDljQ20yQzd1SGpFTXYyR3VzRDlUTXc&single=true&gid=0&output=csv") year <- pop[["Year"]] total <- pop[["総数"]] futTotal <- popFuture[["総数"]] futYear <- popFuture[["Year"]] yearall <- year yearall[length(year):((length(year)+length(futYear)-1)] <- futYear totalall <- total totalall[length(total):((length(total)+length(futTotal)-1)] <- futTotal plot(yearall, totalall, type="l") #ref(20110910134527.png) *** 老齢人口と推計をつなげる（ほとんど上と意味的には同じ。でもc実装したのを思い出して変更） pop <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdExXNEhTX3NHWHc3a014eEdxWUs1bHc&single=true&gid=0&output=csv") popFuture <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdDljQ20yQzd1SGpFTXYyR3VzRDlUTXc&single=true&gid=0&output=csv") years <- c(pop[["Year"]], popFuture[["Year"]]) olds <- c(pop[["65歳以上（老年人口）"]], popFuture[["65歳以上（老年人口）"]]) plot(years, olds, type="l") *** 生産年齢人口/全人口を推計とつなげる（上とほとんど同じ） pop <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdExXNEhTX3NHWHc3a014eEdxWUs1bHc&single=true&gid=0&output=csv") popFuture <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdDljQ20yQzd1SGpFTXYyR3VzRDlUTXc&single=true&gid=0&output=csv") years <- c(pop[["Year"]], popFuture[["Year"]]) products <- c(pop[["15～64（生産年齢人口）"]], popFuture[["15～64（生産年齢人口）"]]) all <- c(pop[["総数"]], popFuture[["総数"]]) plot(years, products/all, type="l") *** GDPのうち資本減耗の占める割合 http://d.hatena.ne.jp/himaginary/20110823 ここでのグラフの再現。ただし1980年以降のみ（90年基準はどっからとってきたのだろう…） gdp <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdFI1WW1IVnRkbFhvdmxRc3FOMC12c1E&single=true&gid=0&output=csv") plot(gdp[["Year"]], gdp[["固定資本減耗"]]/gdp[["国内総生産（生産側）"]], ylim=c(0.10, 0.24)) #ref(20110911005305.png) *** 生産年齢一人あたりのGDP この手の物ってfor文無しで書けた気がするんだけど、思い出せず…（追記: sapplyだね。まだ実装してないや） df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdGVESWc4OGs2cVJxYVFLaTFZNHhOLVE&single=true&gid=0&output=csv") production <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdExXNEhTX3NHWHc3a014eEdxWUs1bHc&single=true&gid=0&output=csv") subpro <- production[["15～64（生産年齢人口）"]][production[["Year"]]>1980] subproYear <- production[["Year"]][production[["Year"]]>1980] gdp <- subproYear for(i in 1:length(subproYear)) { year <- subproYear[i]; gdp[i] <- df[["GDP(expenditure approach)"]][df[["Fiscal Year"]] == year] } plot(subproYear, 100*gdp/subpro) #ref(生産年齢一人あたりGDP.png) *** 自営業者の数 df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0Ancau1TRtE7ddGpzQV9hTUMya1FpMnZBMVJqWWpURUE&single=true&gid=1&output=csv") plot(df[["year"]], df[["Self- employed worker"]]) ほぉ、減ってるね。労働者数との比率はどうだろう？ df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0Ancau1TRtE7ddGpzQV9hTUMya1FpMnZBMVJqWWpURUE&single=true&gid=1&output=csv") ratio <- df[["Self- employed worker"]]/df[["Total"]] plot(df[["year"]], ratio) なぜか plot(df[["year"]], df[["Self- employed worker"]]/df[["Total"]]) はエラーになった。たぶんバグ。前年との比の差分は？ df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0Ancau1TRtE7ddGpzQV9hTUMya1FpMnZBMVJqWWpURUE&single=true&gid=1&output=csv") ratio <- df[["Self- employed worker"]]/df[["Total"]] plot(1954:2010, ratio[2:length(ratio)]-ratio[1:(length(ratio)-1)]) 別に最近減るのが早くなった、という傾向は無いかな。これはあれか。一次産業抜かないとこうなっちゃうって話だなぁ、たぶん。 *** 従業員規模別非農林業雇用者数 eval allでは意味が分からないので一行ずつenterしてってください。多少500人以上が増えているが、それでも28%くらいか。最近は大手とか人減らして中小が増えてる、と思っていたけれど、そうでも無いなぁ。 df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0Ancau1TRtE7ddDRwNjh3Y0staHZ4X0R4MmhSYzk2ZHc&single=true&gid=1&output=csv") plot(df[["Year"]], df[["less than 30"]]) lines(df[["Year"]], df[["less than 100"]]) lines(df[["Year"]], df[["less than 500"]]) lines(df[["Year"]], df[["more than 500"]]) lines(df[["Year"]], df[["government employee"]]) lines(df[["Year"]], df[["Total"]]) *** コアコアCPI コピペ用に書いておく。 df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdHhNczZ2WS0tZXNJZ3R4R0hPc3FOZ3c&single=true&gid=0&output=csv") plot(df[["Year"]], df[["All items, less food (less alcoholic beverages) and energy"]]) *** 所得300万未満の累積度数 df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdDg4cm85RlMxZ1U4UjVzRHJyaXlmc1E&single=true&gid=1&output=csv") plot(df[["Year"]], df[["300"]],ylim=c(20, 40)) *** 社会保障費と名目GDPをプロット social <- read.csv("https://docs.google.com/spreadsheet/pub?key=0Ancau1TRtE7ddFJWbmlud29XNW52aE05WTFxcmt0Vnc&single=true&gid=0&output=csv") nominal <- read.csv("https://docs.google.com/spreadsheet/pub?key=0Ancau1TRtE7ddEdxdjJ6b2RidFc0TVNiZkJZeWtwY3c&single=true&gid=0&output=csv") social_len <- length(social[["年度"]]) sub_social <- social[17:social_len,] plot(nominal[["Fiscal Year"]], nominal[["GDP(expenditure approach)"]]*10, ylim=c(0, 5200000)) lines(sub_social[["年度"]], sub_social[["計"]]) *** 社会保障費の名目GDP比最後のplot以外は上と同じ。 social <- read.csv("https://docs.google.com/spreadsheet/pub?key=0Ancau1TRtE7ddFJWbmlud29XNW52aE05WTFxcmt0Vnc&single=true&gid=0&output=csv") nominal <- read.csv("https://docs.google.com/spreadsheet/pub?key=0Ancau1TRtE7ddEdxdjJ6b2RidFc0TVNiZkJZeWtwY3c&single=true&gid=0&output=csv") social_len <- length(social[["年度"]]) sub_social <- social[17:social_len,] plot(nominal[["Fiscal Year"]], sub_social[["計"]]*100/(nominal[["GDP(expenditure approach)"]]*10), ylim=c(0, 100)) *** Rにコピペする場合 read.csvを以下のread.csv2に変える。 require(RCurl) read.csv2 <- function(url){ textData <- getURL(url, encoding = "UTF-8") read.csv(textConnection(textData)) } g_table <- NULL Qurl <- function(name) { if(is.null(g_table)) { g_table <- read.csv2('https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdEE4YnJ3dERMclRqazV0ZjJuN0k0UWc&single=true&gid=0&output=csv') } as.character(g_table[g_table[['name']]==name,][['url']]) }

WebTobinQ/Example

2014-04-20T15:09:03+09:00

[[WebTobinQ]] このページは実際に動いたコードを蓄積しています。実際のサイト、http://webtobinq.appspot.com/ に行って、以下のコードをコピペしてみてEval Allしたり、一行ずつ末尾でEnterしたりしてみて下さい。チャートに関わる物は[[WebTobinQ/Example/Chart]]にうつしました。 [[経済統計CSV]]のデータを使います。 *** vectorかけるスカラー 3*c(1, 2, 3) *** ただのplot x <- 1:10 y <- 1:10 plot(x, y) *** plot、lines、vector計算 year <- c(1980,1981,1982,1983,1984,1985,1986,1987,1988,1989,1990,1991,1992,1993,1994,1995,1996,1997,1998,1999,2000) gdp <- c(312712.7, 321490.5, 331710.7, 339823.8, 353436.2, 368184.1, 379895.7, 399442.3, 424657.3, 445468.8, 469780.5, 481660.7, 483375.6, 485498.4, 490730.7, 502794.3, 520053.8, 521315.1, 518380.7, 525695.8, 530312.8) cons <- c(174382.7, 177074.9, 184799.3, 189292.0, 194237.4, 201627.8, 209050.0, 217356.6, 229129.5, 238784.9, 248840.1, 256905.6, 261560.2, 266385.2, 272342.2, 277906.5, 284766.8, 281393.7, 285094.0, 289454.2, 288981.1) growth.gdp<-(gdp[2:21]-gdp[1:20])/gdp[2:21]*100 growth.cons<-(cons[2:21]-cons[1:20])/cons[2:21]*100 plot(year[2:21],growth.gdp) lines(year[2:21],growth.cons) *** mean, sqrt, var, <=, > year <- c(1980,1981,1982,1983,1984,1985,1986,1987,1988,1989,1990,1991,1992,1993,1994,1995,1996,1997,1998,1999,2000) gdp <- c(312712.7, 321490.5, 331710.7, 339823.8, 353436.2, 368184.1, 379895.7, 399442.3, 424657.3, 445468.8, 469780.5, 481660.7, 483375.6, 485498.4, 490730.7, 502794.3, 520053.8, 521315.1, 518380.7, 525695.8, 530312.8) growth.gdp<-((gdp[2:21]-gdp[1:20])/gdp[2:21])*100 ysub<-seq(1981,2000) mean(growth.gdp[ysub<=1989]) sqrt(var(growth.gdp[ysub<=1989])) mean(growth.gdp[ysub>1989]) **** 1980年代とそれ以降のgdp成長率の平均値を見る df <- read.csv("https://docs.google.com/spreadsheet/pub?key=0AnKwf3jHs-oIdGVESWc4OGs2cVJxYVFLaTFZNHhOLVE&single=true&gid=0&output=csv") gdp <- df[["GDP(expenditure approach)"]] growth.gdp<-((gdp[2:30]-gdp[1:29])/gdp[2:30])*100 ysub<-seq(1982,2010) mean(growth.gdp[ysub<=1989]) mean(growth.gdp[ysub>1989]) **** 度数分布からmedian。ユーザー定義関数、cumsum、etc. http://aoki2.si.gunma-u.ac.jp/R/median2.html ここのコードそのままですが、関数引数の改行は対応していない（そうだったのか…）のでそこだけ修正。 median2 <- function(f,b,w){ cf <- cumsum(f) n <- sum(f) position <- length(cf[cf < n/2]) b+w*position+w*(n/2-cf[position])/f[position+1] } f <- c(2, 6, 39, 385, 888, 1729, 2240, 2007, 1233, 641, 201, 74, 14, 5, 1) median2(f, 55.5, 8) *** svd、t、diag s <- svd(matrix(1:9, 3, 3)) s$u %*% diag(s$d) %*% t(s$v)

Courseraに日本語字幕をつけよう！/現在のステータス

2014-03-07T14:09:27+09:00

現在は機械学習のコースを和訳中です。和訳結果はこちら（login required) https://share.coursera.org/wiki/index.php/ML:Subtitles ----- Week8 Choosing the Number of Principal Components (11 min) Reconstruction from Compressed Representation (4 min) Advice for Applying PCA (13 min) 前回までに終わってる物 Unsupervised Learning: Introduction (3 min) K-Means Algorithm (13 min) Optimization Objective (7 min) Random Initialization (8 min) Choosing the Number of Clusters (8 min) Motivation I: Data Compression (10 min) Motivation II: Visualization (6 min) Principal Component Analysis Problem Formulation (9 min) Principal Component Analysis Algorithm (15 min) ---- Week7 今回終わった物 Mathematics Behind Large Margin Classification (Optional) (20 min) Kernels I (16 min) Kernels II (16 min) Using An SVM (21 min) 前回終わってる物 Optimization Objective (15 min) Large Margin Intuition (11 min) Week7も終わった！後半戦もあとは消化試合みたいなのを残すのみ！ ----- Week 6 今回終わった物 Deciding What to Do Next Revisited (7 min) Prioritizing What to Work On (10 min) Error Analysis (13 min) Error Metrics for Skewed Classes (12 min) Trading Off Precision and Recall (14 min) Data For Machine Learning (11 min) 既に終わってる物 Learning Curves (12 min) Completed Deciding What to Try Next (6 min) Completed Evaluating a Hypothesis (8 min) Completed Model Selection and Train/Validation/Test Sets (12 min) Diagnosing Bias vs. Variance (8 min) Regularization and Bias/Variance (11 min) 後半最大の山場も終わり！ ---- Week5 今回終わった物 Gradient Checking (12 min) Random Initialization (7 min) Putting It Together (14 min) Autonomous Driving (7 min) 前回終わってる物 Cost Function (7 min) Backpropagation Algorithm (12 min) Backpropagation Intuition (13 min) Implementation Note: Unrolling Parameters (8 min) Week5も終わり！で前半も終わりです。 ---- Week4 今回終わった物 Examples and Intuitions I (7 min) Examples and Intuitions II (10 min) Multiclass Classification (4 min) 前回終わってる物 Non-linear Hypotheses (10 min) Neurons and the Brain (8 min) Model Representation I (12 min) Model Representation II (12 min) ----- Week 3 今回終わった物 Multiclass Classification: One-vs-all (6 min) The Problem of Overfitting (10 min) Cost Function (10 min) Regularized Linear Regression (11 min) Regularized Logistic Regression (9 min) 前回終わってる物 Classification (8 min) Hypothesis Representation (7 min) Decision Boundary (15 min) Cost Function (11 min) Simplified Cost Function and Gradient Descent (10 min) Advanced Optimization (14 min) Week3も終わった！ ---- Week 1, 2 今回終わった物 -Features and Polynomial Regression (8 min) -Normal Equation (16 min) - Normal Equation Noninvertibility (Optional) (6 min) 前回終わった物 - Inverse and Transpose (11 min) -Gradient Descent For Linear Regression (10 min) -Descent in Practice II - Learning Rate (9 min) Week1, 2も終わり！ ---- Summary and Thank You (5 min) Week10 今回終わった物 Sliding Windows (15 min) Getting Lots of Data and Artificial Data (16 min) Ceiling Analysis: What Part of the Pipeline to Work on Next (14 min) 前回までに終わった物 Learning With Large Datasets (6 min) Stochastic Gradient Descent (13 min) Mini-Batch Gradient Descent (6 min) Stochastic Gradient Descent Convergence (12 min) Online Learning (13 min) Map Reduce and Data Parallelism (14 min) Problem Description and Pipeline (7 min) Week10終わった！やった！ ---- 以下は2周目の実績 Week10 Sliding Windows (15 min) Getting Lots of Data and Artificial Data (16 min) Ceiling Analysis: What Part of the Pipeline to Work on Next (14 min) Summary and Thank You (5 min) 今回終わった物 Learning With Large Datasets (6 min) Stochastic Gradient Descent (13 min) Mini-Batch Gradient Descent (6 min) Stochastic Gradient Descent Convergence (12 min) Online Learning (13 min) Map Reduce and Data Parallelism (14 min) Problem Description and Pipeline (7 min) ---- Week9 Multivariate Gaussian Distribution (Optional) (14 min) Anomaly Detection using the Multivariate Gaussian Distribution (Optional) (14 min) 今回終わった物 Content Based Recommendations (15 min) Collaborative Filtering (10 min) Collaborative Filtering Algorithm (9 min) Vectorization: Low Rank Matrix Factorization (8 min) Implementational Detail: Mean Normalization (9 min) 前回終わってる物 Problem Motivation (8 min) Gaussian Distribution (10 min) Algorithm (12 min) Developing and Evaluating an Anomaly Detection System (13 min) Anomaly Detection vs. Supervised Learning (8 min) Choosing What Features to Use (12 min) Problem Formulation (8 min) ----- Week8 Choosing the Number of Principal Components (11 min) Reconstruction from Compressed Representation (4 min) Advice for Applying PCA (13 min) 後から終えた物 Choosing the Number of Clusters (8 min) Motivation I: Data Compression (10 min) Motivation II: Visualization (6 min) Principal Component Analysis Problem Formulation (9 min) Principal Component Analysis Algorithm (15 min) 今回終わった物 Optimization Objective (7 min) Random Initialization (8 min) 前回終わってる物 Unsupervised Learning: Introduction (3 min) K-Means Algorithm (13 min) ---- Week7 Mathematics Behind Large Margin Classification (Optional) (20 min) Kernels I (16 min) Kernels II (16 min) Using An SVM (21 min) 前回終わってる物 Optimization Objective (15 min) Large Margin Intuition (11 min) この週はスキップ。 ---- Week 6 Deciding What to Do Next Revisited (7 min) Prioritizing What to Work On (10 min) Error Analysis (13 min) Error Metrics for Skewed Classes (12 min) Trading Off Precision and Recall (14 min) Data For Machine Learning (11 min) 今回終わった物 Learning Curves (12 min) 前回終わってる物 Completed Deciding What to Try Next (6 min) Completed Evaluating a Hypothesis (8 min) Completed Model Selection and Train/Validation/Test Sets (12 min) Diagnosing Bias vs. Variance (8 min) Regularization and Bias/Variance (11 min) ---- Week5 Gradient Checking (12 min) Random Initialization (7 min) Putting It Together (14 min) Autonomous Driving (7 min) done Implementation Note: Unrolling Parameters (8 min) 前回終わってる物 Cost Function (7 min) Backpropagation Algorithm (12 min) Backpropagation Intuition (13 min) 今週は一本。もう一本くらいやりたかったけど、年末は仕方ないかなぁ。 ----- Week4 Examples and Intuitions I (7 min) Examples and Intuitions II (10 min) Multiclass Classification (4 min) done Model Representation II (12 min) 前回終わってる物 Non-linear Hypotheses (10 min) Neurons and the Brain (8 min) Model Representation I (12 min) 今週は私的な事情で進みが悪かったです。それでも一本終えたので残り三つ。 ----- Week 3 Multiclass Classification: One-vs-all (6 min) The Problem of Overfitting (10 min) Cost Function (10 min) Regularized Linear Regression (11 min) Regularized Logistic Regression (9 min) done Cost Function (11 min) Simplified Cost Function and Gradient Descent (10 min) Advanced Optimization (14 min) 前回終わってる物 Classification (8 min) Hypothesis Representation (7 min) Decision Boundary (15 min) 5本残ったけどもともとWeek3は前回たくさん残ってた週の一つなので、良く健闘したかなぁ。一応前回訳した分と合わせると半分は超えた（6/11） ----- Week 1, 2 -Features and Polynomial Regression (8 min) -Normal Equation (16 min) - Normal Equation Noninvertibility (Optional) (6 min) 今回終わった物 - Inverse and Transpose (11 min) -Gradient Descent For Linear Regression (10 min) -Descent in Practice II - Learning Rate (9 min) 3つ残りましたが、もうあと一歩ですね。最初の週は線形代数の補講が大量にあるので大変でした。 ---- 以下は前回。 ---- こっそりメモ。終わった物 Algorithm (12 min) Developing and Evaluating an Anomaly Detection System (13 min) Choosing What Features to Use (12 min) Problem Formulation (8 min) ---- 2013年4月から、機械学習のコースを翻訳していきます。ここには各週のステータスを書いていきます。 2013年6月4週今週は2週間分一気にアップされたので膨大です。 Algorithm (12 min) * Developing and Evaluating an Anomaly Detection System (13 min) Anomaly Detection vs. Supervised Learning (8 min) Choosing What Features to Use (12 min) Multivariate Gaussian Distribution (Optional) (14 min) Anomaly Detection using the Multivariate Gaussian Distribution (Optional) (14 min) Problem Formulation (8 min) Content Based Recommendations (15 min) Collaborative Filtering (10 min) Collaborative Filtering Algorithm (9 min) Vectorization: Low Rank Matrix Factorization (8 min) Implementational Detail: Mean Normalization (9 min) Learning With Large Datasets (6 min) Stochastic Gradient Descent (13 min) Mini-Batch Gradient Descent (6 min) Stochastic Gradient Descent Convergence (12 min) Online Learning (13 min) Map Reduce and Data Parallelism (14 min) Problem Description and Pipeline (7 min) Sliding Windows (15 min) Getting Lots of Data and Artificial Data (16 min) 終わった物 Problem Motivation (8 min) Gaussian Distribution (10 min) ---- 2013年6月3週今週は別件で時間を食われたので少しさぼり。 Optimization Objective (7 min) Random Initialization (8 min) Choosing the Number of Clusters (8 min) Motivation I: Data Compression (10 min) Motivation II: Visualization (6 min) Principal Component Analysis Problem Formulation (9 min) Principal Component Analysis Algorithm (15 min) Choosing the Number of Principal Components (11 min) Reconstruction from Compressed Representation (4 min) Advice for Applying PCA (13 min) 終わった物 Unsupervised Learning: Introduction (3 min) K-Means Algorithm (13 min) ---- 2013年6月2週今週は結構作業はしたのですが、英文の数が多くてあまり進みませんでした。早口だったんでしょうかね？ Mathematics Behind Large Margin Classification (Optional) (20 min) Kernels I (16 min) Kernels II (16 min) Using An SVM (21 min) 終わった物 Optimization Objective (15 min) Large Margin Intuition (11 min) ---- 2013年6月1週今週は5動画も訳せたのですが、動画の数が多いので全体から見ると 5/12 でした。 Learning Curves (12 min) Deciding What to Do Next Revisited (7 min) Prioritizing What to Work On (10 min) Error Analysis (13 min) Error Metrics for Skewed Classes (12 min) Trading Off Precision and Recall (14 min) Data For Machine Learning (11 min) 終わった物 Completed Deciding What to Try Next (6 min) Completed Evaluating a Hypothesis (8 min) Completed Model Selection and Train/Validation/Test Sets (12 min) Diagnosing Bias vs. Variance (8 min) Regularization and Bias/Variance (11 min) ---- 2013年5月4週数としては3/8ですが、Unroll、Gradient Checking、Random Initialization、Autonomous Drivingは補講のような物なので、見た目よりは量こなせているかなぁ、と思います。 Completed Implementation Note: Unrolling Parameters (8 min) Completed Gradient Checking (12 min) Random Initialization (7 min) Putting It Together (14 min) Autonomous Driving (7 min) 終わった物 Completed Cost Function (7 min) Completed Backpropagation Algorithm (12 min) Completed Backpropagation Intuition (13 min) ---- 2013年5月3週 3/7動画終わりました。量的には半分に届いてませんが、Multiclass Classificationは短い動画なので実際は半分くらいは終わってます。当面は半分を目標にやっていこうかな、と思いはじめています。 Model Representation II (12 min) Examples and Intuitions I (7 min) Examples and Intuitions II (10 min) Multiclass Classification (4 min) 終わった物 Non-linear Hypotheses (10 min) Neurons and the Brain (8 min) Model Representation I (12 min) ---- 2013年5月2週 3/11動画訳しました。 8動画も残ったけど、一週間に11動画はちょっと予想外でした。二週間と勘違いしてた(^_^;) 後半は結構悪くないペースだったんですが、序盤に先週分の後始末が多かったのが敗因か。今週はかなり手伝ってもらえました。感謝。 Cost Function (11 min) Simplified Cost Function and Gradient Descent (10 min) Advanced Optimization (14 min) Multiclass Classification: One-vs-all (6 min) The Problem of Overfitting (10 min) Cost Function (10 min) Regularized Linear Regression (11 min) Regularized Logistic Regression (9 min) 終わった物 Classification (8 min) Hypothesis Representation (7 min) Decision Boundary (15 min) ---- 2つほど作業中ですが、それらが終わるとすると6動画ほど残りました。ちょっと私用が忙しかったので(^_^;) ---- 今週はOptionalな物以外からやっていきます。 2013年4月4週現在作業中の物には「＊」をつけておきます。 -Gradient Descent For Linear Regression (10 min) -Descent in Practice II - Learning Rate (9 min) -Features and Polynomial Regression (8 min) -Normal Equation (16 min) - Normal Equation Noninvertibility (Optional) (6 min) Optionalな物 - Inverse and Transpose (11 min) 反映待ちな物 - Multiple Features (8 min) - Matrix Vector Multiplication (14 min) - Matrix Matrix Multiplication (11 min) -Matrix Multiplication Properties (9 min) - Gradient Descent in Practice I - Feature Scaling (9 min) -What's Next (6 min) - Gradient Descent for Multiple Variables (5 min)

Courseraに日本語字幕をつけよう！/古くなった話題

2014-03-05T07:49:26+09:00

古くなり、現状とは合わない話題です。削除してしまっても良いのですが、復活させたくなった時の利便性の為に残しておきます。 ---- -[[./Coursera和訳bot]] twitterボットを利用したシステム ---- そこで日本語字幕をつけたらもっとたくさんの日本人が、この素晴らしい教材を活用出来るんじゃないか？と思って、Courseraの事務局に問い合わせてみました。すると、以下のサイトで字幕をつける、という活動をやっている、と紹介して頂きました。 http://www.universalsubtitles.org/en/teams/coursera/ これはamaraという動画に字幕を入れるサービスです。Coursera以外にも使われている、割と実績のあるサービスのようです。見るだけはもちろんログインを必要としません。さらに、字幕を作る人も専用のアカウントを使わなくてもFacebookやOpenIDなどを使って作業が始められるので、ちょっと試してみたい、という人にも気軽に使えるサービスです。ちなみに[[Coursera本家のヘルプページでも記述があります>http://help.coursera.org/customer/portal/articles/662076-do-your-lecture-videos-have-subtitles-closed-captions-]]ね。このサービスはなかなか良く出来ているので、それの啓蒙活動をしよう、というのがこのページの起こりだったのですが、しばらく使ってみた所、いろいろと継続するには難点があったので、 [[./Coursera和訳bot]]というtwitterボットを使ったシステムと、[[./つぶやきCoursera和訳]]というAndroidを使ったシステムを併用して作業しています。 ---- - [[./Coursera和訳bot]] - [[Courseraに日本語字幕をつけよう！/最近の作業、身の回りの作業者の感想など]] - [[./日本語字幕の作成方法]] -- [[字幕作成時のローカルルール>Courseraに日本語字幕をつけよう！/日本語字幕の作成方法/字幕作成時のローカルルール]] ---- ---- 以下のURLをクリックすると、日本語字幕があるビデオだけをフィルタリングして表示出来ます。 http://www.universalsubtitles.org/en/teams/coursera/?lang=ja 右のprojectsのリンクを辿りながら興味のあるビデオを探してみれば良いのですが、現時点ではあまり日本語の字幕が入っている動画が無い為、上記リンクをたどったままどんなコースがあるかを確認する方が便利でしょう。一旦見たい動画を見つけたら、その動画の入っているコースをCourseraから受講して上で述べた方法で見るか、このサイトでこのまま動画としてみる事が出来ます。このサイトで動画としてみる場合、見たいビデオをまず選びます。次に、ビデオの下のEnglishというボタンをクリックして、そこからJapaneseを選びます。 #ref(capture_09.png) ----- 既に誰かが訳している動画を協力する、というのなら、[[Courseraに日本語字幕をつけよう！/つぶやきCoursera和訳]]や[[Courseraに日本語字幕をつけよう！/つぶやきCoursera和訳/Web版]]を使って和訳して頂けると、そのうちCourseraに反映されます。また、特定のコースを有志で翻訳したい、という方も募集しています。この場合はhogeika2@gmail.comかtwitterでは@karino2012に、どのコースを翻訳したいか教えて頂けたら、その動画をつぶやきCoursera和訳に登録します。この場合、途中で翻訳を中断する場合は（なかなか一コース和訳を全部つけるのは厳しいので普通はそうすると思う）一言その旨連絡下さい。経験上、頑張る人が二人いれば、どうにか毎週アップされる動画についていけます。 5人いれば一人ひとりはそこまで頑張らなくてもついていけるペースとなるので、勉強会などで5人くらい集まるなら比較的容易に字幕がつけられると思います。 ---- ---- 以下は仕組みに興味がある人向けです。どの動画を翻訳するか、などは管理者である私が選びます。現時点ではStatics Oneのコースの字幕ファイルから字幕データを登録してあります。一つの動画分の訳が集まったら、私が後ほど手作業でamaraにアップし、それ以降はこのサービスのサーバーからは削除する予定です。ユーザーが現在訳しているあたり（20文）をエリアと称し、最近そのエリアをやった人がいないエリアを探してきて訳すようになっています。だからこのエリアの境界を越えるあたりは処理が遅くなるのと、あまりこの辺をいったりきたりすると変更の衝突が起こりやすくなるのであまりやらないようにお願いします（その内直しますが）。 Quitボタンを押すとそのエリアを解除するので、一旦辞めたくなったらQuitボタンで終了して下さい。 [[Courseraに日本語字幕をつけよう！/つぶやきCoursera和訳/サーバーサイドの仕様]]

Courseraに日本語字幕をつけよう！/実績

2013-07-07T11:06:54+09:00

[[./つぶやきCoursera和訳]]関連のシステムで作られた和訳実績を蓄積していきます。 2013/7/7日現在、以下のような実績です。 |Machine Learning|28| https://www.coursera.org/course/ml | |Galaxies and Cosmology|35| https://www.coursera.org/course/cosmo | |Statics One | 25 | https://www.coursera.org/course/stats1 | |Algorithms: Design and Analysis, Part 1| 5 | https://www.coursera.org/course/algo | |Computer Architecture | 2| https://www.coursera.org/course/comparch| |合計|94|| Machine Learningのコースをとりつつ翻訳を行い、コース内の動画114動画のうち41動画の和訳を終えました（うち13動画は他の方がやってくれた物）。つまり35%の動画を翻訳しました。 http://karino2.livejournal.com/210439.html Galaxies and Cosmologyをコースをとりつつ翻訳を行い、コース内の動画61個のうち35個、つまり57%の動画を翻訳しました。 http://karino2.livejournal.com/187731.html

トップページ

2013-06-19T17:40:56+09:00

** karino2 wiki Here is top page. &counter() [[Courseraに日本語字幕をつけよう！]] [[memo]] -[[WebTobin]] --[[WebTobinQ]] [[R]] [[統計データ]] [[Unixコマンドで作るリレーショナルデータベース]] [[SendToExternal]] ** 語学 - [[中国語]] - [[ヒンディー語]] - [[基礎ネパール語]] ** Economics Paper - [[Kiyotaki/1998]] - [[Tobin/1969]] - [[Tobin-Jorge/1979]] - [[Hayashi-Prescott/2002]] - [[King-Robelo/1989]] - [[The Great Escape? A Quantitative Evaluation of the Fed’s Non-Standard Policies]] - [[Bernenke-Gertler-Gilchrist/1998]] - [[Saito-Fukunaga/2007]] - [[Carlstrom-Fuerst/1996]] - [[Fukao-Kwon/2005]] - [[Hayashida-Ono-Terao/2007]] - [[Svensson/2004]] - [[Eggertsson-Woodford/2003]] http://karino2.livejournal.com/15961.html http://karino2.livejournal.com/16653.html http://karino2.livejournal.com/17153.html http://karino2.livejournal.com/17446.html リフレの査読論文を語ろーよ http://www.ichigobbs.org/cgi/15bbs/economy/0910/L30 "ザ・モデル"で経済を語るスレ Part４ http://www.ichigobbs.org/cgi/15bbs/economy/1450/L30 "ザ・モデル"で経済を語るスレ Part3　 http://www.ichigobbs.org/cgi/15bbs/economy/0908/L30 "ザ・モデル"で経済を語るスレ Part2　 http://www.ichigobbs.org/cgi/15bbs/economy/0677/L30 "ザ・モデル"で経済を語るスレ http://www.ichigobbs.org/cgi/15bbs/economy/0545/L30 http://www29.atwiki.jp/nightintunisia/pages/1.html http://www.ichigobbs.org/cgi/15bbs/economy/0545/405 http://econpapers.repec.org/article/aeaaecrev/v_3a87_3ay_3a1997_3ai_3a5_3ap_3a893-910.htm http://scholar.google.co.in/ [[OriginalTopPage]]

Courseraに日本語字幕をつけよう！/募集、告知等

2013-05-10T15:30:14+09:00

** Machine Learningのコースの和訳をやっていきます 2013/4/24から、Machine Learningのコースの和訳をやっていきます。 https://www.coursera.org/course/ml 既に先人が幾つかの動画を和訳してくれているので、我々はその続きを埋めていきます。 - 毎週の動画を、その週の終わりまでに翻訳終了を目指す - 次の週の動画がアップされたら、終わってなくても次の週の動画の訳に進むという方針でやっていきます。 **和訳を使って受講してくれる人募集上記コースを日本語字幕をonにして受講してくれる人を募集しています。受講してる、という事を教えて頂ければ励みになるので。使い方は[[日本語字幕の使い方>Courseraに日本語字幕をつけよう！/日本語字幕の使い方]]を参照ください。また、間違いを指摘して頂けるとありがたいと思います。連絡先はhogeika2@gmail.comかtwitterの@karino2012宛で。間違いは以下の例のように指摘して頂けたらと。 &bold(){例} 動画名: Module 1.0 Cosmology vs Cosmetology [15:23] 動画内の時間: 7:12 誤り箇所: そうだらだから訂正案: そうだ。だから **和訳の協力者募集現在、Machine Learningの和訳を進めています。毎週アップロードされる動画を、その週の内に和訳する事を目標としています。結果は[[./実績]]で報告します。 Androidユーザーなら[[つぶやきCoursera和訳>Courseraに日本語字幕をつけよう！/つぶやきCoursera和訳]]を、それ以外の方は[[つぶやきCoursera和訳/Web版>Courseraに日本語字幕をつけよう！/つぶやきCoursera和訳/Web版]]を使って和訳をして頂ける協力者を募集しています。一文からの協力大歓迎です。電車待ちの1分をお貸し下さい！

Courseraに日本語字幕をつけよう！

2013-05-10T15:27:28+09:00

* Courseraに日本語字幕をつけよう！ Courseraって知ってますか？海外の有名大学が多数集まって、無料で質の高いオンラインコースを提供しよう、というプロジェクトです。ただ動画がアップされてるだけではありません。ちゃと週に何回、と決められた授業があり、宿題やクイズなどもあり、それをちゃんと提出して採点してくれたりもします。 70点以上取る、などの条件を満たすと修了証明がもらえたりします。詳しくは[[Courseraって何？>Courseraに日本語字幕をつけよう！/Courseraって何？]]へ。いろいろと工夫がされていて、これは大学で講義を受けるよりずっと良い！と思う人がたくさん居るのですが、講義のビデオは全て英語です。非ネイティブな人でも聞きやすいようにはっきり喋ってくれるし、英語の字幕をつけたりも出来ます。ですが、日本人のみんなが皆、英語で専門的な事を学ぶのに抵抗が無い、という訳でも無いでしょう。むしろ、そういった事をやって来なくて「もっと勉強したら良かったなぁ」と今思っている人の方が、まさにCourseraにぴったし、と思うのです。そこで日本語字幕をつけたらもっとたくさんの日本人が、この素晴らしい教材を活用出来るんじゃないか？と思い、それを皆で作業出来るシステムを作りました。それが[[./つぶやきCoursera和訳]](Android版)と[[./つぶやきCoursera和訳/Web版]]です。これは1分から手伝えるシステムを目指して作りました。このシステムを使って登録された和訳は、最終的にはCourseraに登録されます。 ---- * サイトマップ - [[./つぶやきCoursera和訳]] - [[./つぶやきCoursera和訳/Web版]] - [[./募集、告知等]] - [[./日本語字幕の使い方]] - [[./Courseraって何？]] - [[./現在のステータス]] - [[./実績]] 以下は雑談 - [[日本語字幕をつける意義>Courseraに日本語字幕をつけよう！/日本語字幕をつける意義]] - [[./古くなった話題]]

Courseraに日本語字幕をつけよう！/日本語字幕の使い方

2013-04-24T01:41:05+09:00

Courseraの講義を普通に受けている時、字幕がついていたら、以下から選ぶ事が出来ます。 #ref(coursera_caption.png)