スポンサード リンク

2018年6月30日土曜日

東証のサイトのスクレイピングができなくなってる　httpsに変更

２０１８年６月２９日金曜日。突然、東京証券取引所のサイトのスクレイピングプログラムが全滅。

どうしたんだ Hey Hey Baby

バッテリーはビンビンだぜ

と思いつつ調べる。

正規表現でデータを取り出せていないようだ。

HTMLソースが変わったのかとWebブラウザで東証のページを開いてHTMLソースを見てみる。

問題はないようだが、スクレイピングが失敗している。

どうしたんだ Hey Hey Baby

機嫌直してくれよ

とお願いしても機嫌は直らないようだ。

どうして動かないのかわからない。

困った。

スクレイピングプログラムからのHTTPの応答を調べてみる。

応答が

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>301 Moved Permanently</title>
</head><body>
<h1>Moved Permanently</h1>
<p>The document has moved <a href="https://www.jpx.co.jp/markets/statistics-equities/short-selling/">here</a>.</p>
</body></html>

ん？？

document has movedだって？

犯人はhttpsだ。東証のサイトもhttpからhttpsに変えやがった。

スクレイピングにはcurlを使っているので修正は簡単。取得対象のURLをhttpからhttpsに変更するのみ。

まずは試しに一箇所修正して実効してみる。動いた。

東証のURLの全ての箇所をhttpsに修正して、失敗していたスクレイピングプログラムを手動で起動して作業完了。

おしまい。

投稿者 時刻: 0 件のコメント:
ラベル: ,

2018年6月28日木曜日

第１４９期東急電鉄株主総会　お土産は　質疑応答

今年も引き続き東急電鉄の株主総会に行ってみた。今年も３０分以上の遅刻。毎年遅刻です。そもそも時間までに行こうと思っていないが。

今年も受付でお土産の代わりに「電車・バス全線乗車証」を４枚もらえた。

今年の株主総会の出席者は４０００人近いみたい。受付番号表の番号が３７００番代。会場も去年より混んでいる。

売買単位が１００株単位に変更になって株主が増えたのだろうか。

株主総会ではこんな質問というか意見というか

  • 女性の役員がいないけどなんで。
  • 株価が同業他社より安いぞ。
  • 社員の質が悪い。乗客に親切でない。
  • 奥沢の踏切で警察に捕まった。亀戸までつれてかれた。地下駅にしろ。
  • キャリーバック邪魔。別料金とれ。それで儲けて配当増やせ。
  • 株主総会で質問してやってんだから菓子折りでもよこせ。
  • 株主優待のホテル割引がインターネット予約だと対象外。インターネット予約のが安い。株主優待の意味ないぞ。
  • 小田急複々線化の影響はどうなの？
  • 株主優待を伊豆急行でも使えるようにしろ。
  • １０年以内に女性役員を３人以上にしろ。
  • 社会貢献もしやがれ。
  • キャリーバックの別料金の話は世の中の動向なんて言ってないで業界のリーダーなら率先してやれ。
  • 美しい時代って何だよ？
  • 株主優待を伊豆急行で使えるようにとかどうでもいい。岐阜県民だ。配当増やせ。
  • 帰宅時間の田園都市線の混雑がひどい。本数増やせ。役員も乗ってみろ。
  • ここで議長から「簡潔に質問しろ！」
  • 子会社への委託駅の対応がなってない。
  • 伊豆のホテルで食事できなと言われた。対応悪い。
  • 生活サービス事業の利益が少ない。
  • 監査役⇒取締役の横滑りはおかしくないか。
  • 東横線の緑の電車を継続して走らせて。
  • 株価が上がらない。
  • ここで議長から「時間がない。あと２人だ！」
  • 藤が丘の電車とバスの連絡が悪い。ほぼ同時発車。ふざけんな。
  • 株価が低い。自社株買いしろ。
  • ここで終わりのはずが、一人喚いてる女。
  • 手を上げてるのに指されない！右側ばかり指してる。
  • どんな質問するのかと思えば
  • 田園都市線のラッシュ対策しろ。
  • ホームドアを設置しろ。
  • 鷺沼再開発で高層ビルは望んでいない。フレルがなくなったらどこで食品買うんだ？
  • という感じ。

今年は質問というより苦情大会。お客さま相談室です。議長に同情します。

株価が他の電鉄株より安いと文句を言う人がいるが、発行済株式数が異なるのに単純に株価を比較してもねえ。時価総額で比較しないとね。

今年も議案の議決が始まったところで議決権は行使せずに退席。

今年も帰りに渋谷の金券屋で東急電鉄の株主優待の品を買取ってもらってから帰宅。買取価格は、「電車・東急バス全線きっぷ」が１枚２１０円、「株主ご優待券」が５００円でした。「電車・東急バス全線きっぷ」の買取価格が去年より１０円下落、「株主ご優待券」は１０００円以上の下落。２年前の買取価格は「電車・東急バス全線きっぷ」が１枚２３０円、「株主ご優待券」が１冊１６００円だったのに・・これがアベノミクスの成果かよ。ヤフオクやメルカリで売りさばいたほうが高く売れそうだけど、面倒なので金券屋に売却。「電車全線パス」は今回も自分で使うことにする。

投稿者 時刻: 0 件のコメント:
ラベル:
登録: 投稿 (Atom)