Embulk が流行っているらしいのでプラグインを書いた。
先日は遊びで embulk-plugin-vim なんていうのを作ったのだけど
mattn/embulk-plugin-vim - GitHub
https://github.com/mattn/embulk-plugin-vim
今日のはもうちょっと遊んで、TwitterStream から入力を得る物を作った。設定は以下の様にします。
exec: {}
in:
type: twitterstream
consumer_key: XXXXXXXXXXXXXXXXXXXXXX
consumer_secret: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
access_token: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
access_token_secret: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
count: 3
columns:
- id_str
- name
- user.screen_name
out: {type: stdout}
columnsと countはオプショナルです。
「それ、永遠に止まらないんじゃ！」っていう人もいるかと思いまして、count という設定で決まった数まで受けたら自動で止まる様になっています。
ruby 力無いので、ruby に詳しい皆様、ご査収下さい。
mattn/embulk-plugin-twitterstream - GitHub
https://github.com/mattn/embulk-plugin-twitterstream
ビッグデータの正体 情報の産業革命が世界のすべてを変える