えいのうにっき

主に Web 系技術ネタ。背景画像 is powered by grass-graph.shitemil.works

BigQuery

Re:dash を GCE で試してみた

少し前に話題になった、ビジュアライゼーションツールもしくはダッシュボードアプリケーションの Re:dash。 redash.io そもそも Re:dash とは?みたいなところはググってみてほしいんだけど、BigQuery をデータソースとして扱えるという点もあり、すごく気に…

BigQuery 上のテーブルを検索するときに頭の片隅に置いておきたい、課金絡みのこと

ぼくが所属している会社のプロダクトチームでは、毎週ふりかえり(KPT)を実施しているのだけど、そのときに「BigQuery に Rails のログを送り始めて、ログの検索をしやすくなって嬉しいは嬉しいのだけど、検索をかけるたびに課金されている実感があって、ヒ…

いまさらだけど、Nginx が出力したアクセスログ(ltsv形式)を fluentd 経由で BigQuery に送ってみたよ

前回の いまさらだけど fluentd に入門した - えいのうにっき に引き続き、「いまさら fluentd」シリーズ(?)。 blog.a-know.me 事例としてはめちゃくちゃありそうなこの組み合わせ、「自分的にかゆいところ」に手が届いてるかんじの記事がないような気が…

【非エンジニア向け】BigQuery を使ってみよう

なにこれ 大規模データに対しての解析が超カジュアルに行えちゃう!と話題の、BigQuery 。 その BigQuery で、非エンジニアの方にも遊んでみて欲しい(なぜなら BigQuery はおもしろいから)ので、その利用のための手順を書いてみたもの。 もともとは社内向…

BigQuery へのクエリの投げすぎに注意しよう(2014/09/18 追記しました) #gcpja

という主旨で、下記のようなエントリを書いたのですが、それからさらに Google の中の人である @kazunori_279 さんにも直接お問い合わせして頂いた結果、 temporary table には料金が掛からない 、ということがわかりました。 .@a_know @hogedigo 一時テーブ…

gcp ja night #28 に参加してきたので色々まとめるよ #gcpja

gcp ja night #28 に参加してきたので、色々まとめるよー。スライド資料を見ればわかるようなことは書かない方向で。 懇親会の場で、Googler の佐藤さんに、前から気になってたことをいくつか質問できたので、その内容もこのエントリの最後にメモっとく。 イ…

Google APIs Client Library for Ruby を使って BigQuery にデータをロードする

表題の件で躓いてしまったので、ここで書いておく。 "Job configuration must contain exactly one job-specific configuration object (e.g., query, load, extract, spreadsheetExtract), but there were 0: " というエラーが出て、うまくロードできない、…