はじめに この記事はterraform Advent Calendar 2020の18日目です。今年は案件やら何やらで外部活動できなかったですが、なんとかアドベントカレンダーには参加できました。 …
日本情報通信の中根です。 今回はBigQueryのスケジュールクエリ機能についてご紹介します。 スケジュールクエリはBigQueryのWeb UIから設定が可能な定期的にクエリを実行できるサ…
本記事は、Looker Advent Calendar 2020 の4日目の記事です。 はじめに 「Lookerってデータガバナンス良いらしいじゃん?」的なことを聞かれることが増えてきておりますので、…
クラウドネイティブ開発チームの熊谷です。 いかがお過ごしでしょうか。寒い時期になってコーヒーが美味しい季節です。 さて今回は、モダンなアーキテクチャのキーワードとして出てくるサーバレスアーキテクチャに…
こんにちは。昼も寒くて震えております。 さて、K8sの軽量版として、K0sがOSSとしてリリースされました。 今回はそのK0sをGoogle Cloud Platform上のGCEで動かしてみます。…
GCP(Google Cloud Platform)ではデータ分析に必要なコンポーネントが非常によく揃っています。 今回はいくつかあるGCPのコンポーネント中で、何をどう使えばいいかの説明ができれば…
こんにちは。アメリカ大統領選が気になる時期です。 前回(リンク)では、データエンジニアリング編をまとめました。 今回は後半として、データアナリティクス/サイエンティスト編になります。 繰り返…
オンプレミスとGKEを接続した際に通信がうまく行うことが出来ずにハマったため記載します。 症状 通常GKEのPodネットワークは外部との通信を行うことが出来ません ネットワーク環境 VPCはカスタ…
GCP環境とオンプレミスの環境を接続しているときに、オンプレミス側のDNSを参照させることが出来ます。紹介する設定の良いところは個々のサーバに直接変更をおこなうのではなくGoogleの提供するDNSへ…
オンプレミス環境で稼働中のシステムをパブリッククラウドへ移行する場合、移行に合わせてシステムのモダナイゼーションをできると一番良いのですが、なかなかそうもいかないものです。 特にファイルインタフ…
こんにちは。 日本情報通信の熊谷です。 この記事ではGCPの特徴の一つである分散DBのSpannerのバックアップ事情についてまとめます。 Spannarには大きく分けて2種類のバックアップリスト…
様々な場所に散在しているデータを統合して分析に活用したいという要望は、非常に多いです。 今回はそのような要望に対して、Matillionをご紹介し、簡単なデータ連携の手順についてご説明したいと思いま…