こんにちは。マネックス・ラボの戸谷です。 今回は以前の記事 ファンド検索の最適化 でお話した Elasticsearch による全文検索システムの開発についてお話をしたいと思います。 Elasticsearch とは？ 検索アルゴリズムについて N-Gram によるインデックス N-…

Elasticsearch による全文検索システムの開発

先日GKE(Google Kubernetes Engine)のトレーニングを受講して、久しぶりにKubernetesに触りました。 忘れないうちにもう少し触っておきたいのと、最近AWSのCDK(AWS クラウド開発キット)に興味があるので、今回はCDKでAWSのKubernetes(EKS)を構築してみようと…

AWSのKubernetes(EKS)をJavaで構築する

こんにちは、マネックス・ラボの田代です。 前回の記事(https://blog.tech-monex.com/entry/2020/07/17/191115)で次回は開発寄りの内容の記事を...などと書いておきながら、3回連続でAWSをテーマにしてしまいました。 書きやすいので。 はじめに データ基盤…

【AWS Glue】Glue Studioでカラムを追加して計算結果を格納するETLジョブを作成する

CloudFormationスタックでエクスポートした値を、SSMを介することでリージョン跨ぎで参照できるようにしました。スタックからエクスポートした値はリージョン固有のリソースですので、別リージョンからはImportValueを使ってのエクスポート値の参照はできま…

リージョン間のCloudFormationクロススタック参照を実現する

こんにちは、エンジニアの田代です。 前回記事(https://blog.tech-monex.com/entry/2020/01/31/163001)時点では証券企画室所属でしたが、今年度からマネックス・ラボ所属となりました。 やる事は変わらず、ferciの開発に携わっています。 はじめに 個人的な…

【AWS ECS】nginxとTomcatのコンテナをFargateで動作させる環境をCloudFormationで構築する

クチコミ機能のついたモバイルアプリferciで、監視にDatadogを入れるまでの経緯を書きました。ZabbixとELKで構築した監視をDatadogに置き換える決定をするまでの経緯と、検証からセットアップまでにやったことを簡単にまとめています。Datadogは小規模なシス…

小規模なシステムこそDatadogをお勧めしたい

こんにちは、証券企画室エンジニアの田代です。 先日、私たちが開発しているferciと言うスマホアプリに、コミュニティ機能に続いて株取引機能が追加されました。 最短4タップで株取引ができます。是非使ってみてください。 はじめに 昨今機械学習やデータ分…

BigQueryからJSON形式で取得したデータをS3にPutするLambdaをSAMで構築する

こんにちは。証券企画室の佐藤です。 企画室という名前ですが、エンジニアが何人か在籍していて、スマホにデザインが最適化された株アプリ、ferciを開発しています。 AWSのre:Invent さて、今年もラスベガスではAWSのre:Inventにて色々なアップデートが発表…

EC2 Image Builderの使いどころを考える