AWS

Scaling EKS workloads with Karpenter - A working solution deployed via CDK

Kubernetes has become the de-facto standard for orchestrating containerized workloads and Amazon Elastic Kubernetes Service (EKS) is the AWS solution to make running Kubernetes in the cloud more manageable by abstracting away the control p…

スマホ無しでマンションのオートロック開錠と部屋のドア開錠をしたい

こんにちは、新卒4年目の野地です。もうすぐ5年目...。 趣味でマラソンをやっていて、昨年8月末の北海道マラソンで初のサブ3、10月末の金沢マラソンにてサブエガ(フルマラソンで2時間50分切り)を達成しました。 練習するほど記録が伸びるので楽しいです。…

AWSにおけるコンピューティングサービスのアーキテクチャ選択

こんにちは。マネックス・ラボのIです。 ある時、ふと「サーバーレス、コンテナ、インスタンスという異なるコンピューティングサービスのアーキテクチャをしっかりと比較したことがなかったな」と気付きました。これを機に整理し、今後の参考にできればと考…

CDKでAPI GatewayのアクセスログをAthenaで検索する仕組みを作る

CDKを使用して、API GatewayのアクセスログをAthenaで分析する仕組みを構築します。

StepFunctionsで実行したECS Runtaskをトレースする。

StepFunctionsで実行したECS Runtaskをトレースします。Lambdaのように簡単にはいかずはまりました。

【Python】LambdaでAWS ECSサービスのタスク起動数を操作/取得する

こんにちは、エンジニアの田代です。 バッチ処理等において、ECSサービスのタスク数を調整したいケースがあるのではないでしょうか。 Step Functionsを利用する等複数の方法が考えられますが、今回はAWS外のジョブ管理システムから操作することを想定して、 …

CI/CDで脆弱性のチェックを行う

CI/CDでOSSの脆弱性をチェックする仕組みについて検討します。

オープンAPIの定義からAmazon API Gatewayを構築する

Amazon API GatewayをCDKとオープンAPI定義ファイルを使用して構築します。

情報系ではない理系の資格取得

情報系ではない理系新卒がエンジニア系や金融系の資格を取得していく際の勉強方法や順番を紹介します。

AWS Innovate - Modern Applications Editionに参加しました

こんにちは、エンジニアの田代です。 自分の事で恐縮ですが、先日オンラインで開催されたAWS主催のセミナー、「AWS Innovate - Modern Applications Edition」に登壇し、 ferciでのECS on AWS Fargate導入プロジェクトについてお話しさせて頂きました。 ご覧…

AWS資格の再認定

こんにちは。インフラグループのYです。突然ですが、皆様はAWSの認定資格お持ちでしょうか? 私は2020年3月にAWS Certified Solutions Architect - Associate (SAA) を取得したのですが、先日以下のようなメールが届きました。更新期限まで割と時間がないで…

CodeBuildで別アカウントのCodeCommitからGitメタデータを取得する

AWS

こんにちは。システム開発一部の吉田です。 先月自作PCを組み立てました。ファンがピカピカに光ります。 グラフィックボートを買わなかったのでPCケース内のスペースが余りまして。そこにブロリーのフィギュアを置いてディスプレイ代わりにしていたらメモリ…

Amazon API Gatewayで国外からのアクセス制限をCDKで実装する

Amazon API Gatewayで国外からのアクセスを制限する(日本国内からのアクセスのみ許可する)ことをCDK+Javaで実装します。

【AWS ECS】ECRイメージスキャンをPythonで自動化する

こんにちは、エンジニアの田代です。 ECS+Fargateに関する記事も第4弾となりました。 今回は、前回の記事で推奨事項として挙げた定期的にイメージのスキャンを行うについて、boto3を使って自動化するPythonスクリプトを実装したのでサンプルとして紹介したい…

ferciのIaC(Infrastructure as Code)を振り返る

AWS

こんにちは。マネックス・ラボでferciを担当している佐藤です。 ネタに困っていたところ、弊社のHから「新しく作るシステムをCloudFormationでIaCやってみているのだけど意外と大変で、Terraformとどちらが良いか」と話題を振られました。 それをきっかけにf…

AWS Systems Manager Change Calendar+Amazon EventBridgeで祝日にバッチ処理が実行されないよう制御しよう!

AWSで平日のみバッチ処理を実行する方法について検証しました。

【AWS ECS】ECS+Fargateのセキュリティまとめ

こんにちは、エンジニアの田代です。 今回はECS+Fargateに関する記事の第3弾です。 これまでの記事ではCloudFormationのテンプレートも公開しているので、併せて参考にして頂けると嬉しいです。 blog.tech-monex.com blog.tech-monex.com Contents Contents …

AWS X-Rayを使ってAPIをトレースしよう!!

今回はCDKではなく、普通のAWSネタです。 AWS上にAPI Gateway+AWS Fargate+Amazon Auroraの構成を作り、AWS X-Rayを使って一連の流れをトレースしてみます。

【ECS Fargate】FireLensを使用してDatadogとS3にコンテナログを転送するタスク定義をCFnで作成する

こんにちは、エンジニアの田代です。 今回は以前投稿した下記の記事と同様、ECS+Fargateの環境をCloudFormationで構築します。 こちらの記事で解説している部分は今回の記事では割愛しているので、併せて参考にしてみて下さい。 blog.tech-monex.com はじめ…

Amazon API Gateway + AWS Fargate をJavaで書こう!

今回もCDKネタです。[前回](https://blog.tech-monex.com/entry/2020/12/25/000000)はCDKを使用して、Kubernetes環境構築の記事を書きましたが、今回はAmazon API Gateway+AWS Fargateの環境をCDKで作成します。言語はJavaです。

API Gateway+Lambda(Go)+DynamoDBで注文や約定の機能をつくりました

モノリスな証券システムであるGALAXYに代わる、次世代の証券システムをつくろうということで、マイクロサービスな証券システムであるBIGBANGのプロジェクトが2020年にGX推進グループで始動しました。余力を検証するためには複数の商品が必要ということで、ま…

Elasticsearch による全文検索システムの開発

こんにちは。マネックス・ラボの戸谷です。 今回は以前の記事 ファンド検索の最適化 でお話した Elasticsearch による全文検索システムの開発についてお話をしたいと思います。 Elasticsearch とは? 検索アルゴリズムについて N-Gram によるインデックス N-…

AWSのKubernetes(EKS)をJavaで構築する

先日GKE(Google Kubernetes Engine)のトレーニングを受講して、久しぶりにKubernetesに触りました。 忘れないうちにもう少し触っておきたいのと、最近AWSのCDK(AWS クラウド開発キット)に興味があるので、今回はCDKでAWSのKubernetes(EKS)を構築してみようと…

【AWS Glue】Glue Studioでカラムを追加して計算結果を格納するETLジョブを作成する

こんにちは、マネックス・ラボの田代です。 前回の記事(https://blog.tech-monex.com/entry/2020/07/17/191115)で次回は開発寄りの内容の記事を...などと書いておきながら、3回連続でAWSをテーマにしてしまいました。 書きやすいので。 はじめに データ基盤…

リージョン間のCloudFormationクロススタック参照を実現する

CloudFormationスタックでエクスポートした値を、SSMを介することでリージョン跨ぎで参照できるようにしました。スタックからエクスポートした値はリージョン固有のリソースですので、別リージョンからはImportValueを使ってのエクスポート値の参照はできま…

【AWS ECS】nginxとTomcatのコンテナをFargateで動作させる環境をCloudFormationで構築する

こんにちは、エンジニアの田代です。 前回記事(https://blog.tech-monex.com/entry/2020/01/31/163001)時点では証券企画室所属でしたが、今年度からマネックス・ラボ所属となりました。 やる事は変わらず、ferciの開発に携わっています。 はじめに 個人的な…

小規模なシステムこそDatadogをお勧めしたい

クチコミ機能のついたモバイルアプリferciで、監視にDatadogを入れるまでの経緯を書きました。ZabbixとELKで構築した監視をDatadogに置き換える決定をするまでの経緯と、検証からセットアップまでにやったことを簡単にまとめています。Datadogは小規模なシス…

BigQueryからJSON形式で取得したデータをS3にPutするLambdaをSAMで構築する

こんにちは、証券企画室エンジニアの田代です。 先日、私たちが開発しているferciと言うスマホアプリに、コミュニティ機能に続いて株取引機能が追加されました。 最短4タップで株取引ができます。是非使ってみてください。 はじめに 昨今機械学習やデータ分…

EC2 Image Builderの使いどころを考える

こんにちは。証券企画室の佐藤です。 企画室という名前ですが、エンジニアが何人か在籍していて、スマホにデザインが最適化された株アプリ、ferciを開発しています。 AWSのre:Invent さて、今年もラスベガスではAWSのre:Inventにて色々なアップデートが発表…