RAKSUL TechBlog

ラクスルグループのエンジニアが技術トピックを発信するブログです

Pandasでメモリを効率的に扱うテクニック5選

はじめに 1.サンプリングをしデータの行数を減らす ファイルレベルでサンプリングする ファイルのチャンクごとでサンプリングをする 2.サブセットを抽出しデータの列数を減らす ファイル読み込み時にサブセット抽出をする データフレーム読み込み後にサブセ…

機械学習の推論用REST APIサーバーをAmazon SageMakerで構築するまでに考えたこと

はじめに ラクスルグループのノバセルで新卒2年目のエンジニアをしています田村(tamtam)です 現在は、データサイエンティストが作成した学習済みモデルをもとに、推論を行うロジックを実装し、Web APIとして提供するための開発をしています。 この記事を読ん…

【全2回】AWS Lambda x FastAPIによるPythonモダンAPI開発のすゝめ 2

はじめに 対象読者 あまり説明しないこと 前提とするバージョン 参考となるレポジトリ 3. アーキテキチャ及びディレクトリ構造 オニオンアーキテクチャを採用 オニオンアーキテクチャとは 誕生の背景 依存関係逆転の原則の活用 採用理由 参考になった記事 デ…

【全2回】AWS Lambda x FastAPIによるPythonモダンAPI開発のすゝめ 1

はじめに この記事を読んで得られること 対象読者 あまり説明しないこと 前提とするバージョン 参考となるレポジトリ 1. 開発環境の構築で使用したツール AWS Lambdaのコンテナサポートを採用 Poetry利用時に開発と本番環境の適切な管理でLambdaデプロイ問題…

Docker Composeを用いてPyCharm上でデバック

ノバセル株式会社CoreDevelopmentチームの田村です。今回はDocker Composeを用いてPyCharm上でデバック実行できるようにするためのTIPSを紹介します! 現在チーム内では、SnowflakeでPythonベースのプロシージャを作る機会があります。(Snowpark for Python…

DWHからRDSへのデータロード処理を高速化した話

ノバセル株式会社 CoreDevelopmentチームの田村です。 今年の4月に新卒入社しましたが、もう半年経っているのが信じられず時の流れの早さを感じてます。笑 趣味は筋トレで現在マッスル部の部長をしています! 今回は、業務中にチームで行ったDWHからRDSへの…