Python

fastapiではasyncな関数をテスト関数にしたいときはAsyncClientという、httpxのhttp clientを使用する必要がある。 よく使うTestClientが使えない。 このクライアントは50x系のレスポンスが返却された...

fastapiでのキャッシュ機構をよしなに提供してくれるライブラリ。 fastapiとの使用のためにjsonのシリアライズを考慮したキャッシュの仕組みや、asyncな関数のサポートを提供してくれている。 バックエンド=キャッシュ機構の実態と...

fastapiの起動前、起動後に何らかの処理を仕組みたいときに利用する機構。 例えばロードに時間がかかる機械学習モデルの用意などに使える。 他にもロガーのセットアップなど、起動前後に行いたい処理を良く行う。 startup/shutdown...

以下の文章はこちらのページを翻訳したものです。 https://docs.sqlalchemy.org/en/20/orm/basicrelationships.html 基本的なリレーションシップパターン このセクションでは、Mapped...

以下の文章はこちらの記事を翻訳したものです。 https://github.com/zupo/awesome-pytest-speedup#awesome-pytest-speedup pytest スイートの実行速度を向上させるためのチェ...

以下の文章は執筆者のRavish Kumarさんからの許可を得て翻訳したものです。 https://blog.det.life/apache-arrow-the-future-of-data-engineering-83abf87557da...

以下の文章は執筆者のPrathamesh Gadekarさんからの許可を得て翻訳したものです。 https://medium.com/p/c1287eb794ec#6545-37b5bc6457bb はじめに データサイエンスは多くの面で興...

Pythonでtype hintのあるコードを書いていると良くlist[int]の様に[]が付けられた型アノテーションに出会う。 これらはジェネリクスといい、普通のintやstr等の様な型とは違って抽象的な型を定義して再利用するための仕組み...

Pythonだけでなくジェネリクスを持つ型システムを保有するプログラミング言語を触ると共変と反変という概念が出てくる。 これは型の表現力を最大限上げつつ同時に実行時にエラーを起こさないための機能である。 一方これはジェネリクスの上に乗っかっ...

type aliasを使用すれば型シグネチャが複雑なtype hintを簡約にすることが出来る。 この記事ではtype aliasに関して使用方法、メリット、使用上の注意について書く Type Aliasとは 簡単に言うと、複雑な型に別名を...

この記事では、Pythonにおける NewType テクニックを紹介します。このテクニックを使用すると、型による値の確からしさを保証しながら、ランタイムにおけるオーバーヘッドを限りなくゼロに近づけることができます。 問題設定 アプリケーショ...

csvからの読み込み headerなし pandasでcsv/tsvファイル読み込み（readcsv, readtable） note.nkmk.me sqliteからの読み込み データの取得 column名(header)の取得 書き込み...

SparkSession#cresateDataFrameを使用する 作成元のデータは RDD list pandas.DataFrame のいずれか pyspark.sql module — PySpark 2.4.5 documenta...

AWS Glueでは、transformationctxというオプション引数を使用して、ジョブのブックマークを制御することができます。ジョブのブックマークは、生データの重複処理を防ぐための仕組みです。詳細については理解できていないが、一般的...

RDBとの相違点 RDBはクエリが柔軟なのでスキーマ定義時にクエリのことを考えなくていい Dyanamoでは最も重要なクエリのみ高速化するためのスキーマ設計が必要 設計手順 必要なクエリ=ビジネス要件・ユースケースが判明するまでスキーマを設...