【PostgreSQL高速化テクニックメモ】大量データロード対策

スポンサーリンク
プログラミング

処理時間を計測する

\timing on

UNLOGGED TABLEを利用する

中間テーブルとしてテーブルを作成する際には UNLOGGED TABLEを利用すること。

UNLOGGED

指定された場合、テーブルはログを取らないテーブルとして作成されます。 ログを取らないテーブルに書き出されたデータは先行書き込みログ(第30章参照)には書き出されません。 このため通常のテーブルより相当高速になります。 しかしこれらはクラッシュ時に安全ではありません。 クラッシュまたは異常停止の後、ログを取らないテーブルは自動的に切り詰められます。 またログを取らないテーブルの内容はスタンバイサーバに複製されません。 ログを取らないテーブル上に作成されたインデックスはすべて同様に、ログを取らないようになります。

https://www.postgresql.jp/document/11/html/sql-createtable.html

不要なインデックスの削除

インデックスは検索能力を向上させる一方データ挿入のコストが増大します。

pg_stat_user_indexes でインデックスが使われているかどうか見ることができます。あまり使われていないインデックスは削除しましょう。

SELECT * FROM pg_stat_user_indexes WHERE relname = 'mytable';
-[ RECORD 1 ]-+----------------------
relid         | 999999
indexrelid    | 999999
schemaname    | public
relname       | mytable
indexrelname  | mytable_rec_pkey
idx_scan      | 0
idx_tup_read  | 0
idx_tup_fetch | 0

【重要】ANALYZE

大量データのロード、または大幅なデータの変更があった直後にデータに問い合わせる場合、ANALYZEかVACUUM ANALYZEを手動実行するようにしましょう。

統計情報と実際のテーブル情報がかけ離れてしまい、適切な実行計画が作成されないためです。

※手動ANALYZEの後はCOMMITが必要です。忘れないようにしておきましょう。(autocommitモードでない場合)

暇な時間にU-NEXT

今なら無料1ヶ月無料トライアル600円分の有料コンテンツを使えるチャンス!

見放題作品が31日間無料で視聴可能最新作はレンタル配信!

600円分のポイントプレゼント!DVD・ブルーレイよりも先行配信の最新作、放送中ドラマの視聴や最新コミックの購入に使用可能

 

追加料金なく、80誌以上の雑誌が読み放題

プログラミング
スポンサーリンク
uediveをフォローする
SEの休日

コメント

タイトルとURLをコピーしました