参考にしたいXアカウントの投稿を毎日集めて、検索や書き出しができるデータベースにした

どんな仕組みか

毎日決まった時刻に、登録したアカウントの新しい投稿だけを集めてデータベースに入れます。

画像や動画も自動で別に取り込み、まとめて保管します。初めて登録したアカウントは、過去の投稿もさかのぼって取り込みます。

非公開のアカウントは、持ち主がフォローを承認した場合に限って集めます。画面はパスワードでログインし、管理者と閲覧だけの人で権限を分けています。

安心して使えるようにした工夫

費用が膨らまないように、上限を決めておく

投稿の取得には、外部のサービスの利用料がかかります。

そこで、1日の予算の上限を決めておき、超えそうになったら取得を止めます。非公開のアカウントを集める際にも、1日・1人・1か月ごとの上限を設けています。

同じ処理が二重に動かないようにする仕組みや、通信エラーなどで失敗したときに間を空けてやり直す仕組みも入れています。

すでに持っている投稿には、お金をかけない

2回目以降は、前回より新しい投稿だけを取得するように、相手のサービス側であらかじめ条件を絞り込みます。

すでに保存した投稿の分まで、利用料がかかることはありません。

集められなくなった理由を、印で分かるようにする

アカウントの凍結や削除、名前の変更、非公開化といった理由で集められなくなったアカウントには、理由の印を付けて一覧に表示します。

途中で非公開になったアカウントも、承認のないまま無理に取りに行くことはありません。なぜ集まらなくなったのかがひと目で分かるため、迷わず状況を確認できます。