SorsaでツイートIDのデータセットを再取得できますか?
できます。バッチエンドポイントは1リクエストにつき最大100件のツイートIDを受け取り、投稿者のプロフィールを含む完全なツイート内容を返します。公式APIに依存していた従来の再取得ツールをそのまま置き換えられ、必要なのはAPIキーだけです。開発者アカウントもOAuthも要りません。
Xが無料のAcademic Research Trackを2023年に終了したことで、約20年にわたるTwitter研究を支えてきた全アーカイブと大容量アクセスは失われました。 Sorsa API はそのアクセスを取り戻します。 非営利であることが確認できた研究者には、無料または割引でご提供します。
メールでも受け付けています: contacts@sorsa.io
17年にわたり、Twitter APIは政治学、公衆衛生、計算社会科学、コミュニケーション研究、言語学における中心的なデータソースであり、選挙、誤情報、危機下のコミュニケーションに関する研究を支えてきました。Academic Research Trackでは、条件を満たした研究者に2006年までさかのぼる全アーカイブ検索と、月あたり約1,000万件のツイートが提供されていました。2023年2月に発表されたとおり、その春に無料のAPIアクセスは停止され、2023年半ばには学術向けエンドポイントも完全に撤去されました。後継のプランは研究にはほとんど応えられないものでした。過去データを含まない月額$100のベーシックプランか、月額約$42,000から始まるエンタープライズ契約かの二択です。100件を超える研究が中止または中断に追い込まれました。過去のツイートを取得する方法については、 過去のツイートデータのガイドをご覧ください。
研究用の共有データセットは、Xの規約に沿うためツイートIDのリストとして配布されます。その再取得にはかつてDocNow Hydratorやtwarcといったツール経由で公式APIが必要でしたが、無料アクセスと学術向けアクセスの終了により、どちらも動かなくなりました。Sorsaのバッチエンドポイントは 1リクエストにつき最大100件のツイートID を受け取り、投稿者のプロフィールを含む完全なツイートJSONを返します。開発者アカウントもOAuthも不要です。さらに、どのツイートにも view_countとbookmark_count が含まれます。公式APIが第三者のツイートについては公開していないエンゲージメント指標です。
Twitterの 高度な検索の構文で、公開アーカイブ全体を検索できます。アカウント単位の収集にはfrom:とto:、期間の指定にはsince:とuntil:、言語の絞り込みにはlang:を使い、完全一致フレーズやハッシュタグも指定できます。時系列データセット、イベント期間の切り出し、キーワードコーパスの構築を、Academic Trackと同じように進められます。開発者向けには APIでツイートを検索するガイドや、 アカウントの全ツイートをダウンロードする方法もご覧ください。
どのレスポンスにも安定したツイートIDとユーザーIDが含まれるため、規約に沿ったIDリストを論文とあわせて公開し、他の研究者が同じ収集を再現できます。出力は扱いやすいJSONで、Rやpandas、お使いのノートブックにそのまま読み込めます。 感情分析 をはじめとする後続の処理にもすぐ回せます。
リクエストヘッダーにAPIキーをひとつ、読み取り専用、対象は公開データのみ。投稿する手段はなく、誰かのアカウントの代理として動作することもないため、データ収集の手続きをIRB(研究倫理審査委員会)や倫理審査向けに説明しやすくなります。申請の待ち行列も、審査の待ち時間もありません。
| Academic Research Track2023年以前 | 公式X API2026年・従量課金 | Sorsaリクエスト単位の定額 | |
|---|---|---|---|
| 全アーカイブ検索 | 対応(2006年までさかのぼる) | エンタープライズ契約のみ | 対応(2006年までさかのぼる) |
| 月間の取得量 | 約1,000万件のツイート | 投稿の読み取りごとに課金 | 定額プラン、量の制限なし |
| 審査の有無 | 申請と審査に数週間 | 開発者アカウントの審査あり | なし、APIキーは即時発行 |
| 無料で試せるか | 申請が必要 | なし | 100回分の無料リクエスト |
| 認証方式 | OAuthとベアラートークン | OAuth 2.0 | APIキーをヘッダーに1つ |
| 100万件のツイートの費用 | 承認されれば無料 | 約$5,000 | 研究者は無料または割引 |
| エンゲージメント指標 | いいね、リツイート、リプライ | 第三者のツイートでは制限あり | いいね、リツイート、リプライに加えてview_countとbookmark_count |
1回の呼び出しで最大100件のツイートIDを送り、データセットを100件ずつのバッチで回して、結果を.ndjsonに書き出せば分析に進めます。設定の全体像は 過去データのドキュメントをご覧ください。
import requests ids = ["1266876474440761346", "1266868259925737474"] # up to 100 per request res = requests.post( "https://api.sorsa.io/v3/tweet-info-bulk", headers={"ApiKey": "YOUR_API_KEY"}, json={"tweet_links": ids}, ) for tweet in res.json()["tweets"]: print(tweet["full_text"], tweet["user"]["username"])
対象となる方: 教員、ポスドク、博士課程・修士課程の学生、そして市民社会分野の研究者で、非営利のプロジェクトに取り組む方。修士論文、博士論文、助成を受けた教員の研究のいずれも対象です。 ご提供する内容: 予備調査向けの無料リクエスト枠、または大規模な収集に向けた有料プランの継続的な割引です。 2営業日以内にご返信します。
申請の際は、所属機関のアドレス(.eduや大学のドメイン)から contacts@sorsa.io 宛にメールをお送りいただくか、下のフォームをご利用ください。研究上の問いとデータの使い道をご記入のうえ、非営利の研究であることをお知らせください。 IRBや倫理審査への提出用に、データ利用およびコンプライアンスに関する書面をご希望に応じて発行します。 リクエスト単位の定額プランは、公式APIの従量課金と違い、研究計画書に固定の費目として書ける点でも扱いやすくなっています。
メールでも受け付けています: contacts@sorsa.io
商用の用途や、申請なしで標準のAPIアクセスをご希望の場合は、あらゆる量に対応するリクエスト単位の定額プランをご用意しています。詳細は料金ページにまとめています。
選挙をめぐる言説を研究するコミュニケーション系のグループが、提携する研究室から共有された320万件のツイートIDのデータセットを持っているとします。Academic Trackの終了後、こうしたtwarcの処理は認証エラーしか返しません。Sorsaのバッチエンドポイントなら、その320万件のIDは 100件ずつ32,000回のバッチリクエストで済み、Proプラン1か月分の約3分の1です。所要時間は 毎秒20リクエストで実測およそ30分。エンタープライズ契約を結ぶことも、収集の手法を変えることもなく、再取得を再開できます。
できます。バッチエンドポイントは1リクエストにつき最大100件のツイートIDを受け取り、投稿者のプロフィールを含む完全なツイート内容を返します。公式APIに依存していた従来の再取得ツールをそのまま置き換えられ、必要なのはAPIキーだけです。開発者アカウントもOAuthも要りません。
対応しています。全アーカイブ検索は2006年3月までさかのぼって公開ツイートに到達します。アカウント、期間、言語、フレーズ、ハッシュタグの標準的な高度な検索コマンドも使えます。
必要ありません。アクセスはリクエストヘッダーに渡すAPIキーひとつで完結します。申請の待ち行列も、審査の待ち時間も、OAuthのフローもありません。
Sorsaは読み取り専用で、返すのは公開データだけです。書き込み系の操作はなく、誰かのアカウントの代理として動作することもないため、収集の手続きを説明しやすくなります。IRBや倫理審査への提出用に、データ利用およびコンプライアンスに関する書面をご希望に応じて発行します。
あります。非営利であることが確認できた学術研究には、無料または割引でご提供しています。所属機関のアドレスからcontacts@sorsa.io宛に、プロジェクトの概要と想定しているデータの使い道を添えてお送りください。内容を確認のうえご返信します。
返りません。ほかの再取得と同じく、現在も公開されているツイートのみが返ります。最初の収集後に削除されたり非公開になったりしたツイートは復元できません。これはどの方法でも共通で、想定どおりの挙動です。
できません。Sorsaは読み取り専用に徹しており、対象はX(Twitter)のみです。投稿、リプライ、フォローをはじめ、書き込み系の操作には一切対応していません。
X(Twitter)の全アーカイブ検索とツイートIDからの再取得を、研究費に収まる定額で。読み取り専用、対象は公開データ、APIキーはひとつ。最初の100リクエストは無料です。クレジットカード不要・有効期限なし。