sparkはデータを貯めずに処理して流すストリーム処理にも対応できるが、fluentdからいきなりsparkにデータを流すと処理が間に合わない時などに取りこぼしてしまう為、kafkaを使って間にバッファを作る、と
You can add location information to your Tweets, such as your city or precise location, from the web and via third-party applications. You always have the option to delete your Tweet location history. Learn more
sparkはデータを貯めずに処理して流すストリーム処理にも対応できるが、fluentdからいきなりsparkにデータを流すと処理が間に合わない時などに取りこぼしてしまう為、kafkaを使って間にバッファを作る、と