SQL_CALC_FOUND_ROWSの謎

SQL_CALC_FOUND_ROWSを使うと速いよーって話を見かけたけど、なぜか相当遅くなる。。。
外すと速いんだけど、何だろうか。
JOINしまくりなせいかと思ったけど、

SELECT * FROM user WHERE status = '1' LIMIT 0, 20;
SELECT SQL_CALC_FOUND_ROWS * FROM user WHERE status = '1' LIMIT 0, 20

こんな具合にJOIN全部切ってもSQL_CALC_FOUND_ROWSありの方が遅い。。。