Ruffier begann seine Profilaufbahn im Sommer 2006 bei der AS Monaco, wo er jedoch zunächst an Stammkeeper Flavio Roma nicht vorbeikam. In der Saison 2007/08 profitierte er dann von einer Verletzung des Italieners und gab am 15.08.2007 gegen den FC Metz sein Debüt in der Ligue 1.
Der endgültige Durchbruch gelang dem 1,88-Meter-großen Schlussmann in der Folgespielzeit, als er von Trainer Ricardo Gomes zur Nummer Eins befördert wurde und insgesamt 36 Partien für die Mannschaft von der Côte d’Azur bestritt.
Französischen Medienberichten zur Folge kostet Ruffier Saint-Etienne zwischen drei und vier Millionen Euro Ablöse. Der Neuzugang erhält beim französischen Rekordmeister einen Vierjahresvertrag.