Die Diemelkampfbahn ist seit Jahrzehnten sportlicher Treffpunkt in Scherfede. Die Wurzeln des heutigen SV Westfalia 03 Scherfede/Rimbeck reichen bis 1903 zurück. 1971 schlossen sich Westfalia Scherfede und Germania Rimbeck zum Eisenbahner-Sportverein (ESV) Scherfede/Rimbeck zusammen. Rimbeck wurde 1978 wieder eigenständig; der Name ESV blieb in Scherfede bis 1993 bestehen. Seitdem trägt der Verein seinen heutigen Namen.
Auch die Sportanlage entwickelte sich stetig weiter. 1986 wurde das Sportheim eingeweiht – mehr als 6.000 ehrenamtliche Arbeitsstunden steckten in seinem Bau. 1992 folgte der zweite Sportplatz mit Flutlichtanlage, 2009 entstand eine Sitzplatztribüne. Nach einem Frost- und Wasserschaden wurde das Sportheim 2012 umfassend saniert.
Heute steht die Westfalia längst für mehr als Fußball. Mit rund 450 Mitgliedern und Sportarten von Fußball über Turnen und Volleyball bis Tennis, Darts und Boule ist sie ein wichtiger Bestandteil des Dorflebens. 2026 wurde zudem auf dem ehemaligen Tennisgelände das neue Breitensportzentrum eröffnet.
