Für die Bahnstrecke zwischen Hamm und Minden wurden Berg und Fluss gleich mehrfach ein Stück verschoben. Denn da, wo jetzt die Züge halten, floss noch Mitte des 19. Jahrhunderts die Weser. Das Flussbett wurde verlegt, der alte Lauf zugeschüttet, und auch der Jakobsberg musste auf einer Höhe und Breite von rund 100 Metern abgetragen werden. Seit 1847 halten hier nun Züge.

Das heutige markante weiße Gebäude stammt aus den Jahren 1913 bis 1916, und für dieses und die Verbreiterung der Bahntrasse musste die Weser erneut ein Stück weichen. Möglicherweise wird sich das Bild noch mal ändern: Inzwischen wird der Bau eines Bahntunnels durch den Jakobsberg heiß diskutiert.