1920 wurde der VfB Vizemeister und stieg gemeinsam mit Eintracht Braunschweig in die Norddeutsche Liga auf. 1927 gewann Peine den Südbezirkspokal, der etwa dem heutigen Niedersachsenpokal entsprach. Seit 1929 ist der Verein auf dem eigenen Gelände an der Ilseder Straße ansässig. Bis 1933 erreichte der VfB dreimal die Endrunde um die norddeutsche Meisterschaft. Hermann Stanze, Besitzer einer örtlichen Eisenwarenhandlung, engagierte sich als Sponsor, Spielausschussvorsitzender sowie als Betreuer und ergänzte die finanzielle Förderung durch das Stahl-Walzwerk Peine. Durch seine Unterstützung kamen nun Spieler aus anderen Gegenden Deutschlands zum VfB. So holte der Verein zur Saison 1932/33 Ludwig Männer vom FSV Nürnberg nach Niedersachsen. Bei Stanze arbeitete der Mittelfranke als kaufmännischer Angestellter und spielte als Außenläufer beim VfB. Nach dem Abstieg 1934 stiegen sie in der Runde 1934/35 erneut in die Gauliga Niedersachsen auf und erreichten 1935/36 den fünften Platz. Einen der größten Erfolge der Vereinsgeschichte feierte der VfB im Pokalwettbewerb 1936, als die Mannschaft nach einem 3:1-Sieg gegen Hindenburg Allenstein in die Runde der letzten Acht vordrang; im Viertelfinale unterlagen die Stahlstädter allerdings dem späteren Pokalsieger VfB Leipzig mit 2:4. Nach den Olympischen Spielen 1936 wechselte Ludwig Männer gemeinsam mit Peter Lay dann zu Hannover 96.Vorgänger des VfB Peine war der FC Merkur, der als erster Fußballclub im Landkreis Peine im April 1904 gegründet wurde. Vereinsfarben wurden Grün und Rot, die Farben der Stadt – wohl aus Dankbarkeit, dass man auf dem Schützenplatze seinem Hobby nachgehen durfte. Der Verein trat schon im folgenden Jahr dem Norddeutschen Fußball-Verband bei und spielte in einer Klasse mit unter anderem Eintracht Braunschweig. In der 2. Klasse des Bezirks Braunschweig wurde die erste Mannschaft 1906 ungeschlagen Meister. 1913 wurde der FC Merkur ins Vereinsregister eingetragen, wiederum ein Jahr darauf stieg er in die 1. Bezirksklasse auf. Von 1917 bis 1919 bildete der FC Merkur mit dem Verein Komet aufgrund des Krieges einen gemeinsamen Verein namens Peiner SV Merkur-Komet, wodurch man auf fast 300 Mitglieder kam. In der Generalversammlung am 5. Januar 1919 wurde dieser Zusammenschluss aufgelöst und der „Verein für Bewegungsspiele“ neu gegründet.

Nach dem Krieg spielte der VfB Peine in der Oberliga Niedersachsen Süd. Hier verpasste er 1947 die Teilnahme an der neu gegründeten Oberliga Nord nur knapp; hinter den drei für die Oberliga qualifizierten Mannschaften TSV Braunschweig, SV Arminia Hannover und zunächst 07 Linden – nach Protesten sowie annullierten und neu angesetzten Spielen dann Hannover 96 – mussten der Wolfenbütteler SV und Peine als Fünfter und Sechster mit einem Platz in der Verbandsliga vorliebnehmen. 1950 fusionierte der VfB mit dem SC Peine 48 zur Fußball-Sportvereinigung FSV Peine; schon nach zwei Jahren wurde der alte Name allerdings reaktiviert. Noch als FSV Peine gelang den Kickern jedoch der Aufstieg in die Amateuroberliga-Ost, deren erste Saison die Peiner auf dem fünften Platz abschlossen. 1956 und 1957 erreichte der VfB in dieser Spielklasse jeweils den zweiten Platz. Im Mai 1957 führte diese Platzierung in die Aufstiegsrunde zur Oberliga. Gegner waren SV Union Salzgitter, der SC Sperber Hamburg und der spätere Aufsteiger VfB Lübeck, dem Peine im entscheidenden Spiel unterlag. Nur neun Minuten fehlten am Aufstieg in die damals höchste Spielklasse – in der 81. Minute erzielte Lübeck auf der Lohmühle den Treffer zum 1:0-Sieg. Gewinnen konnte der VfB hingegen im Jahr darauf den Niedersachsenpokal. Erfolgreich startete Peine auch 1960 in den DFB-Pokalwettbewerb. Er schaltete die Oberligamannschaften von Hannover 96 und VfV Hildesheim aus und traf in der ersten Hauptrunde auf den amtierenden Deutschen Fußballmeister, den Hamburger SV. Vor der Rekordkulisse von 11.000 Zuschauern unterlag der VfB jedoch dem HSV mit 1:6.

Ab der Saison 1962/63 spielte Peine in der Amateuroberliga West; später in der Landesliga Niedersachsen, die der VfB 1975, 1977 (nach einem Entscheidungsspiel gegen den TSV Helmstedt) und 1978 (wiederum nach Entscheidungsspiel, diesmal gegen Germania Leer) dreimal als Niedersachsenmeister abschloss. 1980 bis 1981 stieg der VfB zweimal in Folge ab bis in die Bezirksoberliga Braunschweig. Erst zehn Jahre später gelang der Wiederaufstieg in die Landesliga, doch ab 1994 folgte ein neuer Absturz, der bis in die Kreisklasse führte. In der Saison 2006/07 spielte die erste Mannschaft in der Bezirksliga Braunschweig. Die B-Jugend stieg 2007 in die Niedersachsenliga auf. Im Jahr 2009 stieg die 1. Mannschaft, unter Trainer Nick Gerull, nach 15 Jahren wieder in die Bezirksoberliga Braunschweig auf, aus der man jedoch postwendend wieder abstieg. Im Jahr 2010 wurden die C-Junioren Bezirksoberliga-Meister, schafften allerdings den Aufstieg in die Regionalliga bei der C-Jugend Niedersachsenmeisterschaft 2010 nicht.

Kurze bundesweite Aufmerksamkeit bekam der Klub im Februar 2012, als er ein einmaliges Spielrecht für den ehemaligen Bundesliga-Profi Aílton erwarb. Dieser sollte allerdings nur in einem Freundschaftsspiel eingesetzt werden, das Spiel wurde jedoch zunächst wetterbedingt abgesagt. Drei Monate später kam Aílton schließlich doch noch in einem Spiel gegen eine Peiner Kreisauswahl zum Einsatz für den VfB.