Nicht ganz so erfolgreich verlief die folgende Punktspielsaison. Der Chronist bezeichnet sie als die bis dahin schlechteste in der Geschichte der Fußballabteilung. Nie konnte die "Rote Laterne" abgegeben werden und nach der Vorrunde buchte man erst vier Pluspunkte. Zu Beginn der Rückrunde lief es dann aber besser. Gegen Bisingen gewann man 5:1, gegen Bitz 3:1. Ebenso wurde Burladingen am 21. Februar 1954 3:1 geschlagen. Doch trotz dieser gewaltigen Steigerung konnte man dem Abstieg nur noch entgehen, wen man alle noch ausstehenden Spiele gewinnen würde. Dies war aber nicht der Fall und so musste Schlatt in die B-Klasse absteigen.
Der Verein ließ sich aber durch diesen Abstieg nicht durcheinander bringen. In der Spielsaison 1954/55 wurde Schlatt ohne Punktverlust Herbstmeister und strebte mit aller Macht den Wiederaufstieg an.
Das Jahr 1955 brachte wieder einen Wechsel in der Vereinsführung. Anton Kanz wurde neuer erster Vorsitzender. Obwohl man in der Rückrunde nicht ohne Punktverlust blieb, wurde der TSV Schlatt souverän Meister der B-Klasse und stieg wieder in die A-Klasse auf. Nach der Vorrunde konnte man immerhin 10 Pluspunkte verbuchen. Am Ende war der Klassenerhalt gesichert, was man sich ja als Ziel gesteckt hatte.
Die Runde 1956/57 begann mit einer 4:0-Niederlage auf eigenem Platz gegen Burladingen. Diese Niederlage konnte aber durch den 1:0-Auswärtssieg in Gammertingen wieder wettgemacht werden. Der weitere Verlauf der Runde stand nicht gerade unter einem guten Stern. Am 13. Januar 1957 konnte man zum fälligen Verbandsspiel gegen Grosselfingen wegen Spielermangels nicht antreten. Diese Tatsache ließ für die weiteren Spiele nicht viel erhoffen. Neuer erster Vorsitzender wurde in diesem Jahr Theo Steffen. Am Ender der Runde lag man schließlich auf dem zweitletzten Platz und man hätte eigentlich in die B-Klasse absteigen müssen. Durch die Zusammlegung der beiden Geislinger Vereine SV und TSV konnte der TSV Schlatt durch einen 5:4-Sieg im Entscheidungsspiel gegen Steinhofen den Klassenerhalt sicher.
Mit wechselndem Erfolg verlief dann die Vorrunde 1957/58 und man belegte am Schluss der Vorrunde den letzten Platz. Auch die ersten Spiele der Rückrunde waren nicht dazu angetan, die Hoffnung zu steigern. Gegen den Neuling Dotternhausen verlor man 2:5 und in Nusplingen gar 6:2. Nur ganze drei Punkte konnten in der Rückrunde gemacht werden und am Ende musste man mit einem Punktekonto von 11:41 und einem Torverhältnis von 11:41 in die B-Klasse absteigen.
Dort mischte man dann wieder kräftig mit. Nach 10 Spielen lag man punktgleich mit dem Tabellenersten Boll und dem zweiten Rangendingen auf Platz 3. Am Schluss reichte es allerdings nur zu einem mageren 4. Platz, womit man die Hoffnung auf einen Wiederaufstieg zurückstellen musste.