O clube foi criado em 1907 e fez as suas melhores apresentações entre os anos 1930 e 1940, décadas nas quais militava na Gauliga Baden, uma das dezesseis máximas divisões criadas através da reorganização do futebol alemão por parte do Terceiro Reich. Durante esse vintênio, a equipe venceu por cinco vezes a divisão regional e terminou constantemente nas outras temporadas na parte alta da classificação. Não conseguiu prolongar esse sucesso em nível nacional. O seu melhor resultado naqueles anos foi a derrota na semifinal frente ao Schalke 04, o qual sucessivamente ficou no quarto lugar após a final perdida frente ao Rapid Viena. Em 12 de junho de 1949 jogou um importante amistoso contra a Roma, o qual terminou em 1 a 1.
Após o fim da Segunda Guerra Mundial, o time foi inserido na Oberliga Süd, na qual realizou campanhas de médio porte até cair para a 2. Oberliga Süd em 1954. Jogou posteriormente entre a primeira e a segunda divisão até a criação da Bundesliga, em 1963. Na temporada sucessiva, a agremiação foi rebaixada à Regionalliga Süd, a então segunda divisão, junto aos rivais do VfR Mannheim. Após sucessivos resultados de meia importância, o clube retrocedeu, em 1970, à Amateurliga Nordbaden (III).
Sustentada por um novo investidor, a casa produtora de salgados Chio, a agremiação conseguiu o acesso à segunda divisão e por lá permaneceu de 1972 a 1978 com o nome de SV Chio Waldhof Mannheim. Em 1983, surpreendentemente o clube conseguiu a promoção à Bundesliga até ficar no décimo-sétimo lugar ao término da temporada 1989–1990. Fez outras sete discretas temporadas na segunda divisão até cair para a Regionalliga por duas temporadas, de 1997 a 1999. Em 1998, foi considerada uma fusão com o VfR Mannheim, mas este último abandonou a ideia no último minuto. Em 1999, a equipe, após um longo duelo com o Kickers Offenbach, novamente obteve a promoção à segunda divisão. A aventura, porém, durou até 2003, ano no qual o time foi rebaixado para a Oberliga Baden-Württemberg (IV) por irregularidades financeiras. Naquele ano novamente faliu uma nova tentativa de fusão com o VfR Mannheim. O time milita na Regionalliga após vencer o campeonato da Oberliga na temporada 2010–2011, conseguindo também o recorde de presença de público em um estádio no que tange a uma partida de quinta divisão alemã. Na disputa de fechamento do torneio, contra o Illertissen, 18.313 torcedores estavam presentes no Carl-Benz-Stadion para festejar o acesso.
Na temporada 2017–18, ficou em segundo lugar na Regionalliga Südwest, com 71 pontos. Porém, não conseguiu a promoção à terceira divisão alemã depois de perder os 2 jogos contra o Uerdingen (1 a 0 em Duisburgo e 2 a 0 em Mannheim). Em 2018–19, conquista o acesso à 3. Liga depois de vencer a Regionalliga Südwest.
.png)
Alemanha
Jesper Verlaat
/
Benedict Dos Santos
Onur Ünlüçifçi 
Dorian Diring 
Mohamed Gouaida
Hamza Saghiri
Dominik Martinović
Dennis Jastrzembski
Konstantinos Cafaltzis