Matip și-a început cariera profesionistă la Schalke 04 în 2009 și a făcut parte din echipa care a câștigat DFB-Pokal și DFL-Supercup în 2011. A adunat în total 258 de prezențe pentru Schalke, marcând 23 de goluri. În 2016, la finalul contractului cu echipa germană, a ajuns gratis la Liverpool cu care a câștigat UEFA Champions League în 2019, fiind titular în finală. A mai câștigat UEFA Super Cup în 2019 și Premier League în 2020, primul titlu de campioană pentru Liverpool după 30 de ani.