Castagne začal svoju kariéru s Virtonom, kde debutoval medzi profesionálmi v roku 1995. V roku 1997 prestúpil do Anderlechtu, kde získal tri tituly belgickej Pro League a dva belgické poháre. V roku 2004 nastúpil do Milána, kde v roku 2004 vyhral titul Serie A a v roku 2007 vyhral Ligu majstrov UEFA.
Castagne debutoval v reprezentácii za Belgicko v roku 1999. Za svoju krajinu odohral 54 zápasov, v ktorých strelil štyri góly. Belgicko reprezentoval na Majstrovstvách sveta vo futbale 2002 a na Majstrovstvách Európy 2000.
Po odchode do futbalového dôchodku v roku 2008 Castagne pracoval ako učenec pre belgickú televíziu a rozhlas. Je tiež úspešným podnikateľom, založil niekoľko firiem.
V roku 2021 bol Castagne uvedený do Siene slávy belgického futbalu.