Madsen war der Sohn des Malers A.P. Madsen und der Malerin Sophie Thorsøe Madsen. Er wurde in eine lange Ahnenreihe von Malern hineingeboren. Von 1872 bis 1876 studierte er an der Königlich Dänischen Kunstakademie und daneben ab 1872 an der von Wilhelm Kyhn betriebenen Det freie Aftenakademie.
eBay