Venngarn blev kronogods under Gustav Vasas tid. År 1653 såldes egendomen till Magnus Gabriel de la Gardie. Han och arkitekten Jean de la Vallée förvandlade medeltidsborgen till ett praktfullt barockslott. Venngarn är det enda slott som landets störste godsägare under 1600-talet, Magnus Gabriel De la Gardie, fick behålla efter Karl XI:s reduktion och han dog där 1686.