Pierwsza wiadomo¶ć o dworze arcybiskupim w Skierniewicach pochodzi z 1359 r. Dwór był położony na prawym brzegu rzeki Łupi. Był to budynek drewniany i służył arcybiskupom do odpoczynku, a także jako miejsce postoju podczas przejazdów z Łowicza do innych miast Polski. Gdy w 1457 r. Skierniewice z woli prymasów uzykały status miasta, znaczenie miejscowo¶ci wzrosło, a drewniany dwór okazał się za ciasny dla wielu przybywaj±cych tu go¶ci. Skłoniło to w 1609 r. prymasa Wojciecha Baranowskiego do rozpoczęcia budowy obszernego pałacu, który ukończono w 1619 r. Budowla była przykładem stylu renesansowego.
Pałac bardo ożywił Skierniewice. Na dworze prymasowskim rozstrzygano wiele spraw państwowych, przyjmowano posłów, możnowładców, szlachtę i innych dostojników państwowych. Po katastrofalnym pożarze w 1759 r. podjęto odbudowę pałacu na zlecenie prymasa Władysława Aleksandra Łubieńskiego - przeprowadzono j± w latach 1761-1766.
Po odzyskaniu niepodległo¶ci w 1918r. decyzj± władz państwowych pałac wraz z folwarkiem został oddany Szkole Głównej Gospodarstwa Wiejskiego w Warszawie, która utworzyła tu o¶rodek naukowy, stanowi±cy teren badań i praktyk studenckich.
We wrze¶niu 1939r. przebywał tu Adolf Hitler , a podczas całej okupacji pałac był siedzib± władz okupacyjnych. Po wojnie pałac wrócił do swojego poprzedniego wła¶ciciela - SGGW. W lipcu 1964 r. powstała tu samodzielna placówka naukowa - Instytut Warzywnictwa, który jest dzi¶, obok Instytutu Sadownictwa i Kwiaciarstwa dum± Skierniewic.