Pierwszy pałac w Rzucewie został wzniesiony przez Jana Wejhera w I poł. XVII w. Wiadomo o nim jedynie, że był miejscem wypoczynku króla Jana III Sobieskiego. Podczas swojego pobytu w Gdańsku w latach 1676-1677 król kilkakrotnie odwiedzał Rzucewo uczestnicząc tu w polowaniach.