Vorfahren der Herren von Schwertzell zu Willingshausen wurden erstmals 1106 mit Volprecht von Willingshausen urkundlich erwähnt. Die Herren von Schwertzell zu Willingshausen, die früh in Willingshausen mit einem Burgsitz sesshaft wurden, erwarben 1489 die Gerichtsbarkeit von den Herren von Weitershausen in Merzhausen.
Die vermutlich burgähnliche Wehranlage, wurde später zu einem eigenständigen Rittergut derer von Schwertzell zu Willingshausen ausgeweitet. Mit dem Ende der Monarchie 1918 wurde das Rittergut an die Gemeinde Willingshausen angegliedert.
Das Schloss Willingshausen in seinem heutigen Erscheinungsbild stammt im wesentlichen aus der Renaissancezeit, mit gotischen Überresten und ist der Stammsitz der zur hessischen Ritterschaft gehörenden deutschen Uradelsfamilie.
Im Dreißigjährigen Krieg wurde das Schloss und die Dorfkirche teilweise durch Brand zerstört und ausgeplündert. Nach dem Ende des Krieges 1648 wurde umgehend mit dem Wiederaufbau des Schlosses begonnen. Dabei wurde das Sandsteinbauwerk mit einem Fachwerkobergeschoss ergänzt.
Im Siebenjährigen Krieg wurde das Schloss abermals beschädigt und geplündert.
1814 trafen sich im Schloss Willingshausen neben verschiedenen Persönlichkeiten, unter anderem auch die Gebrüder Grimm mit dem baltischen Kavallerieleutnant Gerhardt Wilhelm von Reutern. Das Schloss Willingshausen wurde Gründungsort der Willingshäuser Künstlerkolonie, durch die freundschaftlichen Beziehungen zwischen den Malern Ludwig Emil Grimm und Gerhardt Wilhelm von Reutern.
Zum Schloss Willingshausen gehört eine an Pflanzen artenreiche historische Garten und Parkanlage mit Orangerie und einer neogotischen Kapelle.
Das Schloss Willingshausen ist Mittelpunkt des land- und forstwirtschaftlichen Familienbetriebes der Herren von Schwertzell zu Willingshausen, die schon seit über 300 Jahren nachhaltige Forstwirtschaft betreiben.
