De oudste gegevens van het bestaan van Kasteel Schaloen dateren uit 1381. Toendertijd
bestond het uit een nagenoeg vierkant gebouw met op elke hoek twee massieve steunberen
en een arkeltoren in de kap. Rondom het tentvormige dak was een weergang aangelegd.
De bijgebouwen stonden oorspronkelijk aan de rechterzijde van het hoofdgebouw. Een
ophaalbrug over de moerassige slotgracht gaf toegang tot het “eiland”. De muren van
dit eerste bouwwerk waren ruim twee meter dik. De deuren waren van tien centimeter
dik massief eikenhout. Van het burchtverleden is helaas weinig bekend. Wel zijn restanten
van dit eerdere gebouw terug te vinden in de gewelven van het huidige kasteel. Door
de Spaanse-Nederlandse oorlog in de zestiende eeuw werd het kasteel bijna geheel
verwoest maar kon in 1656 weer herbouwd worden. Dit jaartal is terug te vinden in
de muurankers in de linkeraanbouw. Het kasteel had inmiddels zijn verdedigingsfunctie
verloren, gezien het feit dat de weergangen niet meer werden herbouwd, en werd vanaf
toen ook meer beschreven als de “lusthof Schaloen”. Het geheel is opgetrokken uit
mergelsteen. Bij de herbouw waren de dienstgebouwen weggelaten. Maar omdat de kasteelheer
toch werkruimtes, voordschuren e.d. nodig had werden de bijgebouwen dit keer aan
de linkerzijde van het kasteel geplaatst. De slothoeve uit 1701 omgeeft aan drie
zijden een zeer breed voorplein. In 1718 kwamen het poortgebouw en de huidige toegangsbrug
tot stand. In 1721 werden een tuinmans- en een timmermanswoning voltooid. In 1727
kwam er nog een Tiend-schuur bij. Hier moesten de pachters van de landerijen van
Schaloen een tiende deel van de opbrengst als een soort belasting afdragen aan de
heer van Schaloen. Voor de brug naar de hoeve bevindt zich een rijk inrijhek met
gemetselde hoekposten en vleugelstukken dat ook uit de 18e eeuw stamt.
De familie Hulsberg was lange tijd eigenaar van kasteel Schaloen. Een aangetrouwd
lid van de familie, graaf Villers-Masbourg d”Eclaye gaf architect P.H.J Cuypers einde
19e eeuw opdracht het kasteel te verbouwen en te verfraaien. Tot 1934 bleef de familie
Hulsberg op kasteel Schaloen resideren. De Duitsers bezette het tijdens de Tweede
Wereldoorlog, waarna het geheel leeggeplunderd en onbewoonbaar achter bleef. In 1968
werd het kasteel uit financiële nood verkocht. In 1985 kocht de familie Bot het kasteel
en begon men met de restauratie. Momenteel dient het een horecafunctie.