Una de las primeras casas que se levantaron en el Real Sitio a partir de 1751, fue la que «se construio en la calle pral. que va a Nuestra Señora de Alpajés, la de Carlos Broschi Farinelo», es decir en la actual calle del Príncipe. Una casa de cantería y madera, que se construyó bajo la dirección del arquitecto de la Corona Santiago Bonavía para el tenor italiano. A la marcha del tenor italiano para su país, puesto que al nuevo Monarca Carlos III no le interesaba mucho el arte de Farinelli, la casa se pone en venta, siendo el primer comprador el propio monarca, ya que por órdenes emanadas desde la Corona, el Rey tenía derecho de tanteo ante una posible venta de cualquier casa levantada en Aranjuez. La casa costó al Rey 16.250 reales de vellón. El desglose del pago quedó de la siguientes forma: 13.800 reales por la casa propiamente dicha, más 2.450 reales de vellón por las mejoras que se realizaron en ella durante el tiempo que la tuvo el tenor italiano en propiedad. La casa estaba construida sobre una superficie de 2.380 pies, con seis piezas más cocina, repostería, despensas, desvanes y patio común.El Palacio de los Duques de Osuna, fue construido en 1750 según proyecto de Bonavía y ampliado posteriormente entre 1787 y 1795 por Juan de Villanueva.
El primer propietario y persona para la que fue construido fue D. Carlos Brochi "Farinelli" (il castrato), el palacio fue cedido por Fernando VI en recompensa a sus servicios.
Farinelli tuvo una gran influencia sobre Bonavía y por consiguiente sobre el trazado de Aranjuez, puede decirse que nada estaba aprobado definitivamente hasta que él no daba el "visto bueno".
El edifio pasa a propiedad de la corona (1760) con la llegada de Carlos III, ya que éste se "desprendió" de Farinelli enviandolo a Italia.
Hacia 1775 el Palacio es vendido al Duque de Osuna y a la Condesa-Duquesa de Benavente su mujer.
Dicho palacio está construido junto al solar en el que se levantó la Casa de Capellanes, después adquirida por el Marqués de LLano (1782) y finalmente en 1792 reformada, ampliada y habitada por Godoy.
