La historia de esta familia es impresionante, pues desde la acomodada posición que ocuparon los padres de los dueños de la Quinta, que eran comerciantes de  ultramarinos en esta zona, lograron que tres de sus ocho hijos hicieran carrera y fortuna.

Fue el hermano mayor, Ezequiel el que se trasladó a Madrid y tuvo suerte con los negocios y consiguió amasar una gran fortuna, invirtiendo en bolsa y participando en la construcción del ensanche madrileño del barrio de Salamanca.

Fortunato que era uno de los hermanos pequeños, estudió Bellas Artes y Arqueología y fue, uno de los artífices de la construcción del palacio y de los jardines. El palacio construido a imagen de los palacios renacentistas italianos alberga una magnífica colección de objetos decorativos y de obras arte, entre los que se encuentran cuadros del  Greco, Goya, Luis de Morales, etc.

Los hermanos fueron comprando terrenos anejos a la finca y consiguieron un espacio de aproximadamente 9 hectáreas, donde construyeron el palacio. Ambos se casaron con las hermanas Fagalde y cuando murieron sin descendencia dejaron la Quinta y su fortuna en una Fundación que lleva su nombre y el de sus esposas y que permite que se conserve su Patrimonio, y que se haya convertido en el orgullo de los asturianos, ya que son cientos de visitantes los que quieren admirar tan magna obra.