1C_503/2019

1.

Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis (ATF 141 II 113 consid. 1 p. 116; arrêt 1C_61/2021 du 18 février 2021 consid. 1).

1.1

Le recours est dirigé contre une décision prise en dernière instance cantonale dans une cause de droit public au sens de l'art. 82 let. a LTF, sans qu'aucune des exceptions prévues à l'art. 83 LTF ne soit réalisée; la voie du recours en matière de droit public selon les art. 82 ss LTF est partant ouverte.

Le recourant a pris part à la procédure devant l'instance précédente. En tant que propriétaire du bâtiment dont le classement est en cause, il est particulièrement touché par l'arrêt attaqué et peut se prévaloir d'un intérêt digne de protection à son annulation. Il bénéficie partant de la qualité pour recourir au sens de l'art. 89 al. 1 LTF. Il convient par conséquent d'entrer en matière sur le recours, sous les réserves qui suivent.

1.2

Dans une première partie de son mémoire, le recourant présente son propre état de fait. Une telle manière de procéder, dans la mesure où les faits exposés s'écartent des constatations de l'instance précédente ou les complètent, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires (cf. art. 97 et 105 LTF), est irrecevable, le Tribunal fédéral n'étant pas une instance d'appel (cf. ATF 140 III 115 consid. 2 p. 116 s.; 139 II 404 consid. 10.1 p. 445).

1.3

Selon la jurisprudence, le droit de réplique déduit des art. 6 CEDH et 29 al. 2 Cst. n'a pas vocation à permettre au recourant de présenter, dans le cadre d'un échange d'écritures subséquent, des arguments nouveaux ou des griefs qui auraient déjà pu figurer dans l'acte de recours (cf. ATF 143 II 283 consid. 1.2.3 p. 286; arrêt 1C_70/2020 du 8 décembre 2020 consid. 2); le recourant ne saurait, par ce biais, remédier à une motivation défaillante ou encore compléter les motifs de son recours. Admettre le contraire aurait pour conséquence de prolonger le délai légal de recours, ce que prohibe expressément l'art. 47 al. 1 LTF, et de créer des inégalités de traitement.

En l'espèce, au stade de la réplique, le recourant se prévaut à réitérées reprises d'une constatation inexacte des faits, invoquant à cet égard l'art. 97 al. 2 LTF [ recte : art. 97 al. 1 LTF]. Ces critiques n'interviennent toutefois pas en réponse aux déterminations des autres parties à la procédure, mais constituent des griefs nouveaux, qu'il eût appartenu au recourant d'articuler d'emblée, au stade du recours (cf. consid. 1.2 ci-dessus); tardifs, ils sont irrecevables.

1.4

Selon l'art. 99 al. 1 LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.

A l'appui de son pourvoi, le recourant produit une "Estimation sommaire du coût de rénovation de la villa «X.________»", du 15 avril 2013, établie par G.________ SA (pièce 3 du bordereau du 17 septembre 2019). Il indique que ce document a été déposé dans le cadre de la procédure d'autorisation de construire actuellement suspendue devant le Tribunal cantonal (cf. Faits, let. B). Cette pièce ne ressortant en revanche pas du dossier de la présente cause et le recourant n'expliquant pas que l'exception prévue à l'art. 99 al. 1 in fine LTF serait réalisée, elle est irrecevable (cf. ATF 133 III 393 consid. 3 p.).

2.

A titre de mesure d'instruction, le recourant requiert la production, en mains du Tribunal cantonal, du dossier de la cause cantonale AC.2013.0220 relative à la délivrance d'un permis de construire, actuellement suspendue (cf. Faits, let. B). Outre que le recourant ne fournit aucune explication sérieuse quant à la pertinence de cette mesure, le Tribunal fédéral s'estime suffisamment renseigné pour statuer en l'état du dossier. Il n'y a par conséquent pas lieu de faire droit à cette requête (cf. art. 37 PCF [RS 273], par renvoi de l'art. 55 LTF).

3.

Dans un premier grief intitulé "De l'autorité de l'arrêt de renvoi et non-respect des instructions contenues dans ses considérants", le recourant reproche en substance à l'instance précédente de n'avoir pas respecté l'arrêt de renvoi du Tribunal fédéral du 20 juin 2016 (1C_266/2015); selon lui, la cour cantonale n'était pas autorisée à demander la mise en oeuvre d'une expertise auprès de la CFMH. Cette commission ne serait, en tout état de cause, compétente que pour l'examen d'objets d'importance fédérale et non d'objets d'importance locale ou régionale; l'expertise aurait ainsi été requise en violation du droit fédéral. Dans la suite de son exposé ("De l'autorité de chose jugée liée à la décision du 16 avril 2015"), le recourant soutient encore que le Tribunal cantonal serait à tort revenu sur la question de son intérêt privé à pouvoir démolir "X.________"; à comprendre l'argumentation développée à ce stade, ce point aurait été tranché définitivement par le premier jugement cantonal du 16 avril 2015.

3.1

Selon l'art. 107 al. 2 1 ère phrase LTF, si le Tribunal fédéral admet le recours, il statue lui-même sur le fond ou renvoie l'affaire à l'autorité précédente pour qu'elle prenne une nouvelle décision. Le principe de l'autorité de l'arrêt de renvoi découle du droit fédéral non écrit (ATF 143 IV 214 consid. 5.3.3 p. 222). Conformément à ce principe, l'autorité cantonale à laquelle la cause est renvoyée par le Tribunal fédéral est tenue de fonder sa nouvelle décision sur les considérants de droit de l'arrêt du Tribunal fédéral. Elle est ainsi liée par ce qui a déjà été définitivement tranché par le Tribunal fédéral et par les constatations de fait qui n'ont pas été attaquées devant lui ou l'ont été sans succès (ATF 143 IV 214 consid. 5.2.1 p. 220; 131 III 91 consid. 5.2 p. 94; arrêt 6B_170/2020 du 15 décembre 2020 consid. 1.2). La motivation de l'arrêt de renvoi détermine dans quelle mesure la cour cantonale est liée à la première décision, prononcé de renvoi qui fixe aussi bien le cadre du nouvel état de fait que celui de la nouvelle motivation juridique; les faits nouveaux ne peuvent être pris en considération que sur les points ayant fait l'objet du renvoi, lesquels ne peuvent être ni étendus, ni fondés sur une base juridique nouvelle (ATF 135 III 334 consid. 2 p. 335; arrêt 1B_302/2020 du 15 février 2021).

3.2

Il ressort de l'arrêt de renvoi du 20 juin 2016 que le Tribunal fédéral a retourné la cause au Tribunal cantonal en l'invitant à statuer à nouveau en procédant à une pesée complète des intérêts, non sans avoir préalablement complété l'instruction s'agissant de la valeur historique, scientifique et architecturale de la villa "X.________" (cf. arrêt 1C_266/2015 consid. 3.3). Or, le Tribunal cantonal s'est précisément livré à un tel complément d'instruction: le dossier de la cause a ainsi été enrichi d'un rapport de l'historienne des monuments E.________ de janvier 2017, complété en juin de la même année; celui-ci comprend en outre un texte de janvier 2017 rédigé par l'expert D.________. Que ce dernier n'ait finalement pas été auditionné ne viole au demeurant pas le droit d'être entendu du recourant : en premier lieu, l'arrêt de renvoi n'imposait pas à l'instance précédente de mettre impérativement en oeuvre cette mesure d'instruction (cf. arrêt 1C_266/2015 consid. 3.2.3); le recourant ne prétend ensuite pas l'avoir formellement requise ni que son refus résulterait d'une appréciation anticipée des preuves entachée d'arbitraire. Par ailleurs et contrairement à ce que soutient encore le recourant, l'arrêt du Tribunal fédéral n'interdisait pas non plus à la cour cantonale de mettre en oeuvre d'autres et plus amples mesures d'instructions (cf. en particulier arrêt 1C_266/2015 consid. 3.3 et l'emploi de l'adverbe "notamment"). Il était par conséquent loisible au Juge instructeur, sans que cela ne heurte l'autorité de l'arrêt de renvoi, de requérir une expertise complémentaire auprès de la CFMH.

3.2.1

S'agissant plus particulièrement de cette dernière mesure, et quoi qu'en dise le recourant, celle-ci n'apparaît pas contraire au droit fédéral. Il est vrai qu'en application de l'art. 7 al. 2 de la loi fédérale sur la protection de la nature et du paysage du 1er juillet 1966 (LPN; RS 451), l'établissement d'une expertise par une commission fédérale au sens de l'art. 25 al. 1 LPN ne s'impose que lorsque l'accomplissement d'une tâche fédérale peut altérer sensiblement un objet inscrit dans un inventaire fédéral en vertu de l'art. 5 LPN (IFP, ISOS, IVS; cf. JÖRG LEIMBACHER, in Commentaire LPN, 2e éd. 2019, n. 3 ad art. 7 LPN) ou soulève des questions de fond. Toutefois, aux termes de l'art. 17a LPN, le Conseil fédéral définit les cas dans lesquels une commission peut, avec l'accord du canton, procéder à une expertise de son propre chef ou à la demande de tiers; et l'art. 25 al. 1 let. e de l'ordonnance sur la protection de la nature et du paysage du 19 janvier 1991 (OPN; RS 451.1) de préciser que la CFMH établit des expertises spéciales lorsqu'un projet qui ne constitue pas une tâche fédérale au sens de l'art. 2 LPN pourrait porter préjudice à un objet figurant dans un inventaire de la Confédération au sens de l'art. 5 LPN ou ayant une importance particulière sur un autre plan. C'est le cas de figure ici, dès lors qu'au regard du premier recensement, la villa "X.________" présentait à tout le moins un intérêt local, dont la valeur patrimoniale nécessitait cependant une clarification (note *3V*; cf. art. 49 ss et 52 ss de la loi cantonale du 10 décembre 1969 sur la protection de la nature, des monuments et des sites [LPNMS; RS/VD 450.11]; rapport CFMH du 1er mars 2018 p. 8 s.; JÖRG LEIMBACHER, in Commentaire LPN, 2e éd. 2019, n. 6 s. ad art. 17a LPN). La cour cantonale pouvait dès lors, sans que cela ne soit critiquable, mettre en oeuvre la CFMH pour l'établissement d'une expertise complémentaire.

3.2.2

Pour terminer, il n'y a guère de sens à affirmer que la cour cantonale aurait outrepassé l'autorité de chose jugée de son premier arrêt du 16 avril 2015 en réexaminant la question de l'intérêt privé du recourant, spécialement s'agissant des conséquences financières liées au classement, respectivement à l'interdiction de démolir. En effet, par arrêt de renvoi du 20 juin 2016 (1C_266/2015), le Tribunal fédéral a, pour un motif formel, annulé ce premier arrêt cantonal. Renvoyant la cause à la cour cantonale, le Tribunal fédéral ne l'a pas uniquement invitée à compléter l'instruction s'agissant de la valeur patrimoniale de la villa, mais également à procéder ensuite à une nouvelle pesée complète des intérêts. Une telle directive sous-entend sans conteste une confrontation des intérêts publics à la conservation de l'objet aux intérêts privés du recourant à sa démolition. Le reproche du recourant apparaît dès lors sans pertinence. Autre est en revanche la question de savoir si cette nouvelle pesée a été réalisée en conformité avec le droit fédéral, respectivement avec la garantie de la propriété. Cet aspect sera examiné ultérieurement en lien avec la violation de l'art. 26 Cst. (cf. consid. 5).

3.3

En définitive, les griefs formulés s'agissant de l'autorité de l'arrêt de renvoi du 20 juin 2016, de la force de chose jugée de l'arrêt cantonal du 16 avril 2015, de même que les critiques en lien avec la compétence de la CFMH, apparaissent mal fondés et doivent être rejetés.

4.

Le recourant rappelle ensuite avoir fait valoir, à l'appui de son recours cantonal, des irrégularités formelles liées à la compétence du DFIRE et du DIRH. Selon lui, la cour cantonale aurait alors laissé cette question indécise, de sorte qu'il lui appartenait de statuer sur cette problématique dans le cadre du renvoi de la cause, sauf à violer son droit d'être entendu (art. 29 al. 2 Cst.).

4.1

Dans son premier arrêt, le Tribunal cantonal a retenu que la décision de classement du 28 mai 2014 avait été prise par le département compétent, à savoir le DIRH. Ce dernier n'avait en revanche pas statué sur les oppositions, en particulier celle émanant du recourant: les décisions sur oppositions avaient été prises par le DFIRE, auquel était alors rattaché le SIPAL. Toutefois, les deux départements avaient veillé à la coordination des décisions et à ce que matériellement les oppositions soient traitées; la violation des règles de compétence n'apparaissait pas grave au point d'entraîner la nullité absolue de la décision de classement invoquée par le recourant.

C'est dès lors à tort que le recourant assène que le Tribunal cantonal n'aurait pas formellement statué sur son grief, dans le cadre de son premier jugement. Cette problématique ne faisant pas l'objet de l'arrêt de renvoi du 20 juin 2016 (1C_266/2015), il n'incombait pas à la cour cantonale de se pencher une nouvelle fois sur cet aspect du litige, dans le cadre de la reprise de cause (cf. consid. 3.1 ci-dessus). On ne saurait ainsi voir dans son refus de réexaminer cette question une violation du droit d'être entendu ni une violation de l'autorité du jugement de renvoi; on ne saurait pas non plus reprocher à la cour cantonale un défaut de motivation de son second arrêt, celle-ci ayant dûment rappelé les principes définis par la jurisprudence en matière d'autorité de l'arrêt de renvoi (cf. arrêt attaqué consid. 1).

4.2

Il apparaît quoi qu'il en soit qu'une éventuelle violation du droit d'être entendu commise dans le cadre de la procédure d'opposition, matérialisée, selon le recourant, par le fait que le département compétent n'a pas statué sur son opposition, a été réparée au cours de la procédure cantonale de recours. Le recourant a en effet pu faire valoir l'entier de ses griefs contre le classement devant la cour cantonale, qui bénéficie d'une pleine cognition en fait et en droit (cf. ATF 145 I 167 consid. 4.4 p. 174; 142 II 218 consid. 2.8.1 p. 226 s.); celle-ci a statué sur chacun d'entre eux, le recourant ne se prévalant du reste à cet égard pas d'un déni de justice formel; il a en outre également pu se déterminer s'agissant de la pertinence du classement lors de la reprise de l'instruction par le Tribunal cantonal.

4.3

Le grief apparaît par conséquent mal fondé et doit être rejeté.

5.

Le recourant fait valoir une violation de la garantie de la propriété (art. 26 Cst.). En lien avec ce grief, il remet en cause l'intérêt public à la conservation de la villa "X.________" et affirme que la mesure de classement serait disproportionnée. Il ne conteste en revanche pas l'existence d'une base légale suffisante.

5.1

La garantie de la propriété est ancrée à l'art. 26 al. 1 Cst. Elle n'est toutefois pas absolue. Comme tout droit fondamental, elle peut être restreinte aux conditions fixées à l'art. 36 Cst. La restriction doit ainsi reposer sur une base légale (al. 1), être justifiée par un intérêt public (al. 2) et respecter le principe de la proportionnalité (al. 3). Ce principe exige qu'une mesure restrictive soit apte à produire les résultats escomptés - règle de l'aptitude -, que ceux-ci ne puissent être atteints par une mesure moins incisive - règle de la nécessité -, et qu'il existe un rapport raisonnable entre le but visé et les intérêts publics ou privés compromis - règle de la proportionnalité au sens étroit - (cf. ATF 140 I 168 consid. 4.2.1 p. 173; 135 I 233 consid. 3.1 p. 246).

Les griefs de violation des droits fondamentaux sont soumis à des exigences de motivation accrues (art. 106 al. 2 LTF). La partie recourante doit alors mentionner les principes constitutionnels qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ceux-ci auraient été violés (ATF 141 IV 369 consid. 6.3 p. 375; 136 II 489 consid. 2.8 p. 494; arrêt 1C_104/2019 du 21 avril 2020 consid. 3.1.1).

Sous cette réserve, le Tribunal fédéral examine en principe librement si une restriction de la propriété répond à un intérêt public et respecte le principe de la proportionnalité; il s'impose toutefois une certaine retenue lorsqu'il s'agit de tenir compte de circonstances locales dont les autorités cantonales ont une meilleure connaissance que lui, ou de trancher de pures questions d'appréciation (cf. ATF 140 I 168 consid. 4.2.1 p. 173; 135 I 176 consid. 6.1 p. 181; 132 II 408 consid. 4.3 p. 415). Le Tribunal fédéral doit alors examiner, dans le cadre des griefs soulevés (art. 106 al. 2 LTF), si la décision attaquée se prononce de façon complète sur les motifs d'intérêt public invoqués pour justifier l'atteinte au droit de propriété et si, dans la pesée des intérêts, les intérêts privés ont été pris en considération de manière adéquate (cf. ATF 118 Ia 394 consid. 2b p. 397; arrêts 1C_447/2009 du 11 mars 2010 consid. 4.1;1A.265/2006 du 14 juin 2007 consid. 4.4.5).

5.2

Le recourant reproche à nouveau à l'instance précédente d'être revenue sur la question de son intérêt privé, en particulier financier, à la démolition de la villa. Il lui reproche de s'être arbitrairement écartée de son premier arrêt, en particulier s'agissant de l'importance revêtue par la restriction à son droit de la propriété. Cette approche est toutefois erronée pour les motifs déjà exposés (cf. consid. 3.2.2), l'arrêt de renvoi ordonnant non seulement un complément d'instruction, mais également une pesée complète des intérêts en présence. En confrontant l'intérêt public à la conservation de la villa, mis en particulier en évidence par le rapport de la CFMH, aux intérêts privés du recourant, la cour cantonale n'est pas revenue sur son appréciation, mais s'est conformée aux instructions de l'instance supérieure.

Quant à la longue argumentation déployée ensuite par le recourant en lien avec l'expropriation matérielle, elle ne saurait pas non plus prospérer. Ce n'est en effet pas dans le cadre de la procédure de classement qu'il s'agit de déterminer si l'atteinte entraînée par la mesure de protection est grave au point de justifier une indemnisation, mais par le biais d'une procédure spécifique (cf. art. 116 ss de la loi cantonale sur l'expropriation du 25 novembre 1974 [LE; RS/VD 710.01]; AURÉLIEN WIEDLER, La protection du patrimoine bâti, thèse 2019, p. 104), dont on peut d'ailleurs douter qu'elle relève de la compétence de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (cf. art. 116 LE). L'instance précédente se devait uniquement de déterminer si la mesure envisagée en vue de protéger la villa "X.________" respectait le principe de proportionnalité par rapport aux intérêts du propriétaire, ce qu'il convient à ce stade d'examiner.

5.3

En l'espèce, la cour cantonale a fait siennes les conclusions du rapport CFMH, lesquelles n'entraient pas en contradiction, voire complétaient les éléments décrits par les deux spécialistes du département cantonal, E.________ et D.________. Cette mesure de protection s'imposait en raison de la rareté de l'objet. La villa et le parc demeuraient des témoins précieux de leur temps. La mesure de classement s'imposait également au vu des qualités architecturales propres de la villa. L'intérêt à la conservation de la villa et de ses abords immédiats devait l'emporter sur les intérêts privés - essentiellement financiers - du recourant. A l'intérieur, l'appartement n'était ni en ruine ni inutilisable; son affectation pouvait être conservée. Le classement ne concernait que la villa et ses abords immédiats, à l'exclusion de la partie sud. Dans ces conditions, compte tenu de l'intérêt public à la conservation de la villa, son classement apparaissait justifié et proportionné.

5.3.1

Le recourant remet tout d'abord en cause l'intérêt patrimonial à la conservation de la villa "X.________". Il soutient que, dans le cadre de son premier jugement, la cour cantonale aurait "admis, selon sa propre conviction, que «X.________» ne présentait pas les caractéristiques que l'on voulait bien lui prêter". En faisant par la suite siennes, dans son deuxième arrêt, les conclusions de la CFMH, le Tribunal cantonal aurait pris un parti diamétralement opposé alors que la situation n'avait dans l'intervalle pourtant pas changé, celle-ci s'étant même aggravée en raison de la construction du bâtiment sur la partie sud. Sans toutefois se prévaloir de l'art. 29 al. 2 Cst., il reproche encore à la cour cantonale de n'avoir pas expliqué en quoi le rapport de la commission fédérale était de nature à modifier sa première appréciation, ni les motifs pour lesquels elle s'était écartée des conclusions de l'architecte F.________, mandaté par ses soins.

5.3.2

Par son arrêt de renvoi du 20 juin 2016 (1C_266/2015), le Tribunal fédéral a annulé le premier arrêt et a ordonné au Tribunal cantonal de compléter son instruction s'agissant de la valeur patrimoniale de la villa. Comme déjà évoqué précédemment, le Tribunal cantonal s'est conformé à ces directives en requérant notamment une expertise complémentaire auprès de la CFMH. Le Tribunal cantonal n'a pas "diamétralement" changé son appréciation, mais s'est livré à l'analyse de l'intérêt à la conservation de la villa à la lumière des éléments nouveaux révélés par le complément d'instruction. Il s'est rallié aux conclusions de la CFMH, non sans avoir souligné que ce rapport comportait une synthèse des informations pertinentes à propos de la valeur de la villa; elle n'était pas en contradiction avec ce qui avait été constaté précédemment, de façon plus sommaire dans la décision de classement. Cette expertise mettait clairement en évidence les caractéristiques du quartier. La description du bâtiment et du jardin était suffisamment précise et cohérente, compte tenu de ce qui avait aussi pu être observé lors de l'inspection locale. Les explications de la CFMH étaient convaincantes. La cour cantonale a en outre rappelé qu'en matière de protection des monuments historiques, cette commission disposait de compétences spécialisées particulières, de sorte qu'il convenait d'en respecter l'avis lorsque celui-ci était exprimé de manière claire et sans réserve.

5.3.3

Outre que ces explications apparaissent suffisantes sous l'angle des exigences de motivation déduites de l'art. 29 al. 2 Cst. (cf. ATF 143 III 65 consid. 5.2 p. 70 s.; 142 II 154 consid. 4.2 p. 157) - permettant en particulier au recourant de comprendre les motifs pour lesquels l'avis de l'expert privé n'a pas été suivi -, il n'y a, sur le fond, pas de raison de les mettre en doute. Selon la jurisprudence constante, le juge ne peut en effet s'écarter de l'avis d'un expert en matière technique sans motif valable; il doit exister des objections sérieuses à la force probante du rapport d'expertise (cf. ATF 145 II 70 consid. 5.5 p. 78 et consid. 6.4 p. 79 s.; voir également ATF 146 IV 114 consid. 2.1 p. 118; arrêt 1C_528/2018 du 17 octobre 2019 consid. 4.5, publié in DEP 2020 p. 190). Or, le recourant ne démontre pas que la méthode d'expertise employée par la CFMH serait erronée ou encore que son rapport renfermerait des contradictions commandant de s'en détacher au profit du rapport F.________. Le recourant se contente de critiques appellatoires. Il affirme que le rapport CFMH retiendrait à tort la rareté de la villa; ce faisant, il se contente d'opposer sa propre appréciation à celle de la cour cantonale, respectivement de la CFMH: le rapport énumère en effet les quelques bâtiments présentant des caractéristiques architecturales analogues existant encore dans la région lausannoise (cf. rapport CFMH p. 6); il expose ensuite les éléments caractérisant la rareté de l'objet, décrivant celui-ci comme étant l'une des plus intéressantes villas connues de la littérature scientifique et de l'iconographie pour cette époque dans la région lausannoise (cf. rapport CFMH p. 7). De même et contrairement à ce que soutient le recourant, le rapport CFMH tient compte de la densification du quartier de Chamblandes et inscrit son analyse dans ce contexte (cf. rapport CFMH p. 3 s.). On ne perçoit pas non plus en quoi les autorités précédentes auraient adopté une position paradoxale en autorisant une nouvelle construction dans la partie sud de l'ancienne parcelle no 1355; c'est en particulier perdre de vue que la limitation de la mesure de protection à la seule villa et ses abords immédiats répond à des exigences liées à la proportionnalité, comme cela sera encore discuté ci-après.

A cet égard, il convient d'ailleurs de préciser que la CFMH a explicitement indiqué les raisons pour lesquelles, en dépit de cette altération de la partie sud, l'intérêt à la conservation de la villa et de ses abords demeurait (cf. rapport CFMH p. 7). La critique du recourant tombe partant à faux.

5.3.4

C'est enfin de manière tardive (cf. consid. 1.3) que le recourant se prévaut d'une constatation manifestement inexacte des faits s'agissant de la prétendue absence d'intérêt de la population pour la préservation de la villa "X.________". Il ressort quoi qu'il en soit de l'arrêt attaqué que l'intérêt à la conservation de l'objet ne découle pas uniquement de sa valeur typologique, mais également - aspects reconnaissables du grand public - de ses caractéristiques architecturales propres, ainsi que de la beauté du jardin. Il ne ressort en tout état de cause pas du dossier que le grand public témoignerait d'une hostilité à l'endroit de cette bâtisse, ou encore que sa préservation serait jugée illégitime. On déduit au contraire de la participation à la procédure de deux associations de défense du patrimoine, dont l'une est constituée d'habitants de la commune, l'existence d'une préoccupation de la société civile à la protection de cet objet.

5.3.5

Dans ces circonstances, on ne saurait reprocher à la cour cantonale de s'être ralliée aux conclusions de la CFMH, en tant qu'organe spécialisé (cf. ATF 139 II 185 consid. 9.3 p. 199; voir également ATF 146 IV 114 consid. 2.1 p. 118; arrêt 1C_72/2017 du 14 septembre 2017 consid. 3.2; THIERRY TANQUEREL, Manuel de droit administratif, 2e éd. 2018, n. 508 p. 176), au détriment du rapport de l'architecte mandaté par le recourant, qui ne constitue au demeurant qu'un allégué de partie (cf. ATF 142 II 355 consid. 6 p. 359; 141 IV 369 consid. 6.2 p. 373; cf. également arrêt de renvoi 1C_266/2015 du 20 juin 2016 consid. 3.2.3). Cela est d'autant plus vrai que les conclusions de la CFMH confirment les résultats initiaux des autorités cantonales compétentes, pour l'examen desquels le Tribunal fédéral s'impose une certaine retenue s'agissant de l'appréciation de circonstances locales (cf. ATF 140 I 168 consid. 4.2.1 p. 173; arrêts 1C_72/2017 du 14 septembre 2017 consid. 5.3;1C_32/2012 du 7 septembre 2012 consid. 6.1). Il n'est ainsi pas critiquable d'avoir en définitive retenu que la villa était le rare témoin encore existant d'une manière de construire; qu'en dépit des atteintes, la villa et le parc demeuraient des témoins précieux de leur temps et que, malgré des modifications sensibles du quartier, très densifié, l'ensemble subsistait (cf. apport CFMH p. 7); et enfin, qu'en tant que témoin rare d'une époque architecturale très peu représentée et protégée, elle comptait au sein du patrimoine cantonal (cf. rapport CFMH p. 9).

5.4

Sur le plan de l'intérêt privé du recourant, en particulier financier, la cour cantonale a reconnu que le classement de la villa empêchait la construction d'un immeuble d'habitation moderne. Cela impliquait également l'obligation d'entretenir le monument historique. L'usage de logement de la villa pouvait cependant être maintenu de sorte que la mesure de classement ne privait pas le recourant de tout avantage financier. Il n'était ainsi pas nécessaire de compléter l'instruction au sujet des investissements qu'il y aurait lieu d'engager pour réparer certains éléments extérieurs ou intérieurs de la villa.

5.4.1

S'il est vrai que le recourant conteste la solution de l'instance précédente, il ne fait cependant pas valoir dans son recours qu'elle découlerait d'une appréciation arbitraire des preuves au dossier. Ce n'est du reste qu'au stade de ses écritures ultérieures qu'il soulève un tel grief, invoquant à cet égard une "expertise du bureau W.________" ainsi que l'estimation établie par G.________ SA (pièce 3 du bordereau du 17 septembre 2019). Pour les motifs déjà invoqués ci-dessus une telle manière de procéder n'est pas admissible et ces critiques doivent être déclarées irrecevables (cf. consid. 1.3 et 1.4).

5.4.2

Il n'est quoi qu'il en soit pas critiquable de ne pas avoir instruit de manière plus approfondie la question des coûts de remise en état invoqués par le recourant. La cour cantonale a reconnu que la mesure de classement empêchait la démolition de la villa et la construction, après la vente de la parcelle, d'un immeuble d'habitation moderne. Il est également vrai que cela implique l'obligation d'entretenir le monument historique, le recourant ayant depuis quelques années renoncé à certaines travaux d'entretien compte tenu, selon l'arrêt attaqué, du projet de démolition. Toutefois, sans que cela ne soit valablement contesté, il apparaît - en particulier sur la base des constatations lors de l'inspection locale - que la villa, qui a toujours servi de maison d'habitation pour une famille, peut conserver cette affectation. Le logement peut également être maintenu pour l'usage du recourant ou encore celui de ses proches. Il lui reste également possible de mettre la villa en location. Force est ainsi constater, avec la cour cantonale, que la mesure de classement ne prive pas le recourant de tout avantage financier. Cela suffit, spécialement au regard de l'intérêt patrimonial présenté par la villa, à faire prévaloir l'intérêt public à sa conservation sur les intérêts privés, en particulier financiers, du recourant, la jurisprudence ne garantissant pas une utilisation financière optimale du bâtiment (cf. ATF 126 I 219 consid. 2c p. 221; arrêts 1C_128/2019 du 25 août 2020 consid. 10.4, destiné à publication;1C_72/2017 du 14 septembre 2017 consid. 7.3.2). A ces perspectives s'ajoute en outre le fait que la portion classée de la parcelle se limite à la villa et à ses abords immédiats: la partie sud de l'ancienne parcelle no 1355 n'y ayant pas été englobée, celle-ci a pu faire l'objet d'une opération financière ayant conduit à sa vente en tant que terrain constructible et la réalisation d'un immeuble d'habitation de huit logements.

5.4.3

Enfin, qu'en raison d'un défaut d'entretien - que le recourant justifie par la perspective d'une démolition -, il faille potentiellement entreprendre des travaux d'entretien n'est pas pertinent: l'obligation pour le propriétaire d'entretenir un monument historique classé découle de l'art. 55 al. 1 LPNMS, même si l'entretien se révèle en définitive coûteux; cela ne saurait ainsi constituer un argument pour s'opposer au classement, lorsqu'il est, comme en l'espèce, justifié par des motifs liés à l'intérêt patrimonial de l'objet et sa rareté, la nécessité d'entreprendre le remplacement de certaines installations à l'issue de leur durée d'utilisation étant dans la nature des choses (cf. arrêt 1C_128/2019 du 25 août 2020 consid. 10.3, destiné à publication). Cela étant et comme le rappelle le Tribunal cantonal, cette rigueur est atténuée par la loi - au nom du principe de la proportionnalité -, spécialement par l'art. 56 LPNMS, qui prévoit que l'Etat peut participer financièrement aux fouilles ainsi qu'à l'entretien et à la restauration des monuments historiques et antiquités classés. Il appartiendra au recourant, dans le cadre d'une procédure distincte, de déposer auprès de l'autorité compétente une demande d'intervention financière de l'Etat, s'il le juge opportun (cf. art. 36 du règlement d'application de la LPNMS du 22 mars 1989 [RLPNMS; RS/D 450.11.1]).

5.5

En définitive, compte tenu spécialement de la valeur patrimoniale du bâtiment protégé, de la possibilité (réalisée) de vendre et de construire sur la partie sud du terrain (actuelle parcelle no 7440), ainsi que de l'expectative d'obtenir un certain rendement du logement existant, le Tribunal cantonal pouvait apprécier les circonstances en ce sens que l'intérêt au maintien de la villa "X.________" et de ses abords immédiats devait prévaloir. Aussi, même si la mesure litigieuse est de nature à diminuer les expectatives de rendement du propriétaire, celle-ci répond à intérêt public important et ne porte pas atteinte au principe de la proportionnalité.

Mal fondé, le grief est rejeté.

6.

Les considérants qui précèdent conduisent au rejet du recours, dans la mesure de sa recevabilité, aux frais du recourant, qui succombe (art. 66 al. 1 LTF). Celui-ci versera en outre des dépens à A.________ ainsi qu'à Patrimoine Suisse, par sa section vaudoise, qui obtiennent gain de cause avec l'assistance de mandataires professionnels (art. 68 al.1 LTF). L'association Sauvons le patrimoine de Pully, qui n'a pas procédé à ce stade, n'y a en revanche pas droit (cf. art. 68 al. 2 LTF). N'ont pas non plus droit à des dépens, le Département des finances et des relations extérieures, le Département des infrastructures et des ressources humaines, ainsi que de la municipalité, qui agissent dans l'exercice de leurs attributions officielles (art. 68 al. 3 LTF).