Gradnju Dvorca započeo je 1749. godine vlasnik vukovarskog feuda grof Anzelmo Kazimir Eltz. Dvorac Eltz postupno je nastajao na lijevoj obali Vuke, sjeverozapadno od tadašnjeg grada, što je bio i začetak Novog Vukovara. Dvorac se razvijao od skromne kurije do reprezentativnoga zdanja srednjoeuropskog izgleda. U početku je bio izgrađen samo središnji dio, a kasnije je Dvorac više puta dograđivan. Već 1781. izvršeno je prvo veće proširenje, dok je konačan izgled dobio početkom 20.st. po nacrtima bečkog arhitekta Siedeka. Tada je i nadograđen središnji dio dvorca s rizalitom i tri razine, pa je jednostavna zgrada postala znatno svečanija. Istodobno je u dvorištu dograđen cijeli niz pomoćnih i gospodarskih zgrada koji je izgledom usklađen s glavnom zgradom. Velikih je dimenzija, raskošne koncepcije, obiluje bogatstvom stilskih detalja, ali zadržava skladne odnose. Ubraja se među najreprezentativnije objekte baroknog razdoblja na hrvatskom tlu. Od 1968. godine u Dvorcu Eltz smješten je Gradski muzej Vukovar. Zgrada je 1991. pretrpjela strašna oštećenja a dvorac je u cjelosti obnovljeno u sklopu projekta Savjeta Europe i Ministarstva kulture RH.
Primat – Rd d.o.o. izveo je opremanje muzeja.