Wiewohl die Initiatoren versichern, die Vertreibung der Deutschen keineswegs aus dem historischen Zusammenhang - Hitlers rassistische Vernichtungspolitik - reißen zu wollen, befürchten Kritiker genau dies. Weit mehr als hundert Intellektuelle, Wissenschafter und Schriftsteller aus Deutschland, Polen, Tschechien, Österreich und weiteren acht Ländern sprechen sich in einem Appell gegen das Zentrum in der geplanten Form aus. Vor allem in Polen und Tschechien gibt es vehementen Widerstand gegen einen Standort Berlin.
Das Hauptargument der Kritiker: Ein Zentrum mit diesem Ansatz und ausgerechnet in Berlin müsse bei Deutschlands Nachbarn im Osten zwangsläufig alte Ängste wiederbeleben und wäre damit eine Hypothek für die EU-Erweiterung, die auch so nicht leicht zu bewältigen sei. Im Sinne des europäischen Einigungsprozesses könne das Thema nur im europäischen Rahmen behandelt und bewältigt werden.
Es gibt Vorschläge, das Zentrum etwa in Görlitz/Zgorzelec zu errichten, einer seit dem Krieg geteilten Stadt an der deutsch-polnischen Grenze. Der tschechische Expräsident Václav Havel wiederum kann sich Bosniens Hauptstadt Sarajewo oder Pristina im Kosovo als Standort vorstellen.