Ce musicien de formation était déjà l’acteur le plus demandé et le mieux payé du temps de la République Démocratique Allemande. Pendant plus d'un quart de siècle, il fait partie de la troupe de la Volksbühne où il se distingue dans le répertoire tant classique que moderne. En 1960, sa carrière de star du grand et du petit écran débute avec la série en quatre épisodes "Flucht aus der Hölle". Sa participation à de nombreux films de la DEFA et de la télévision démocratique – dont 60 rôles principaux –lui vaut non seulement d'être récompensé par divers prix tels que le Kunstpreis der DDR (1963) et le Nationalpreis zweiter Klasse pour "Die Verschworenen" (1972), mais d’être élu cinq années consécutives "acteur préféré de RDA" par les téléspectateurs . En 1975, il est nommé artiste de télévision de l'année de la télévision démocratique allemande.

En 1976, il proteste lorsque Wolf Biermann est déchu de sa nationalité. Sa prise de position lui vaut alors une interdiction de tourner pendant 3 ans. En 1980, il s'installe en République Fédérale où il fait rapidement carrière. Dans les années 1980, il est omniprésent à la télévision ; au cinéma, "Lola" (1981) et "Le secret de Veronika Voss" 1982) de Fassbinder, ainsi que "Der Westen leuchtet" (1981) de Niklaus Schilling font d'Armin Mueller-Stahl un acteur très demandé.
Il a tourné avec des réalisateurs de renom tels que Patrice Chéreau, Andrzej Wajda, Istvan Szabo et Bernhard Wicki.
Il obtient le prix d'interprétation masculine du Festival des Films du Monde de Montréal pour son interprétation de Léon dans le film "Amère récolte" d'Agnieszka Holland (1985).

À l'âge de 60 ans, Armin Mueller-Stahl entame une troisième carrière à Hollywood. Sous la direction de Costa-Gavras, il fait ses débuts en Amérique en 1990 dans le film "Music Box" ; grâce à son deuxième film, "Avalon" de Barry Levison (1990), il est nominé aux Oscars. Il enchaîne alors une multitude de films dont "Night on Earth" de Jim Jarmusch (1991), "Utz" de George Sluizer ( 1992) – pour lequel Armin Mueller-Stahl, dans le rôle principal, obtient le Lion d'argent au festival de Berlin - "Der Kinoerzähler" de Bernhard Sinkel (1993), "La Maison aux esprits" de Bille August (1993), "Le Roi des Aulnes" de Volker Schlöndorff, (1996) "Shine" de Scott Hicks (1996) – pour lequel il est un fois de plus nominé, mais cette fois-ci pour l'Oscar du meilleur second rôle- et enfin la nouvelle adaptation cinématographique de Peter Kassovitz du roman de Jurek Becker "Jakob le menteur" (1999). À plusieurs reprises Armin Mueller-Stahl a endossé le rôle de réalisateur, dans un premier temps avec "Gespräch mit dem Biest" (1996), dont il a écrit le scénario. Son rôle est celui d'un sosie d'Hitler. Ses performances d'acteur ont valu à Armin Mueller-Stahl de nombreuses récompenses, telles que la Caméra d'or de Berlin, pour l'ensemble de son œuvre. À Hollywood, Armin Mueller-Stahl appartient à l'Académie des Oscars. En 1998, le titre de docteur honoris causa lui a été remis par le Spertus Institute for Jewish Studies de Chicago.