Son concurrent parisien s'appelle alors le Gaumont-Palace qui ouvre en octobre 1911, mais qui sera revu entièrement sur les nouveaux standards de l'époque en 1931. C'est cette initiative de Léon Gaumont qui pousse à son tour le distributeur Jacques Haïk à investir dans son palace cinématographique. Il rachète des terrains Boulevard Poissonière et confit la construction du bâtiment à l'architecte Auguste Bluyssen, à qui l'on doit déjà la plus part des belles salles parisienne d'alors et quelques casinos. Le maître d'oeuvre est Georges Tombu, un constructeur important de l'époque. Il est aidé pour la conception de la salle de l'ingénieur américain John Eberson qui officie dans les cinémas des Etats-Unis depuis 1905 (on lui doit en tout près de 100 salles dont le Majectic à Houston qui marque son style des "cinémas d'atmosphères", c'est-à-dire donnant l'impression d'être à l'air libre). Dans un style art déco typique de l'époque, ils s'inspirent du Radio City hall de New-York : même estrade, embrasure arrondi autour de la scène, disposition des trois niveaux et ambiance générale. Pendant les travaux, on creusa si profond qu'on trouva quelques vestiges du vieux Paris : pièces anciennes, ossements, murailles ancienne...
Le lendemain, on ne parle que de cette soirée qui permettra au Rex d'établir rapidement sa notoriété. Le journal Paris-soir titrera "Le Rex est le plus beau Temple jamais élevé à la gloire du Cinéma". Le profit de cette soirée est allé aux œuvres de la Maison de la Légion d'honneur.
Si le succès est là, la crise finit par toucher Jacques Haïk qui vendra la salle à Gaumont en 1935, qui la cédera à son tour à Jean Hellmann l'année suivante. La salle sera réquisitionnée par les allemands pendant l'Occupation. On y passe des informations de propagande et des films qui ont reçu le visa de l'administration nazi, ce qui générera une tentative d'attentat par la résistance communiste. A la Libération, à partir d'octobre 1944, on projette à nouveau des films américains (la production française étant décimée) et quelques difficultés de fonctionnement liées au rationnement du gazogène qui sera contourné en faisant croire que le groupe électrogène fonctionne avec ce carburant. La salle deviendra un centre d'accueil entre avril et juin 1945, pour faire face au retour des nombreux prisonniers.
A cette époque, la carrière d'un film s'étendait sur trois ans. le Rex offre le plus bel écran pour la première exclusivité. Certains films y connaissent d'ailleurs une carrière relativement longue, occupant l'écran plus de deux mois. On distingue ainsi l'onéreux Cléopatre (14 semaines), le fameux Autant en emporte le Vent (11 semaines en 1950 pour la 1ère sortie française), le James Bond de Opération Tonnerre (11 semaines en 1965) ainsi que les Disney Le Livre de la Jungle (11 semaines) et Les aristochats (10 semaines). Si Opération Tonnerre conserve encore aujourd'hui le record pour un film hors animation avec 356.873 spectateurs cumulés (soit 6,2% des entrées de toute la France !), c'est le studio Disney qui trouve un accueil victorieux au Rex dès 1946 et la sortie de Pinocchio. Les score en une semaine sont étonnants au moment de Noël :
- Les Aristochats (décembre 1971) : 115.216 entrées (dont le record de 22.000 entrées en un jour)
- Le livre de la jungle (décembre 1968) : 102.520 entrées (491.000 entrées en 1ère exclusivité pour 709.171 en cumulé)
- Les 101 dalmatiens (décembre 1972) : 78.192 entrées
- Cendrillon (décembre 1978) : 71.838 entrées
Le Rex s'allie avec d'autres salles pour organiser la distribution dans plusieurs salles de la capitale avant que l'exploitation à grande échelle s'affirme à partir de la fin des années 60 : le Gaumont-Palace en 1946 (pendant quelques mois seulement), le Normandie en 1951 (jusqu'en 1967), le Marignan et le Marivaux en 1952, le Moulin Rouge en 1953 (jusqu'en 1962) et la Rotonde en 1961.
Alors que les grands palaces cinématographiques disparaissent, le Grand Rex devient le plus grand cinéma d'Europe en 1972 à la fermeture du Gaumont palace. En utilisant le sous-sol où l'on trouvait les loges et les salles de répétition, il se dote de trois places supplémentaires (soit sept en tout) en 1981, année de l'inscription à l'inventaire des Monuments historiques.
C'est en se réinventant sans cesse que la salle est parvenu à maintenir une fréquentation à plus d'un million d'entrées comme au début des années 60 après un passage à vide dans les années 70 et 80. C'est toujours là que les grandes avant-premières (Star wars, Hunger games, Disney, Marvel, James Bond...) et rétrospectives spéciales (Retour vers le futur, Indiana Jones...) ont lieu désormais.