En sus orígenes, la Plaza Mayor de Madrid era conocida como Plaza del Arrabal, debido a su situación en uno de los arrabales que quedaban fuera de los muros de la ciudad (no deja de ser paradójico que lo que en su día quedara extramuros hoy sea considerado el epicentro de la ciudad). Su creación espontánea la configuró con una forma irregular y no especialmente atractiva. La Plaza estaba formada por un mercado sin ningún orden ni concierto, bajo los soportales de algunas de las casas de los comerciantes que vivían en esta zona, en su mayoría judíos. Su situación fuera de la ciudad se debía a la intención de los comerciantes de evitar pagar el portazgo, la clásica tasa comercial de las ciudades.
Con el paso de los años fue adquiriendo importancia, siendo en 1463 cuando Enrique IV, hermano de Isabel la Católica, concedió a la Villa de Madrid el privilegio de celebrar todos los meses una feria que terminó estableciéndose de forma regular en la ya famosa y animada plaza del Arrabal.

Sin embargo, fue ya en el siglo XVI cuando empezó el verdadero cambio y su creciente importancia gracias a la decisión de Felipe II, en 1561, de convertir a Madrid en la capital de su reino. La Plaza pasó de ser una zona marginal y aislada, a convertirse en un foco de atracción tanto de la vida comercial y como de la vida social de Madrid. Este hecho hizo bascular el eje urbano de la Villa para pasar a ser la Plaza Mayor la verdadera protagonista, terminando con una importante remodelación arquitectónica que hizo desaparecer la antigua plaza del arrabal y aparecer una enorme y actualizada plaza castellana.
El primer edificio que se construyó fue el popular edificio de la panadería (todavía en pie y símbolo de la plaza). Uno de los principales objetivos de los arquitectos era dotar a la plaza de un diseño similar a las ya creadas en otras ciudades como Valladolid y, sobre todo, espacio suficiente para poder alojar todo tipo de actos públicos. Desde sus inicios, la Plaza Mayor fue usada como escenario para los grandes eventos municipales. Desde sus balcones se han podido ver desde corridas de toros hasta ejecuciones públicas, pasando por todo tipo de fiestas, autos de fé, procesiones, etc.

La historia de la Plaza Mayor ha estado marcada por tres grandes incendios en los años, 1631, 1672 y 1790. El último incendio, fue el más devastador y el que arrasó prácticamente con la totalidad de la Plaza, la cual tuvo que ser reconstruida prácticamente por completo. Se aprovechó entonces para unificar la altura de los edificios al único que había sobrevivido durante todos estos años, la Casa de la Panadería.
Durante el siglo XIX cambió varias veces de nombre dependiendo de la situación política. Se ha llamado plaza de la Constitución, Real, de la República y de la República Federal. Hasta que tras la Guerra Civil recuperó su tradicional nombre de Plaza Mayor.
En 1848 la plaza perdió su condición de escenario de espectáculos públicos al convertir su espacio central en un jardín a la francesa. Fue adoquinada, ajardinada y engalanada con fuentes y con una estatua ecuestre de Felipe III. Sin embargo, en los años 60, se realizó una profunda remodelación de las viviendas y balcones y se construyó un aparcamiento subterráneo bajo su superficie que obligó a subir el nivel del pavimento y a reordenar de nuevo su diseño, eliminando fuentes y jardines y quedando con su actual diseño.