Pavel Brázda se narodil 21. srpna 1926 v Brně jako nejstarší ze tří dětí v rodině brněnského advokáta a předáka agrární strany JUDr. Osvalda Brázdy. Jeho matka Eva Brázdová, rozená Koželuhová, byla dcerou JUDr. Josefa Koželuhy a Heleny Čapkové-Koželuhové, sestry bratří Josefa a Karla Čapkových. Její mladší sestra a Pavlova teta JUDr. Helena Koželuhová byla známou protikomunistickou novinářkou.

Pavel Brázda se v dětství doma obklopen díly českého moderního umění projevoval zájem o vážnou hudbu, jazz, literaturu a městskou periferii, která se stala námětem jeho kreseb. Za války byl nuceně nasazen jako dřevorubec, a po jejím skončení se stal zaměstnancem krajského sekretariátu KSČ, avšak brzy se s ideologií strany rozešel. Po ukončení klasického gymnázia se zapsal ke studiu filosofie a dějin umění na Masarykově univerzitě v Brně. Roku 1946 přešel do Prahy a studoval na Akademii výtvarných umění.

Po nuceném vyloučení ze školy v roce 1949 a politických čistkách se Brázda vyučil malířem pokojů a pracoval v odvětví manuální práce. Roku 1950 se oženil s Věrou Novákovou, se kterou měl dceru Kateřinu. Během normalizace pracoval jako topič a zapojil se do samizdatových aktivit. Až po roce 1989 bylo jeho dílo objeveno širší veřejností, a následně byl vybrán jako Osobnost roku v anketě 90 předních kunsthistoriků. Pavel Brázda zemřel 17. prosince 2017 v Praze.