Nykyisen kirkon paikalle valmistui seurakunnan ensimmäinen kirkko vuonna 1676. Ennen oman kirkon valmistumista härmäläisten kirkkomatkat olivat suuntautuneet Isokyröön ja Pietarsaareen, myöhemmin Lapualle. Kirkon rakennushanke käynnistettiin Tuomiokapitulin luvalla.

Hankkeen aluksi ohjaksiin tarttui pitäjän puuhamies Sipi Kauppi. Työn saattoi päätökseen lapualainen Knuutti Liuhtari. Kirkko oli vaatimaton torniton pitkäkirkko suuruudeltaan 25,5 x 19,5 kyynärää (15 x 12 m). Kirkko oli käytössä vuoteen 1752 saakka, jolloin samalle paikalle valmistui seurakunnan toinen, pitäjän oman pojan Antti Hakolan tekemä suippotorninen puukirkko. Alunperin yksilaivainen kirkko muutettiin myöhemmin ristikirkoksi. Kirkko tuhoutui katontervaajan tupakasta alkaneessa tulipalossa 7.7.1898. Vain muutamia kattokruunuja ja jonkin verran muuta irtaimistoa ehdittiin pelastaa.

Nykyinen, kolmas kirkko vihittiin käyttöön ensimmäisenä adventtina 1903. Kirkon on suunnitellut arkkitehti Josef Stenbäck ja rakentanut kurikkalainen rakennusmestari Salomon Birling härmäläisten kivimiesten avustamana. Kirkkoa on korjattu mm. vuoden 1920 tulipalon jälkeen, vuonna 1937 arkkitehti Ilmari Launiksen suunnitelman mukaan sekä vuonna 1961 arkkitehti Veikko Larkaksen suunnitelman mukaan. Vuonna 1987 kirkko peruskorjattiin arkkitehti Jari Reposen suunnitelmien mukaisesti.

Kirkko on tyyliltään kirkkogotiikan ja kansallisen romantiikan synteesi.