Kustaa muutti kymmenvuotiaana vanhempiensa mukana Lapualle. Hän valmistui Helsingin kanttori-urkurikoulusta 1921 ja toimi Lapuan seurakunnan vt. urkurina 1922–28 ja Lapuan yhteiskoulun laulunopettajana 1923–28. Hän jatkoi opintojaan Helsingin konservatoriossa 1926–27 sekä 1931–32 ja suoritti arvosanat kasvatusopissa ja musiikkitieteessä.

Hän hankki laulunopettajan pätevyyden, auskultoi Helsingin normaalilyseossa ja suoritti kuoronjohtajatutkinnon. Laulunopettajanäytteen hän antoi Kajaanin seminaarissa. Hän muutti Nivalaan vakinaiseksi kanttori-urkuriksi 1928 ja toimi tuntiopettajana Raudaskylän kristillisessä opistossa 1929–30.

Nivalan nuorisoseuran kuoro sai Kustaa Kiviniemestä ammattitaitoisen johtajan 1929. Hän ei kuitenkaan halunnut vetää kuoroa nuorisoseuran jaostona vaan omana yhdistyksenään, jossa voisivat laulaa muutkin kuin nuorisoseuralaiset. Näin syntyi Nivalan sekakuoro 1931. Kiviniemi harjoitti kuorolle vuorovuosin kevyen ja hengellisen ohjelmiston. Kuoro on hoitanut perustamisestaan lähtien myös kirkkokuoron tehtäviä. Sekakuoro osallistui lukuisiin maakunnallisiin ja valtakunnallisiin laulujuhliin ja kilpailuihin.

Talvisodassa Kustaa Kiviniemi taisteli kaukopartiomiehenä Jalkaväkirykmentti 40:ssa kersanttina. Hän osallistui Pelkosenniemen, Savukosken, Sallan, Viipurinlahden ja Vilajoen taisteluihin. Jatkosodan aikana kersantti Kiviniemi toimi Nivalan suojeluskunnan paikallispäällikkönä.

Kesäkuun kuudentena 1945 juhlittiin Kustaan päivää kanttorilassa. Vieraiden kanssa seurustellessa syntyi kolmen miehen, Kustaa Kiviniemen, Toivo Salanteen ja Juho Liljan kesken ajatus keskikoulun perustamisesta Nivalaan. Sodasta oli juuri selvitty, ja tuleville sukupolville haluttiin tarjota parempaa. Jo kahden viikon kuluttua asia oli kunnanvaltuuston päätettävänä, ja keskikoulu aloitti toimintansa syyskuun puolivälissä 1945. Kanttori Kiviniemi opetti keskikoulussa laulua 1945–66 ja perusti teinikuoron.

Kustaa Kiviniemi vaikutti ratkaisevalla tavalla torvimusiikkiharrastuksen kehittymiseen Nivalassa; hän johti poikatorvisoittokuntaa toistakymmentä vuotta. Hän oli aktiivisesti mukana Keski-Pohjanmaan kanttori-urkuriyhdistyksen toiminnassa ja kuului Kalajokilaakson musiikkiopistotoimikuntaan. Kiviniemi oli kirkkovaltuuston jäsen 1936–66 ja Kalajokilaakson lastensairaalan taloudenhoitaja yli kymmenen vuotta. Director cantus -arvonimi hänelle myönnettiin 1950.

Vanhemmat

maanviljelijä Matti Kiviniemi ja Sanna Vilhelmiina Puska

Puoliso

Saima Vilhelmiina Vaahtoniemi, syntynyt 30.9.1902 Lapua, vanhemmat maanviljelijä Jaakko Vaahtoniemi ja Miina Kangasluoma