Lai gan dzimis Tirzā, jau agrā bērnībā vecāki bija pārcēlušies uz Rīgu, tamdēļ viņš sevi uzskatīja par rīdzinieku. Viņa Rīga bija Aleksandra Čaka apdziedātā Rīga.
Skolnieka gados viņš bija nācis saskarē ar Mākslas akadēmijas profesoru J. Kugu, kurš bija ieteicis pēc skolas beigšanas doties uz Mākslas akadēmiju. Tam nav piekrituši vecāki, jo gribējuši, lai dēlam būtu nodrošināts maizes darbs. Sācis mācīties daiļamatniecības skolā, taču krāsotāja darbs viņu nav interesējis.
Mācījies privāti un kādu laiku arī Tautas augstskolas mākslas studijā. K. Padega, S. Vidberga, E. Rirdāna un J.Dreslera ietekmē pievērsies ilustrācijai un karikatūrai. Vairākas viņa ilustrācijas iespiestas Atpūtā un Sikspārnī.
Otrā pasaules kara laikā Gauju iesauca Latviešu leģionā. Pēc kara beigām, Vācijas nometņu laikos strādāja, par ilustrātoru Jāņa Daņķena grāmatu apgādā. Austrālijā ieceļoja 35 gadu vecumā un apmetās Sidnejā. Apprecējās ar tautskolu direktora Mārtiņa Sostes meitu Gunu un izaudzināja dēlu Ēriku. 1958.gadā pēc attiecīgo pārbaudījumu izturēšanas viņu uzņēma par biedru nozīmīgajā austrāliešu Royal Art Society. 1998. gada jūnijā šī savienība piešķīra associate member statusu.

Sākot ar 1965. gadu laikraksta Austrālijas Latvietis Sidnejas latviešu mākslas izstāžu recenzents un laikraksta līdzstrādnieks. Šo darbu mākslinieks veica 34 gadus. Gauja bija arī ASV izdotā mākslas žurnāla Latvju Māksla redakcijas komisijas loceklis un rakstu sērijas Mākslinieka portrets par Austrālijas latviešu māksliniekiem autors.

1995. gada februārī Gaujas darbi bija pirmo reizi redzami Rīgā, kad viņš ar pieciem darbiem piedalījās Astoņi Austrālijas latviešu mākslinieki kopējā mākslas izstādē Daugavas mākslas galerijā. Nākošo reizi Latvijā Gaujas darbi bija skatāmi izstādē Līnija un krāsa Rīgas visprestižākajā izstāžu vietā - Valsts Mākslas muzejā.  2001. gada septembrī Mārstaļu ielas galerijā Latvijas Mākslas akadēmijas docente Ingrīda Burāne atklāja Gaujas trešo
izstādi Rīgā. (Austrālijas latvietis, 30.08.2006)