Pilsētas statusu un tiesības Rūjiena ieguva 1920. gadā. Likumā “Par pašvaldību iestāžu ģerboņiem” bija noteikts, ka ikvienai Latvijas pilsētai ir jābūt savam ģerbonim. Saskaņā ar šo likumu bija izveidota īpaša Heraldiskā komiteja, kas izvērtēja, izstrādāja un apstiprināja ģerboņu projektus. Komiteja sadarbojās arī ar pašvaldībām un uzklausīja to vēlmes ģerboņu projektu sakarā, taču Rūjiena bija viena no tām, kas neatsaucās komitejas aicinājumiem iesniegt ģerboņa projektu, tāpēc jautājumu par pilsētas ģerboni izlēma tikai Heraldiskās komitejas locekļi.

Heraldiskās komitejas izstrādātajā Rūjienas pilsētas ģerbonī ievietotie simboli saistīti ar zemkopības nozīmīgo lomu konkrētās teritorijas vēsturē. Zelta labības kūlītis ar septiņām vārpām norāda uz pārticību, jo Rūjienas pilsētas apkārtne izsenis dēvēta par Vidzemes maizes klēti, bet trīs zilie linu ziedi atsaucas uz senajām linu audzēšanas un pārstrādes tradīcijām. Rūjienas pilsētas jaunais ģerbonis oficiāli apstiprināts 1925. gada 31. oktobrī.

Pilsēta šo ģerboni lietoja līdz pat Latvijas okupācijai. Ziņas par tā lietošanu padomju laikā nav saglabājušās, tāpat kā nav informācijas par kādu citu padomju laika Rūjienas simbolu. Rūjienas pilsētas ģerbonis oficiāli atjaunots 1993. gadā un mūsdienās ieņem centrālo vietu arī Rūjienas pilsētas karogā.