Muş'un adı ve ilk kuruluşu hakkındaki bilgiler net değildir. Ancak bu konuda çeşitli rivayetler ve araştırmalar mevcuttur.
Bir görüşe göre, Muş adı, Asurlular'dan kaçan İbrani kabilelerinden biri tarafından şehre verildi. Bu îddiayı destekleyen bir kaynak olarak, 1914 tarihli Bitlis Vilayet Salnamesi gösterilebilir; bu kaynakta Muş isminin İbranice'de "Sulak, verimli ve otlak" anlamına gelen "Muşa" kelimesinden geldiği belirtilmiştir. Hem şehrin tarihsel olarak yemyeşil ve sulak bir ova ile özdeşleşmesi, bu rivayetin tamamen asılsız olmadığını akla getirir.
Diğer bir rivayet ise, MÖ 12. yüzyılda Ege göçleri sonrasında ilk defa Asur kaynaklarında adı geçen, Yukarı Dicle Vadisi'ne yerleştikleri bildirilen bir kavim olan Muşkiler'in, Muş ismine kaynak teşkil ettiğidir. Bu kavmin bir bölümünün, Hatti egemenliğine son verip doğuya genişledikten sonra Muş yöresine geldiği ve burada şehri kurduğu düşünülüyor. Aynı şekilde, bu kavmin bir kısmının Asur topraklarına girdiği belirgindir. Asur kaynaklarından öğrendiğimize göre, İÖ 12-8 yy. arasında, Muşkiler'in büyük bir orduyla Torosları aştığı, güneye indiği ve Muş'ta bir yerleşim kurarak buraya yerleştiği biliniyor.
Muş'un adına dair bir başka rivayet dini bir kökene dayanıyor. Hz. Nuh'un oğlu Yusuf'un torunu Muş oğullarının bu şehri kurduğu söylenmektedir. Ayrıca, "Muş" isminin Arapça'da "Şeffaf, Parlak" ve Farsça'da "Nehirlerde yolcu taşıyan küçük gemi" anlamlarına geldiği bilinmektedir.
Muş'a ilk dönemden itibaren verilen bir başka isim de "Taronitit" idi; aynı zamanda bu bölgenin merkezi olan Muş'taki yönetim birimi de "Taron" olarak geçmektedir. Bu ad, İslam çağlarında da "Taron" şeklini korumuştur.
Ayrıca, Kaşgarlı Mahmut'un Divan-ı Lügat-i Türk adlı eserinde Muş kelimesinin "kedi" anlamına geldiği belirtiliyor, orada bir örnekte "Ölecek sıçan, kedi aşağı kaşır." şeklinde kullanılması da buna bir örnektir.
Dolayısıyla, muhtelif dönem ve kültürlere ait birçok anlam işaret eden Muş ismi, kentin zengin ve çeşitliliklerle dolu tarihini yansıtıyor.