Ali Rıza Kaleli; Lala Paşa Camii İmamı Hacı Hamit Efendi’nin güzel sesli öğrencilerinden biridir. 1920 li yıllarda bu grup Erzurum'da sesleri güzel olan Hafızlar ile tekke ve tasavvuf müziği icra ederek bir anlamda Erzurum'daki Türk Musikisi çalışmalarına öncülük etti.
Hacı Hamit Efendi'nin vefatından sonra Erzurum'daki Türk Müziği faaliyetleri Hafız Ali Rıza Kaleli ve kardeşi Faruk Kalelinin önderliğinde 1939 yılına kadar yürütüldü.
Hafız Ali Rıza Kaleli o tarihteki Erzurum Müftüsü Solak Zade Sadık Efendinin ilgisi ve teşvikiyle Tapu Dairesindeki memuriyeti yanında Lâla Paşa Cami'nde ramazan aylarında hatim okuyarak, müezzinlik yaptı ve hafızların musiki yönünden yetişmesine büyük katkıda bulundu.