1945 yılında Erzurum’un Aşkale ilçesi Dallı köyünde dünyaya gelen Arif Sağ, 14 yaşına kadar burada âşıklık geleneğini öğrenip deyişler söylemeye başlamıştır. Daha sonra İstanbul’a yerleşip Aksaray Musiki Cemiyetinde Nida Tüfekçi’nin öğrencisi olmuştur.
1963’te ilk plağı “Gafil Gezme Şaşkın Bir Gün Ölürsün”ü çıkarmış ve 1965 yılında TRT İstanbul Radyosuna bağlama sanatçısı olarak girmiştir. Arif Sağ o yıllarda başlayıp 20 yıl süren ‘45’lik plak döneminin en ünlü adlarından biri olmuş, 50’ye yakın plak, 200’ün üzerinde beste yapmıştır.
1975 yılında kurulan İstanbul Teknik Üniversitesi Türk Müziği Devlet Konservatuarında eğitim görevlisi olarak çalışmaya başlamış ve 1982 yılında buradan ayrılarak özel çalışmalarına ağırlık vermiştir.
1987 ve 1991 yılları arasında Ankara milletvekili olarak mecliste girmiş, 1996 yılında Alman Cumhurbaşkanlığının desteği ile Köln Filarmoni Orkestrasında bağlama çalmıştır. Bağlama ve Anadolu müziğinin dünyaya tanıtılmasında katkısı büyüktür. 2000 yılında ünlü İspanyol gitarist Tomatito ile birlikte 12 Avrupa şehrinde konser vermiştir
Erdal Erzincan’la birlikte kaleme aldığı “Bağlama Metodu” adlı bir de ortak kitabı vardır.