Pertek ilçesinin güneyinde, Murat Irmağının kıyısında yer alan cami giriş kapısının üzerinde yer alan kitabeye göre Koca Hacılı Ali oğlu Çelebi Bey tarafından 1569’da yaptırılmıştır. Kesme ve moloz taştan yapılan cami, üç kubbeli son cemaat yeri ve tek kubbeli ana mekandan oluşmaktadır. Ana mekanın batısında yer alan beşik tonozlu mekanın duvarında eyvanlı çeşme ve minare vardır. Çeşme, minare ve son cemaat yeri duvarları , iki renkli kesme taştan yapılmıştır.

Çelebi Ağa Camii, bu bölgenin Keban Baraj Gölü suları altında kalmasıyla, Orta Doğu Teknik Üniversitesi Restorasyon Bölümü tarafından taşları numaralandırılmak suretiyle Pertek ilçesinin Soğukpınar Mahallesine bugün bulunduğu yere taşınmış ve burada yeniden monte edilerek kullanıma açılmıştır.