Diberbagai kesempatan, Habib Ali Al Jufri seringkali mengenang Guru Beliau, Habib Abdul Qadir Assegaf, yang juga Guru dari Habib Umar dan para Ulama besar lainnya.
Habib Abdul Qadir adalah ulama yang masyhur dengan gelar "Qutbuzzaman",pemimpin para Awliya' di zaman ini.
Habib Ali Aljufri bercerita tentang kenangannya yang tak bisa ia lupakan ketika ia masih menjadi khodam Habib Abdul Qadir :
Pagi itu.. Seorang Muhibbin (sebutan untuk pecinta Ulama) datang ke rumah Habib Abdul Qadir di Jeddah, tak tanggung-tanggung, ia membawa uang sebanyak 1milyar Ryal untuk dihadiahkan kepada beliau.
Habib Abdul Qadir menerima uang itu dan berterima kasih kepada si pemberi.
Tak lama kemudian ia memanggilku : "Ali... Panggil Supir..kita keluar sekarang juga.." Beliau mengajakku keluar dan tak lupa membawa uang 1Milyar itu, sampai disuatu jalan, kami berhenti di dekat sebuah apartemen, beliau memberiku segepok uang lalu berkata : "Di apartemen ini, Di lantai 2, ada seorang janda tua dan anak-anaknya, berikan uang ini untuk mereka"
Sampai di jalan lain, di dekat sebuah rumah kami berhenti lagi, beliau kembali memberiku setumpuk uang : " Ali.. di rumah ini ada saudara kita yang tak mampu, berikan uang ini untuknya"
Aku heran..bagaimana bisa beliau mengetahui mereka dan rumah-rumah mereka satu persatu.. ?
Begitu seterusnya.. Nyaris seharian kami mengelilingi kota Jeddah dan membagi-bagi uang itu untuk Janda-Janda,Anak-anak yatim dan faqir-miskin.
Hingga.. Ketika kami pulang ke rumah Beliau sebelum Maghrib, uang semilyar itu tak tersisa sepeserpun.. !!