Suatu hari tatkala Habib Ali akan menunaikan Sholat Dzuhur berjamaah di Masjid,datang seorang pengemis meminta minta yang pada waktu itu berpapasan dengan Habib Ali di depan rumahnya
"Apa yang bisa saya bantu untuk anda" ujar habib Ali pada si pengemis Di jawab oleh itu pengemis "saya butuh sarung" "kebetulan saya belum punya yang baru,bagai mana kalo yang lainnya?" Sahut Habib pada waktu itu ( Maksud Habib Ali adalah selain dari sarung )
Kata si pengemis "tidak...saya mau sarung Dan sarungnya yang engkau pakai ya Habib" "Tidak bisa yang lainnya, saya ingin segera ke Masjid, yang lainnya saja ? Begitu Habib Ali menimpali.
Dan berkata si pengemis itu: "Katanya Engkau seorang Habib, katanya kau Ali Habsyi, mana Ali Habsyi yang saya dengar"
Mendengar seperti itu Habib Ali menjawab kepada itu pengemis : "tunggulah sebentar saya kedalam dulu" dengan bergegas Habib Ali masuk kedalam rumahnya untuk menemui istrinya,dengan memanggil sang istri, "wahai istriku,apa masih ada sarung di lemari" " Tidak ada ya Abah,sarungnya lagi di cuci,baru aja saya jemur" sahut sang istri "Ada juga sarung buat saya pake sehari hari" tambah si istri menjawab Lalu Habib Ali berkata lagi pada istrinya "sudah ambilkan saja sarungmu buat ku pakai untuk sembahyang"
Beranjak sang istri mengambil sarungnya di lemari untuk di serahkan pada sang suami, sambil penuh tanya "ya Abah ini gak salah?,ini sarung buat wanita, bedakan sarung buat lelaki dan wanita, dan yang Abah pakai bukannya masih bersih ?" Di jawab oleh Habib Ali " iya,ini sarung yang saya kenakan ternyata ada peminatnya,jadi harus segera kuserahkan,dan sarungmu ini biar sementara saya kenakan buat sholat."
