Jika di dunia ini ada segelintir orang yang begitu haus akan ilmu hingga akhir hayatnya maka Habib Salim adalah salah satu diantaranya. Julukan "Rajanya Ulama" yang disematkan kepada beliau bukanlah julukan yang mengada-ngada.
Pernah ada seorang pelajar Tarim asal Prancis membawa kaset rekaman pengajian Habib Salim ke negaranya. Dalam rekaman itu Habib Salim menjelaskan tentang perang Badar selama 4 jam! Itu "Matan"-nya aja belum termasuk syarahnya! Ketika ia tunjukkan rekaman itu pada salah satu ulama Prancis, ulama itu begitu takjub lantas mengatakan: "Pasti beliau menyampaikan semua ini dengan bantuan kitab!" "Tidak.. Apa yang beliau sampaikan murni dari hafalannya. Ia tak memakai kitab.." Jawab pelajar tadi. "Tidak mungkin.. Bagaimana bisa dia menghafal maklumat sebanyak itu dengan menyebutkan referensi dari puluhan kitab?" Ulama Prancis itu masih tak percaya.
Akhirnya pelajar itu menunjukkan video pengajian Habib Salim, dan betapa terkejutnya Ulama itu setelah ia benar-benar melihat Habib Salim hanya duduk diatas kursi tampa kitab apapun dan mulai menjelaskan sejarah perang Badar selama 4 jam! Ulama Prancis itu hanya bisa tercengang dan berkata : "Aku tak yakin di zaman ini ada yang lebih alim dari beliau!" Habib Salim memang terkenal dengan ingatan "Super" yang beliau miliki. Padahal dulu ketika masih kecil beliau juga sering lupa ketika menghafal sesuatu. Hingga suatu hari ketika beliau belajar di Mekkah, saat itu pintu Ka'bah terbuka karena Ka'bah sedang diperbaiki. Beliau masuk ke dalam Ka'bah dan mulai membaca Yasin 41x dengan niat agar Allah memberikan ia ingatan yang kuat. Sejak saat itu ia tak pernah lupa ketika menghafal suatu maklumat.
Pernah ada seorang tamu yang berkunjung ke perpustakaan pribadi Habib Salim. Perpustakaan yang dipenuhi puluhan ribu kitab itu, bisa jadi adalah salah satu yang terbesar di Yaman. Karena takjub akan banyaknya kitab di Perpustakaan itu, ia bertanya pada Habib Salim : "Habib.. semua kitab ini sudah antum baca ?" Beliau menjawab : "Pertanyaanmu salah.. seharusnya kau bertanya apakah semua kitab ini sudah aku hafal?"
