Di kota suci Makkah Al Mukarramah, mula-mula beliau belajar di Masjidil Haram. Ayahandanya sangat selektif dalam mencari dan menentukan guru yang akan mengajar dan mendidik putra kesayangannya itu. Ayahandanya yakin bahwa guru adalah sumber ilmu dan kebenaran serta menjadi panutan bagi murid dalam pola berpikir dan berperilaku dalam seluruh aspek kehidupan, sehingga ilmu dan didikan yang diperoleh murid berguna dan bermanfaat bagi kehidupan baik di dunia maupun di akhirat.
Di Masjidil Haram beliau belajar sangat tekun pada ulama’-ulama’ terkenal zaman itu. Kemudian pada tahun 1928 beliau melanjutkan studinya di Madrasah Shaulatiyah yang pada saat itu dipimpin oleh Syaikh Salim Rahmatullah putra syaikh Rahmatullah, pendiri madrasah Shaulatiyah. Madrasah ini adalah madrasah pertama di tanah suci, dan telah banyak menghasilkan ulama’-ulama’ besar. Di Madrasah Shaulatiyah inilah, beliau belajar berbagai disiplin ilmu pengetahuan Islam dengan sangat rajin dan tekun di bawah bimbingan ulama’-ulama’ terkemuka kota suci Makkah waktu itu.
Syeikh Zakaria Abdullah Bila, seorang ulama’ besar kota suci Makkah, teman sekelas beliau mengatakan : “Saya teman seangkatan Syeikh Zainuddin. Saya bergaul dekat dengannya beberapa tahun. Saya sangat kagum kepadanya. Dia sangat cerdas, akhlaqnya mulia. Dia sangat tekun belajar, sampai-sampai jam keluar main pun diisinya dengan menekuni kitab pelajaran dan berdiskusi dengan kawan-kawannya”.
