Pada zaman penjajahan Belanda sekitar tahun 1930 dikota Pekalongan hanya terdapat 2 sekolah swasta yang salah satunya bernama "Syama'ilul Huda" yang merupakan generasi dari perguruan Ma'had Islam dan pada waktu itu terdapat satu sekolah negri milik Belanda yang namanya HIS (Holand Island School) dan yang diperbolehkan sekolah itu hanya anak-anak dari pegawai maupun karyawan Belanda.
Kemudian pada tahun 1931 banyak berdiri sekolah-sekolah Islam dikota Pekalongan tetapi sekolah-sekolah tersebut belum bisa diatur dan masalah kurikulumnya atau apa yang akan diajarkan itu masih belum jelas. Sehingga Ustadz Abdullah Al Hinduan dan Ustadz Muhammad Usman yang keduanya merupakan pendiri Perguruan Ma'had Islam yang menyatukan sekolah-sekolah tersebut dan diberi nama "MAI"(Madrasah Arobiyah Islamiah) yang pada waktu iu kepala sekolahnya adalah Ustadz Abdullan Al Hinduan sendiri. MAI mengajarkan Agama dan Bahasanya, agama maksudnya agama islam dan bahasanya itu bahasa arab. Pada tahun 1938 Ustadz Abdullah Al Hinduan berangkat ke Mesir untuk mencari ilmu, disana beliau melanjutkan pendidikan dibidang agama dan bahasanya.
Dan pada tahun 1941 Ustadz Abdullah Al Hinduan kembali ke Pekalongan dan ternyata kurikulumnya sudah berubah. Kemudian Ustadz Abdullah Al Hinduan beserta murid dan teman-temanya yaitu Ustadz Muhammad bin Ahmad assegaf, Ustadz zain bin Abdurrahman bin yahya, Ustadz Muhammad bin Abdurrahman Barakbah, Ustadz Muhsin bin Ali Al 'Atosh dan Ustadz Bisri Ahmad pada tanggal 8 Nopember 1946 mendirikan Perguruan Ma'had Islam yang pada mulanya hanya sekolah dasar yaitu SRMI(Sekolah Rakyat Ma'had Islam) yang sekarang menjadi SD Islam yang terletak di Jl. H.A.Salim 14 Pekalongan. Dan kemudian sekolah sekolah islam yang ada dikota Pekalongan bergabung dengan Perguruan Ma'had Islam dan pada tahun 1946 didirikanlah SMI (Sekolah Menengah Islam) yang sekarang menjadi SMA Islam beralamatkan di Jl. Surabaya No.1 Pekalongan.
