Pesantren Ulumul Qur’an digagas berdasarkan ide dari H. Syahrial Abdul Malik Sulaiman (AMS), SH, M.Hum. Ide bermula ketika beliau menjabat Kepala Kantor Departemen Agama (sekarang Kementerian Agama) Kabupaten Langkat pada tahun 1983-1990. Pembentukan Pondok Pesantren ini sejalan dengan keinginan Pemerintah dan masyarakat Kabupaten Langkat agar Langkat dapat kembali menjadi juara umum dalam pentas Musabaqoh Tilawatil Qur’an (MTQ) tingkat Provinsi sebagaimana yang pernah didapatkan oleh Kafilah Kabupaten Langkat pada Sayembara Al-Qur’an Provinsi ke-1 yang dilaksanakan di Kabupaten Langkat tahun 1951, tepatnya di Kota Binjai (pada waktu itu Kota Binjai adalah Ibukota Kabupaten Langkat).
Kondisi diatas semakin diperkuat lagi dengan realitas Kabupaten Langkat adalah basis penghasil para Ulama. Diperkirakan pada waktu itu 92% (sembilan puluh dua per seratus) masyarakat Kabupaten Langkat merupakan pemeluk agama Islam. Disamping itu juga Kabupaten Langkat juga merupakan pusat Thariqat Naqsabandiah Babusalam, tepatnya di Desa religius Besilam, Kecamatan Padang Tualang.
Gagasan untuk pendirian Pondok Pesantren semakin mendapat momentum ketika MTQ tingkat Provinsi Sumatera Utara XVIII yang dilaksanakan di Kota Tebing Tinggi tahun 1984. Pada waktu itu, oleh Lembaga Pengembangan Tilawatil Qur’an (LPTQ) Provinsi Sumatera Utara menunjuk Kabupaten Langkat sebagai tuan rumah MTQN tingkat Provinsi ke XIX pada tahun 1986. Kabupaten Langkat yang pada waktu dibawah pimpinan Alm. Bapak H. Marzuki Erman (1984 – 1989) sebagai Bupati, Sekretaris Daerah Bapak Drs. H. Hakimil Nasution dan Ketua DPRD adalah Alm. Bapak Drs. Hasan Saidi. Serta Ketua MUI (Majelis Ulama Indonesia) H. Wahab Lubis. Pada saat awal pendiriannya, sosok penting diluar jajaran pejabat Kabupaten Langkat adalah Alm. H. Azrai Abdurrauf, seorang ulama Al-Qur’an untuk tingkat nasional dan juga internasional yang banyak memberikan motivasi berdirinya Pesantren Ulumul Qur’an.
Upaya penyelenggaraan kegiatan pendidikan Pesantren Ulumul Qur’an memerlukan badan hukum yang dibuat secara khusus untuk tujuan pendiriannya, maka setelah melalui konsultasi antara Bupati, Kemenang Langkat dan pihak lainnya Bupati Langkat Bapak H. Marzuki Erman merestui dibentuknya Yayasan sebagai Badan Penyelenggara Pondok Pesantren. Pada awal pendiriannya, H. Syahrial AMS yang berlatar belakang PNS Kemenag dan H. Marzuki Erman berlatang belakang Bupati Kepala Pemerintahan Kabupaten Langkat membuat kerjasama antara kedua instansi ini secara bahu membahu untuk membangun Pondok Pesantren ini menjadi semakin mendapat dukungan semua pihak.
Pilihan untuk mententukan Yayasan sebagai badan penyelenggara pondok Pesantren Ulumul Qur’an pada waktu itu didasarkan pertimbangan agar lebih fokusnya pimpinan Yayasan nantinya dalam memperjuangkan eksistensi Yayasan, disamping itu juga Yayasan dapat membuka partisipasi semua elemen lintas pemerintahan dan masyarakat untuk turut berpartisipasi dalam pengembang Pondok Pesantren, dan untuk pertama sekali langsung Bapak H. Marzuki Erman menjadi Ketua Umum Yayasan, hal ini didasarkan atas tekad beliau bagaimana agar proses pendirian Pondok Pesantren ini dapat berjalan baik dari sisi dukungan operasional, maupun dukugan secara kelembagaan dan masyarakat. Walaupun H. Marzuki Erman menjadi ketua Umum Yayasan dan beberapa personil lainnya adalah pejabat pemerintahan di kabupaten Langkat, tidak ada pola khusus yang mewajibkan sistim rekrutmen personil Yayasan harus dari Pemerintahan Kabupaten Langkat.
