Beliau lahir pada tahun 1906 di dusun Gedongan kecamatan Astanajapura, Kabupaten Cirebon Jawa Barat, ayah beliau KH Aly bin Abdul Aziz dan ibu beliau Hasinah binti Kyai Sa’id, KH. Mahrus Aly adalah anak bungsu dari sembilan bersaudara. Masa kecil beliau dikenal dengan nama Rusydi, masa kecil beliau lebih banyak dijalani di tanah kelahirannya, sifat kepemimpinan beliau sudah nampak pada saat masih kecil, hingga beranjak remaja, sehari-hari beliau menuntut ilmu di surau pesantren milik keluarganya, disinilah beliau diasuh oleh ayahnya sendiri KH Aly dan kakak Kandungnya Kyai Afifi. Pada saat beliau berusia 18 tahun, beliau melanjutkan pencarian ilmunya di Pesantren Panggung Tegal, asuhan Kyai Mukhlas Kakak iparnya sendiri, disinilah kegemaran belajar ilmu Nahwu KH. Mahrus Aly semakin teruji dan mumpuni, selain itu KH. Mahrus Aly juga belajar silat pada Kyai Balya seorang jawara pencak silat asal Tegal Gubug Cirebon. Pada saat monok di tegal inilah KH. Mahrus Aly menunaikan ibadah haji pada tahun 1927, selanjutnya KH. Mahrus Aly meneruskan pencarian ilmunya di Pesantren Kasingan Rembang Jawa Tengah yang diasuh KH. Kholil, setelah 5 tahun menuntut ilmu dipesantren ini atau sekitar tahun 1936 KH. Mahrus Aly berpindah menuntut ilmu di Pondok Pesantren Lirboyo Kediri, karena sudah punya bekal ilmu yang mumpuni sehingga KH. Mahrus Aly tinggal mempedalam dan tabaruqan saja, bahkan beliau diangkat menjadi Pengurus Pondok. Selama nyantri di Lirboyo beliau dikenal sebagai satri yang tak pernah letih mengaji, jika waktu libur tiba maka akan beliau gunakan untuk tabaruqan dan mengaji di Pesantren lain, seperti Pondok Pesantren Tebu Ireng Jombang, asuhan KH. Hasyim Asy’ari. PP. Watu congol muntilan Magelang, asuhan Kyai Dalhar. Juga pondok pesantren Langitan tuban, Sarang dan Lasem Rembang.



Sebenarnya KH. Mahrus Aly mondok di Lirboyo tidaklah lama, hanya sekitar tiga tahun saja, namun karena kealimannya membuat KH. Abdul Karim menjadi jatuh hati, dan menjodohkannya dengan salah seorang putrinya yang bernama Zaenab. Tepatnya pada tahun 1938. kemudian pada tahun 1944 KH. Abdul karim mengutus KH. Mahrus Aly untuk membangun kediaman disebelah timur Komplek Pondok. Sepeninggal KH. Abdul Karim, KH. Mahrus Aly bersama KH. Marzuqi Dahlan meneruskan estafet kepemimpinan Pondok Pesantren Lirboyo, ditangan mereka berdualah kemajuan pesat dicapai oleh Pondok Pesantren Lirboyo, banyak santri yang berduyun-duyun untuk menuntut ilmu dan mengharapkan barokah dari KH. Marzuqi dahlan dan KH. Mahrus Aly, bahkan ditangan KH. Mahrus Aly lah, pada tahun 1966 lahir sebuah perguruan tinggi yang bernama IAIT (Institut Agama Islam Tribakti), peran serta KH. Mahrus Aly dalam usaha membangkitkan kemerdekaan juga tidak bisa diremehkan, hal ini disebabkan peran beliau dalam mengirimkan 97 santri pilihan dari pondok pesantren Lirboyo untuk menumpas sekutu di Surabaya, yang belakangan ini dikenal dengan peristiwa 10 November, hal ini juga yang menjadi embrio berdirinya Kodam V Brawijaya. Selain itu KH. Mahrus Aly juga berkiprah dalam penumpasan PKI di daerah kediri dan juga mempunyai andil yang besar dalam perkembangan Jamiyyah Nahdlotul Ulama’, bahkan beliau diangkat menjadi Rois Syuriyah Jawa trimur selama hampir 27 Tahun, hingga akhirnya diangkat menjadi anggota Mutasyar PBNU pada tahun 1985



Duka menggelayut Pondok Pesantren Lirboyo tepatnya pada hari senin tanggal 04 Maret 1985, sang istri tercinta Ibu Nyai Hj. Zaenab berpulang kerahmatullah karena sakit Tumor kandungan yang telah lama nyai derita. Sejak saat itulah kesehatan KH. Mahrus Aly mulai terganggu, bahkan banyak yang tidak tega melihat KH. Mahrus Aly terus menerus larut dalam kedukaan, hingga banyak yang menyarankan agar KH. Mahrus Aly menikah lagi supaya ada yang mengurus beliau, namun dengan sopan beliau menolaknya. Hingga puncaknya yakni pada sabtu sore pada tanggal 18 mei 1985 kesehatan beliau benar-benar terganggu, bahkan setelah opname selama 4 hari di RS Bayangkara Kediri akhirnya beliau dirujuk ke RS Dr. Soetomo Surabaya dengan menggunakan Helikopter atas perintah Pangab LB. Moerdani, manusia berusaha namun Allah Jualah yang menentukan, meskipun pelbagai upaya medis paling canggih sekalipun telah diupayakan oleh tim dokter yang terbaik di RS Dr. Soetomo surabaya, akhirnya KH. Mahrus Aly berpulang kerahmatullah, tepatnya pada Hari Ahad malam Senin Tanggal 06 Ramadlan 1405 H/ 26 Mei 1985, tepat delapan hari setelah beliau dirawat di surabaya. Berita meninggalnya KH. Mahrus Aly membuat duka yang sangat mendalam bagi keluarga besar Pondok Pesantren Lirboyo, karena mereka semua telah kehilangan panutan yang selama ini mereka idolakan dan mereka bangga-bangakan. Beliau wafat diusia 78 tahun.