Kiai Kholil lahir pada hari Selasa, 11 Jumadil Akhir 1235 H di Bangkalan Madura. Ayahnya bernama Abdul Latif bin Kiai Harun bin Kiai Muharram bin Kiai Asrol Karomah bin Kiai Abdullah bin Sayyid Sulaiman. Sayyid Sulaiman ialah cucu Sunan Gunung Jati. Oleh karena itu beliau sangat mengharap dan mohon kepada Allah SWT agar anaknya menjadi pemimpin umat serta mendambakan anaknya mengikuti jejak Sunan Gunung Jati.

Setelah tahun 1850 Kiai Kholil muda berguru kepada Kiai Muhammad Nur di Pesantren Langitan Tuban, kemudian untuk menambah ilmu dan pengalaman beliau nyantri di Pesantren Cangaan Bangil, Pasuruan. Dari sini pindah lagi ke Pesantren Keboncandi Pasuruan. Selama di Keboncandi beliau juga berguru kepada Kiai Nur Hasan di Sidogiri, Pasuruan. Selama di Keboncandi, beliau mencukupi kebutuhan hidup dan belajarnya sendiri dengan menjadi buruh batik, agar tidak merepotkan orang tuanya, meskipun ayahnya cukup mampu membiayainya.

Kemandirian Kiai Kholil nampak ketika beliau berkeinginan belajar ke Makkah, beliau tidak menyatakan niatnya kepada orang tuanya apalagi minta biaya, tetapi beliau memutuskan belajar di sebuah pesantren di Banyuwangi. Selama nyantri di Banyuwangi ini belaiau juga menjadi buruh pemetik kelapa pada gurunya, dengan diberi upah 2,5 sen setiap pohon, upah ini selalu ditabung.

Tahun 1859 ketika berusia 24 tahun Kiai Kholil memutuskan untuk berangkat ke Makkah dengan biaya tabungannya, tetapi sebelum berangkat oleh orang tuanya Kiai Kholil dinikahkan dengan Nyai Asyik. Di Makkah beliau belajar pada syekh dari berbagai madzhab di Masjidil Haram, tetapi beliau lebih banyak mengaji kepada syekh yang bermadzhab Syafi'i.

Sepulang dari Tanah Suci, Kiai Kholil dikenal sebagai ahli fiqih dan thoriqot yang hebat, bahkan ia dapat memadukan kedua ilmu itu dengan serasi dan beliau juga hafidz (hafal Al-Quran 30 juz). Kiai Kholil kemudian mendirikan pesantren di Desa Cengkebuan.

Setelah puterinya yang bernama Siti Khotimah dinikahkan dengan keponakannya sendiri Kiai Muntaha, pesantren di Desa Cengkebuan itu diserahkan kepada menantunya. Sedangkan Kiai Kholil sendiri mendirikan pesantren di Desa Kademangan, hampir di pusat kota sekitar 200 m sebelah barat alun-alun Kota Bangkalan. Di pesantren yang baru ini beliau cepat memperoleh santri. Santri yang pertama dari Jawa tercatat nama Hasyim Asy’ari dari Jombang.

Pada tahun 1924 di Surabaya ada sebuah kelompok diskusi yang bernama Tashwirul Afkar yang didirikan oleh seorang kiai muda Abduk Wahab Hasbullah. Dalam perkembangannya, ketika Kiai Wahab Hasbullah beserta Kiai Hasyim Asy’ari bermaksud mendirikan jam’iyah, Kiai Kholil memberikan restu dengan cara memberikan tongkat dan tasbih melalui Kiai As’ad kepada Kiai Hasyim Asy’ari.

Pada tanggal 29 Romadlon 1343 H dalam usia 91 tahun, karena usia lanjut belaiu wafat. Hampir semua pesantren di Indonesia yang ada sekarang masih mempunyai sanad dengan pesantren Kiai Kholil.