Sejarah Sekolah Menengah Jalan Kolam Air, Batu Pahat bermula pada 8 Mei 1962. Pada mulanya, SMKA merupakan sebuah sekolah yang menumpang bangunannya di Sekolah Tinggi Batu Pahat , ketika itu ia dikenali sebagai Sekolah Lanjutan yang menampung pelajar-pelajar aliran Melayu dan Inggeris yang gagal masuk ke Sekolah Menengah melalui Sistem Peperiksaan Penilaian M.S.S.E.E (Peperiksaan Memasuki Sekolah Menengah).
Apabila sistem peperiksaan MSSEE itu dimansuhkan pada tahun 1964 dengan sendirinya Sistem Sekolah Lanjutan juga terhapus, maka pelajar-pelajar lelaki dan aliran Melayu diserapkan ke SDBL, manakala pelajar perempuannya ke STA. Kepada mereka yang mengikuti aliran Inggeris meneruskan persekolahannya di sekolah ini yang telah diubah namanya kepada Secondary English School, Jalan Kluang, Batu Pahat, yang pada ketika itu menumpang pula bangunannya di Sekolah Rendah Hwa Nan, Batu 3, Jalan Kluang, Batu Pahat.
Tetapi pada tahun 1967 nama sekolah ini telah ditukarkan kepada Sekolah Menengah Inggeris (2) dan berpindah menumpang di Sekolah Tinggi apabila sebuah sekolah baru didirikan di Jalan Kluang dengan nama Sekolah Menengah Rendah Inggeris (sekarang dikenali sebagai Sekolah Menengah Munshi Sulaiman), ia menumpang pula di situ. Setelah menumpang dibanyak bangunan sekolah lain termasuk juga di SDBL pada tahun 1970 maka mulai 1 Jun, 1973 Sekolah Menengah Inggeris (2) memulakan sejarah barunya dengan memulakan persekolahan di bangunan sendiri dengan nama barunya iaitu Sekolah Menengah Jalan Kolam Air, Batu Pahat. Pada ketika itu muridnya berjumlah 592 orang dengan 27 orang guru yang diketuai oleh Encik Gorbax Singh.
Adalah diharapkan dengan kerja keras murid dan guru dan disokong penuh oleh semua pihak khususnya ibu bapa. Prestasi akademik juga ko kurikulum sekolah ini terus meningkat dari masa ke semasa. Pentadbiran dan pengurusan sekolah ini telah dipertanggungjawabkan kepada beberapa orang Guru Besar/Pengetua seperti berikut:
| TAHUN | GRED | PENGETUA |
| 1962 | - | En. Gorbax Singh |
| 1980 | A | En. Tan Eng Soon |
| 1984 | B | Tn. Hj. Paiman b. Hussin |
| 1.2.1988 | A | En. Ab. Rahim b. Omar |
| 1.3.1989 | A | En. V. Sathasivam |
| 1.2.1995 | A | Tn. Hj. Mokhtar b. Siran |
| 16.12.1998 | A | Pn. Hjh. Alimah Abd. Ghani |
| 1.8.2001 | A | Pn. Hjh. Salbiah bt Yahya |
Pada hari ini, sekolah ini menampung seramai kira-kira 1850 murid dan 93 orang guru dengan kelas dari Tingkatan Peralihan hingga Tingkatan Lima dalam dua sesi persekolahan pagi dan petang. Sekolah ini juga telah menampung pelajar Pendidikan Khas (Pekak dan Bisu) seramai kira-kira 20 orang pelajar dari Tingkatan 1,2,3 belajar di sekolah ini. Pelajar Rancangan Khas Agama dari Tingkatan 1 hingga 3 seramai 137 orang pelajar ditempatkan di Asrama Pusat SMKA. Sekolah ini akan terus memainkan peranannya sesuai dengan kehendak matlamat dan objektifnya yang telah ditentukan ke arah kecemerlangan pendidikan seluruhnya
