SMKJ yang berdiri teguh dan menjadi kemegahan masyarakat di daerah ini adalah hasil daripada usaha gigih masyarakat daerah ini sendiri. Ini adalah untuk melihat anak-anak di daerah ini berpeluang mendapat pendidikan menengah. Pada tahun 1930, Sekolah Rendah Melayu telah diwujudkan di kampung-kampung daerah ini, seperti Sekolah Rendah Tebing Tinggi, Sekolah Kebangsaan Teh, Sekolah Rendah Damak, Sekolah Rendah Pedah, dan Sekolah Rendah Kampung Bahru. Di Sekolah Rendah Jerantut juga diadakan kelas aliran Bahasa Inggeris. Kemunculan sekolah rendah ini telah mendorong guru-guru dan pemimpin masyarakat di daerah ini telah mendesak kerajaan supaya mengadakan sebuah sekolah menengah. Sebelum penubuhan SMJ pada tahun 1966 murid-murid yang menamatkan pendidikan di sekolah bagi aliran Melayu dan Inggeris pergi pula ke Sekolah Clifford di Kuala Lipis dan Sekolah Menengah Abu Bakar di Kuantan. Oleh kerana jarak antara Jerantut dengan Kuala Lipis atau Kuantan adalah yang menukarkan sekali. Ini menyebabkan ramai murid terlepas peluang begitu sahaja. Hanya yang datang dari golongan yang berada sahaja sanggup menghantar anak mereka untuk melanjutkan pelajaran di sekolah tersebut. Di atas kesedaran inilah maka guru-guru seperti Cikgu Dollah, Cikgu Abdul Rahman, Cikgu Jaafar, Cikgu Jamalludin, dan lain-lain tidak berputus asa, secara berterusan memohon dari kerajaan, negeri, dan pusat supaya menubuhkan sebuah sekolah peringkat menengah. Walaupun permohonan mereka ini lambat ditunaikan oleh pihak pentadbiran, mereka tidak mudah mengalah. Dengan inisiatif sendiri, mereka wujudkan kelas tingkatan satu secara menumpang di sekolah masing-masing. Dalam tahun 1964, tingkatan satu dalam aliran Inggeris telah diwujudkan di Sekolah Rendah Inggeris Jerantut (Sekolah Rendah Kebangsaan Bandar Jerantut). Dalam tahun 1965 telah ada tiga kelas peringkat menengah di Sekolah Rendah Inggeris Jerantut iaitu dua kelas tingkatan satu dan satu kelas tingkatan dua. Dalam tahun 1965 juga tingkatan satu Aliran Melayu (MDK) telah diwujudkan secara menumpang di sekolah-sekolah seperti Sekolah Kebangsaan Bandar, Damak, Tebing Tinggi, dan Sekolah Kebangsaan Pedah.