Sekolah ini merupakan sebuah sekolah swasta Inggeris yang telah diuruskan oleh Miss Edwards pada tahun 1914. Pada tahun itu juga sekolah ini telah diambil oleh kerajaan dan ditukar namanya kepada Government English School Port Dickson. Lima tahun kemudian, bangunan asal sekolah telah mula digunakan. Bangunan tersebut mempunyai 4 buah bilik darjah, sebuah pejabat Guru Besar dan sebuah bilik kecil. Guru Besar pertama sekolah ialah Miss Edwards. 

Bangunan kecil tersebut telah digunapakai sebagai tempat pentadbiran untuk membaiki kapal-kapal pada zaman pemerintahan Jepun di tanah Melayu pada tahun 1942 hingga tahun 1945 dan telah menggunakan nama yang dikenali sebagai Nippon Go-Gokha. Ketika itu, murid-murid sekolah ini dipindahkan ke sekolah melayu yang terletak di Kampung Gelam.

 Pada September 1945, sekolah ini telah dibuka semula oleh En. Lionel Van Gezel sebagai Guru Besar. Bilangan murid-murid telah bertambah dari 50 orang kepada 200 orang. Pertambahan ini berlaku kerana minat anak-anak masyarakat setempat untuuk mendapat pendidikan dan seterusnya mengubah nasib keluarga. Selain itu, sekolah ini dibuka atas desakan orang ramai yang ingin mendalami Bahasa Inggeris. 

Pada tahun 1955 apabila 28 daripada 29 orang pelajar telah lulus dalam peperiksaan Senior Cambridge School Certificate dan kejayaan tersebut merupakan satu rekod sejarah dalam Negeri Sembilan. Dua tahun kemudian, bangunan sekolah ini telah ditambah dan bangunan baru tersebut mengandungi 8 buah bilik darjah, sebuah kantin dan tempat meletak basikal. 

Pentadbiran sekolah telah dibahagikan kepada 2 bahagian pada tahun 1958 iaitu bahagian sekolah rendah dan bahagian sekolah menengah. Bahagian sekolah rendah dikenali sebagai Government English Primary School Port Dickson dan bahagian sekolah menengah pula dikenali dengan nama Government English Secondary School Port Dickson.  Bilangan pelajarnya semakin bertambah iaitu 938 orang di sekolah rendah dan 540 di sekolah menengah.

Pada tahun 1960 sebuah bangunan yang mengandungi 4 buah bilik darjah telah siap dibina dan 2 tahun kemudian sebuah bangunan lagi yang mengandungi 4 buah bilik darjah juga telah disiapkan. Pada tahun tersebut Sekolah Menengah Inggeris Port Dickson telah dipisahkan dan dipindahkan ke bangunan baru yang terletak di Batu 12, Jalan Pantai, Port Dickson. 

Pertambahan pelajar yang semakin meningkat iaitu seramai 2536 orang menyebabkan seramai 1008 orang murid dipindahkan ke Sekolah Kebangsaan Bagan Pinang yang terletak di Batu 4 dan kini sekolah tersebut dikenali dengan nama Sekolah Kebangsaan Panglima Adnan. 

Pasukan pancaragam di sekolah ini telah ditubuhkan pada tahun 1978 dengan kerjasama PIBG. Selain itu, sebuah surau juga telah dibina dan pada tahun tersebut juga Keputusan Peperiksaan Penilaian Darjah Lima telah diumumkan di sekolah ini dan sekolah ini telah mencipta sejarah apabila seramai 14 orang telah mendapat 5A pada tahun 1968. 

Pelancaran sembutan Jubli Intan telah dilancarkan pada tahun 1978 sempena ulangtahun sekolah yang ke-60 setelah mencapai kecemerlangan di dalam Peperiksaan Penilaian Darjah Lima pada 1978. Pada 1982, sekolah ini mencipta rekod sekali lagi apabila berjaya mendapat tempat ketiga Negeri Sembilan dalam Peperiksaan Penilaian Darjah Lima. 

Pada tahun 2007, sebuah kelas Pra Sekolah telah dibina dan menempatkan seramai 25 orang murid di kelas tersebut. Memandangkan bilangan pelajar semakin ramai dan juga keadaan bangunan sedia ada semakin uzur, maka pada tahun 2008 perancangan sebuah blok bangunan yang baru telah dibusulkan. Blok bangunan ini telah siap pembinaan dan telah diserah serta digunakan pada tahun 2010.

Diharap kecemerlangan sekolah ini akan berterusan dan menjadi sekolah yang terbaik di peringkat negeri dan negara. Semoga kejayaan akan dicipta dan seiring dengan harapan negara yang mahu melahirkan pelajar berketrampilan dan cemerlang dalam semua bidang.