Sekitar tahun 1700, Padangsidimpuan merupakan lokasi dusun kecil yang sering disinggahi oleh para pedagang sebagai tempat peristirahatan yang disebut “Padang Na Dimpu”. “Padang Na Dimpu” berarti suatu daratan di ketinggian yang ditumbuhi ilalang yang terletak di Kampung Bukit Kelurahan Wek II, dipinggiran Sungai Sangkumpal Bonang.

Pada tahun 1825 oleh Tuanku Lelo, salah seorang pengirim pasukan kaum Padri, dibangun benteng Padangsidimpuan yang lokasinya ditentukan oleh Tuanku Tambusai, yang dipilih karena cukup strategis ditinjau dari sisi pertahanan karena dikelilingi oleh sungai yang berjurang.

Sejalan dengan perkembangan benteng Padangsidimpuan, maka aktivitas perdagangan berkembang di Sitamiang (sekarang), termasuk perdagangan budak yang disebut Hatoban. Untuk setiap transaksi perdagangan, Tuanku Lelo mengutip bea 10 % dari nilai harga barang.

Melalui Traktat Hamdan tanggal 17 Maret 1824, kekuasaan Inggris di Sumatera diserahkan kepada Belanda, termasuk Recidency Tappanooli yang dibentuk Inggris tahun 1771. Setelah menumpas gerakan kaum Padri tahun 1830, Belanda membentuk District (setingkat kewedanaan) Mandailing, District Angkola dan District Teluk Tapanuli dibawah kekuasaan Government Sumatras West Kust berkedudukan di Padang. Antara tahun 1885 sampai dengan 1906, Padangsidimpuan pernah menjadi ibukota Residen Tapanuli.

Dalam ringkasan sejarah tahun 1879 di Padangsidimpuan didirikan Kweek School (Sekolah Guru) yang dipimpin oleh Ch Van Phvysen yang dikenal sebagai penggagas ejaan Bahasa Indonesia. Lulusan sekolah ini banyak dikirim untuk menjadi guru ke Aceh. Salah seorang lulusan ini ialah RAJIUN HARAHAP Gelar Sutan Hasayangan, penggagas berdirinya Indische Veerigining sebagai cikal bakal berdirinya Perhimpunan Indonesia di Negeri Belanda dan merupakan organisasi pertama yang berwawasan Nasional. RAJIUN HARAHAP yang lahir di Batunadua tanggal 30 Oktober 1879, juga menggagas pengumpulan dana studi bagi guru-guru yang akan disekolahkan ke Negeri Belanda.

Dari sejarah ini, dapat disimpulkan, bahwa peranan dan fungsi kota ini sejak dahulu adalah sebagai pusat pemerintah, pusat aktivitas perdagangan dan jasa, serta pusat pendidikan. Namun, pada dasarnya kota Padangsidimpuan telah mengalami perubahan dan perkembangan sedemikian rupa sehingga menjadi kota Padangsidimpuan yang sekarang. Pada waktu yang lampau, kota Padangsidimpuan merupakan satu kesatuan dengan Kabupaten Tapanuli Selatan.

Pada zaman penjajahan Belanda, Kabupaten Tapanuli Selatan disebut Afdeeling Padangsidimpuan yang dikepalai oleh seorang Residen yang berkedudukan di Padangsidimpuan. Afdeeling Padangsidimpuan dibagi atas 3 ( tiga) onder afdeling, masing- masing dikepalai oleh seorang Contreleur dibantu oleh masing-masing Demang, yaitu :

1. Onder Afdeeling Angkola dan Sipirok, berkedudukan di Padangsidimpuan. Onder ini dibagi atas 3 distrik, masing-masing dikepalai oleh seorang Asisten Demang, yaitu :

1. Distrik Angkola berkedudukan di Padangsidimpuan;
2. Distrik Batang Toru berkedudukan di Batang Toru;
3. Distrik Sipirok berkedudukan di Sipirok.

1. Onder Afdeeling Padang Lawas, berkedudukan di Sibuhuan. Onder ini dibagi atas 3

onder distrik, masing-masing dikepalai oleh seorang Asisten Demang, yaitu :

1. Distrik Padang Bolak berkedudukan di Gunung Tua;
2. Distrik Barumun dan Sosa berkedudukan di Sibuhuan;
3. Distrik Dolok berkedudukan di Sipiongot.

1. Onder Afdeeling Mandailing dan Natal, berkedudukan di Kota Nopan. Onder ini dibagi atas 5 onder distrik, masing-masing dikepalai oleh seorang Asisten Demang, yaitu :
   1. Distrik Panyabungan berkedudukan di Panyabungan
   2. Distrik Kota Nopan berkedudukan di Kota Nopan
   3. Distrik Muara Sipongi berkedudukan di Muara Sipongi
   4. Distrik Natal berkedudukan di Natal
   5. Distrik Batang Natal berkedudukan di Muara Soma

Tiap-tiap onder distrik dibagi atas beberapa Luhat yang dikepalai oleh seorang Kepala Luhat (Kepala Kuria) dan tiap-tiap Luhat dibagi atas beberapa kampung yang dikepalai oleh seorang Kepala Hoofd dan dibantu oleh seorang Kepala Ripo apabila kampung tersebut mempunyai penduduk yang besar jumlahnya. Daerah Angkola Sipirok dibentuk menjadi suatu Kabupaten yang dikepalai oleh seorang Bupati yang berkedudukan di Padangsidimpuan.

Daerah Padang Lawas dijadikan suatu Kabupaten yang dikepalai oleh seorang Bupati berkedudukan di Gunung Tua. Daerah Mandailing Natal dijadikan suatu Kabupaten dikepalai seorang Bupati berkedudukan di Panyabungan. Sesudah tentara Belanda memasuki kota Padangsidimpuan dan Gunung Tua, daerah administrasi pemerintahan masih tetap sebagaimana biasa, hanya kantor Bupati dipindahkan secara gerilya ke daerah yang aman yang belum dimasuki oleh Belanda.

Setelah RI menerima kedaulatan pada akhir tahun 1949, maka pembagian Daerah Administrasi Pemerintahan mengalami perubahan pula. Semenjak awal tahun 1950 terbentuklah Daerah Tapanuli Selatan dan seluruh pegawai yang ada pada kantor Bupati Angkola Sipirok, Padang Lawas dan Mandailing Natal ditentukan menjadi pegawai Kantor Bupati Kabupaten Tapanuli Selatan yang berkedudukan di Padangsidimpuan.

Pada masa awal kemerdekaan, Padangsidimpuan adalah merupakan pusat pemerintahan, dari lembah besar Tapanuli Selatan dan pernah menjadi ibukota kabupaten Angkola Sipirok sampai digabung kembali Kabupaten Mandailing Natal, Kabupaten Angkola Sipirok dan Kabupaten Padang Lawas melalui Undang-Undang Darurat Nomor 70/DRT/1956.

Pengadilan Negeri Padangsidimpuan dibuat tahun 1971 (SK Pembentukan tidak diketahui) dengan ketua pertamanya yakni Bapak H. RADJO HARAHAP, S.H., namun baru pada tahun 1979, gedung Pengadilan Negeri Padangsidimpuan. diresmikan oleh Menteri

Kehakiman Republik Indonesia yang pada saat itu diwakili oleh bapak SOEROTO, S.H, selaku Direktur Jenderal Pembinaan Badan Peradilan Umum. Adapun wilayah hukum Pengadilan Negeri Padangsidimpuan kala itu mencakup seluruh wilayah dalam Kabupaten Tapanuli Selatan.

Sejak tanggal 30 Nopember 1982, wilayah Padangsidimpuan dimekarkan menjadi Kecamatan Padangsidimpuan Timur, Padangsidimpuan Barat, Padangsidimpuan Utara dan Padangsidimpuan Selatan dimana Kecamatan Padangsidimpuan Utara dan Padangsidimpuan Selatan dibentuk menjadi Kota Administratif Padangsidimpuan (PP Nomor 32 Tahun 1982).

Pada tahun 1998, Kabupaten Tapanuli Selatan dimekarkan menjadi 2 Kabupaten berdasarkan Undang-Undang Republik Indonesia Nomor 12 Tahun 1998 yang disahkan pada tanggal 23 Nopember 1998 tentang pembentukan Kabupaten Mandailing Natal, yaitu Kabupaten Mandailing Natal (ibukotanya Panyabungan) dan Kabupaten Tapanuli Selatan (ibukotanya Padangsidimpuan). Meskipun Mandailing Natal menjadi kabupaten tersendiri yang terpisah dari Kabupaten Tapanuli Selatan, Kabupaten Mandailing Natal masih termasuk dalam wilayah hukum Pengadilan Negeri Padangsidimpuan, namun sejak dikeluarkannya Keputusan Presiden Republik Indonesia Nomor 1 Tahun 2006 jo. Keputusan Presiden Republik Indonesia Nomor 24 Tahun 2006 tentang Pembentukan Pengadilan Negeri Pasaman Barat, Pengadilan Negeri Tebo, Pengadilan Negeri Sarolangun, Pengadilan Negeri Kutai Barat, Pengadilan Negeri Mandailing Natal, Dan Pengadilan Negeri Tanjung Jabung Timur; Kabupaten Mandailing Natal tidak lagi termasuk dalam wilayah hukum Pengadilan Negeri Padangsidimpuan.

Pada tahun 2001, Padangsidimpuan yang sebelumnya berdasarkan Peraturan Pemerintah Nomor 32 Tahun 1982 merupakan kota administratif dalam Kabupaten Tapanuli Selatan, menjadi kota madya atau daerah tingkat II berdasarkan Undang-Undang Nomor 4 Tahun 2001 tentang pembentukan Kota Padangsidimpuan, yang disahkan pada tanggal 17 Oktober 2001 oleh Menteri Dalam Negeri, atas nama Presiden Republik Indonesia. Kemudian pada tanggal 9 Nopember 2001 diresmikan Padangsidimpuan menjadi kota oleh Gubernur Sumatera Utara.

Dengan keluarnya Undang-Undang Republik Indonesia Nomor 37 Tahun 2007 dan disahkan pada tanggal 10 Agustus 2007 tentang pembentukan Kabupaten Padang Lawas Utara dan Undang-Undang Republik Indonesia Nomor 38 Tahun 2007 dan disahkan pada tanggal 10 Agustus 2007 tentang pembentukan Kabupaten Padang Lawas maka Kabupaten Tapanuli Selatan dimekarkan menjadi 3 Kabupaten, yaitu Kabupaten Padang Lawas Utara (ibukotanya Gunung Tua), Kabupaten Padang Lawas (ibukotanya Sibuhuan), dan Kabupaten Tapanuli Selatan (ibukotanya Sipirok).

Adapun wilayah hukum Pengadilan Negeri Padangsidimpuan sekarang meliputi:

1. Kota Padangsidimpuan ibukotanya Padangsidimpuan dimana Pengadilan Negeri Padangsidimpuan berdiri / berdomisili.
2. Kabupaten Tapanuli Selatan ibukotanya Sipirok, dimana Kabupaten ini dulunya adalah Kabupaten Induk.

1. Kabupaten Padang Lawas Utara ibukotanya Gunung Tua, terdapat Zitting Plaat

Pengadilan Negeri Padangsidimpuan pada kota Gunung Tua.

1. Kabupaten Padang Lawas Ibukotanya Sibuhuan, terdapat Zitting Plaat Pengadilan Negeri Padangsidimpuan pada kota Sibuhuan.

Terkait dengan wilayah Kabupaten Padang Lawas, berdasarkan Keputusan Presiden Nomor 14 Tahun 2016 tentang Pembentukan Pengadilan Negeri Blangpidie, Pengadilan Negeri Meureudu, Pengadilan Negeri Suka Makmue, Pengadilan Negeri Sei Rampah, Pengadilan Negeri Sibuhuan, Pengadilan Negeri Pulau Tanjung, Pengadilan Negeri Teluk Kuantan, Pengadilan Negeri Pangkalan Balai, Pengadilan Negeri Mukomuko, Pengadilan Negeri Gedong Tataan, Pengadilan Negeri Koba, Pengadilan Negeri Mentok, Pengadilan Negeri Banjar, Pengadilan Negeri Cikarang, Pengadilan Negeri Kuala Kurun, Pengadilan Negeri Nanga Bulik, Pengadilan Negeri Pulang Pisau, Pengadilan Negeri Paringin, Pengadilan Negeri Penajam, Pengadilan Negeri Melonguane, Pengadilan Negeri Lasusua, Pengadilan Negeri Wangi Wangi, Pengadilan Negeri Belopa, Pengadilan Negeri Dobo, Pengadilan Negeri Namlea, Dan Pengadilan Negeri Kaimana; di ibukota Kabupaten Padang Lawas yakni di Sibuhuan, didirikan Pengadilan Negeri Sibuhuan. Dengan berdirinya Pengadilan Negeri Sibuhuan, maka Kabupaten Padang Lawas tidak termasuk lagi dalam wilayah hukum Pengadilan Negeri Padangsidimpuan, namun sampai dengan sekarang, Pengadilan Negeri Sibuhuan belum diresmikan atau belum beroperasi, sehingga Kabupaten Padang Lawas masih dalam wilayah hukum Pengadilan Negeri Padangsidimpuan, sampai diresmikannya Pengadilan Negeri Sibuhuan.

Berikut ini daftar Ketua Pengadilan Negeri Padangsidimpuan sejak 1971 sampai dengan sekarang: