Личная жизнь Никиты Ивановича Панина складывалась не совсем удачно. Семьи своей у него никогда не было. Он всю жизнь прожил холостяком. Возможно, это случилось потому, что он был однолюбом и хранил верность своей невесте - дочери графа Петра Борисовича Шереметева-Анне, которая буквально накануне венчания в 1768 г. скончалась от оспы. С тех пор домом для него стало место службы, а семейное счастье заменили нескончаемые заботы о благе государства. Даже недоброжелатели уважали Никиту Ивановича как личность гордую, честную и душевно тонкую. Французский посол Кальбе-рон писал о нем: "Величавый по манерам, ласковый, честный противу иностранцев, которых очаровывал при первом знакомстве, он не знал слова "нет"; но исполнение редко следовало за его обещаниями; и если, по-видимому, сопротивление с его стороны - редкость, то и надежды, на него возлагаемые, ничтожны. В характере его замечательна тонкость... соединенная с тысячью приятных особенностей, она заставляет говорящего с ним о делах забывать, что он находится перед первым министром государыни; он может также заставить собеседника потерять из виду предмет разговора и осторожность, которую следует соблюдать в этом увлекательном и опасном общении".
    Никита Иванович за заслуги перед Отечеством был награжден орденом Андрея Первозванного, возведен в ранг фельдмаршала. Когда Екатерина II пожаловала ему присоединенные польские земли, крепостных крестьян и многотысячную сумму денег, он распорядился ими довольно необычно, совсем нехарактерно для своего времени: раздал подарки и деньги подчиненным, с которыми вместе рука об руку шел по трудной и извилистой дипломатической тропе. Сам он всегда обходился минимумом.
    С 1780 г. во внешней политике России наметились новые изменения. Происходит сближение с Австрией. Панин был против этого курса, поэтому подал прошение об отставке. Он был отправлен в бессрочный отпуск, а заменил его Остерман-сын, талантом намного отстававший от Панина.
    Но Панин был уже далек от политики, здоровье его резко ухудшилось. Он жил в своем смоленском имении Дугино, куда часто приезжал его венценосный воспитанник, будущий император России Павел. И 31 марта 1783 г. цесаревич дежурил у постели Панина. Увидев, что жизнь покидает старика, Павел упал на колени и, плача, прильнул губами к руке своего наставника.
    Никита Иванович был похоронен в Александро-Невской лавре, в церкви Благовещения. Но в многолюдной траурной процессии почему-то отсутствовала Екатерина II...