Në vitet 2004-2005, Fatmir Xhafaj ngjitet në një dikaster të rëndësishëm duke u bërë Ministër i Drejtësisë. Në këtë periudhë, nuk la ndonjë shenjë të madhe në këtë dikaster, veçse mbahet mend për 3 padi penale të bëra në ngarkim të tij, për shpërdorim detyre.

Një nga këto padi, ishte edhe abuzimi me fondet për ndërtimin e një shkolle riedukimi në qytetin e Pogradecit. Kjo godinë 4-katëshe e filmuar nga Top Story, ndodhet në fshatin Piskupat. Prej 13 vitesh, do të duhej të ishte një burg funksional për të mitur, por punimet nuk u përfunduan kurrë. Sot, kjo godinë që duket e harruar, ruhet me turne nga dy policë të Drejtorisë së Burgjeve.

Për ata që e njohin historinë e kësaj godine, e lidhin atë me emrin e Fatmir Xhafajt. Në vitin 2005, kur ai ishte ministër, merret vendimi për ngritjen e burgut për të mitur në zonën elektorale të Xhafajt. Fondi ishte 47 milionë lekë por pas nënshkrimit të kontratës, firma paraqit një preventiv të ri ku merreshin përsipër vetëm 1/3 e punimeve me ato para.

Pra, këto ambjente nuk u kthyen kurrë në burg, për shkak të abuzimit dhe shpërdorimit të parave publike. Ministri pasardhës, demokrati Aldo Bumçi depoziton një padi ndaj Xhafajt. Prokuroria e Tiranës, kreu verifikime por Xhafaj nuk shkoi kurrë në gjykatë si i pandehur pasi shkeljet u klasifikuan si administrative.

Të njëjtin fat, do të kishin edhe dy padi të tjera të depozituara mes muajve nëntor-dhjetor të vitit 2005 nga Ministri i Drejtësisë Asldo Bumçi, në ngarkim të Xhafajt.

Njëra lidhej me një prokurim për rikonstruksion zyrash ndërkohë padia tjetër lidhej me një tender për blerje automjeti për titullarin e institucionit.

Prokuror i Tiranës në atë kohë, ishte Vexhi Muçmata, i cili më pas u caktua si deputet i Partisë Socialiste, në legjislaturën 2013-2017.

Gjithashtu, nga Partia Demokratike, Fatmir Xhafaj u akuzua se krijoi lehtësi si ministër duke u dhënë leje të burgosurve për të votuar në zgjedhjet e 3 Korrikut 2005.

Pikërish në këtë vit, socialistët dolën në opozitë, por Fatmir Xhafaj kishte arritur të siguronte mandatin e deputetit në Pogradec. Marrëdheniet e tij me Fatos Nanon në atë kohë thuajse ishin shkëputur, por Xhafaj mbetej një emër i rëndësishëm pasi drejtimin e PS e kishte marrë Edi Rama.

Top Channel