部门之间的行政处罚权由谁来行使呢？行政处罚权只能委托给行政机关或者符合条件的组织来行使，不能委托给不符合行政处罚法规定条件的组织行使，更不能委托给个人行使。行政处罚决定可以由行政机关实施行政处罚、授权实施行政处罚、委托实施行政处罚。根据《行政处罚法》第十五条：行政处罚由具有行政处罚权的行政机关在法定职权范围内实施。
那么，行政处罚的基本特征有哪些呢？首先，行政处罚是以对违法行为人的惩戒为目的，而不是以实现义务为目的。这一点将它与行政强制执行区别开来。其次，行政处罚的适用主体是行政机关或法律、法规授权的组织。这一点使它与刑罚区别开来。刑罚的适用主体是人民法院。行政处罚与刑罚的区别：制裁的性质不同；适用的违法行为不同；惩罚程度及适用的程序不同；制裁机关不同；处罚形式不同。
关于行政处罚决定书交罚款后是否有案底的问题，一般来说没有案底的说法。但是缴纳罚款之后违法记录依然会保存一段时间。案底是指个人的违法行为和刑事违法记录，一般主要适用在刑事犯罪领域内。而行政处罚是国家行政机关才可以实施，因为实施的具体现状，只要是法律批准的部门都可以。