زندان قصر جای مخوفی است. دیوارهای عظیم و متعّدد و کریدورهایی که زندان را احاطه کرده در تازه وارد چنین تاثیر می‌گذارد که انگار کسی که به دام این زندان افتاده‌است هیچ وقت‌‌‌‌ رها نمی‌شود». بزرگ علوی، کتاب «پنجاه‌و‌سه نفر»
این بحث به زندان قصر یکی از مهم‌ترین و بزرگ‌ترین زندان‌های رژیم پیشین و از بناهای قدیمی پایتخت اشاره دارد که در گذر ایام زیر و بَم‌های فراوانی را از سر گذرانده‌است. زندان قصر اینک تعطیل شده و جای آن را باغ موزه قصر گرفته‌است.