Ti conviene toglierlo comunque !
Le viti del bracciolo sono grosse di serie (ed anche belle lunghe) e secondo me dovresti smontare il pannello per poi ripristinare i fori dove si avvitano le viti.
O lo fai con delle boccole filettare o con dei tasselli plastici da carrozzieri..... ma in entrambe i casi v a modificato il foro (o allargato per le boccole o fatto quadrato per i tasselli).

Inoltre se lo smonti potrai verificare lo stato generale...... ma questa è una decisione che spetta a te!

Io ti ricordo solo di quanta forza usi quando tiri il bracciolo per chiudere lo sportello.....