האם צריך לתת צדקה לעניים בזמן התפילה, האין זה "העוסק במצוה, פטור מן המצוה"?

אני חושב שבזמן התפילה זה מפריע לו להתפלל, ולא צריך לתת.