טרחא דציבורא בהחזרת ספר תורה

אם יש רק ספר תורה אחד למניינים מרובים ואחרי הקריאה אדם אחד הולך להחזיר הספר תורה להארון קודש. האם זה נחשב לטירחא דציבורא לחכות לו היכא שיש קדיש מיד או שזה מידות הנכון וישר לחכות לו במיוחד אם יש קדיש ובסופו של דבר הוא יפסיד בשמיעת הקדיש