声優・古谷徹、不倫スキャンダルで作品への影響懸念が広がる!