渋谷公会堂、建て替えへ…1964年東京五輪で使用