依據我國刑事訴訟法的規定，書記員需要回避的應該由負責審理案件的人民法院的院長作出決定。審判人員、檢察人員、偵查人員的迴避，應當分別由院長、檢察長、公安機關負責人決定；院長的迴避，由本院審判委員會決定；檢察長和公安機關負責人的迴避，由同級人民檢察院檢察委員會決定。
【法律依據】
《刑事訴訟法》第三十一條規定，
審判人員、檢察人員、偵查人員的迴避，應當分別由院長、檢察長、公安機關負責人決定；院長的迴避，由本院審判委員會決定；檢察長和公安機關負責人的迴避，由同級人民檢察院檢察委員會決定。
對偵查人員的迴避作出決定前，偵查人員不能停止對案件的偵查。
對駁回申請回避的決定，當事人及其法定代理人可以申請複議一次。
