近代著录中对《木石图》有详细记载者，为知名古书画鉴定家张珩（1915-1963，故宫博物院鉴定委员）所著的《木雁斋书画鉴赏笔记》，然此著录所参照的并非原迹，而是日本出版之珂罗版印刷品，且为“爽籁馆藏”，故可知《木石图》曾为日本收藏家阿部房次郎（1868-1937）之藏品。阿部房次郎曾频繁造访中国，目睹当时中国的动乱波及至艺术文物，深刻体认保存东方文物的重要，故响应京都汉学界领袖内藤湖南（1866-1934）的号召，大量收藏中国古代书画名品。据张珩记载：“此卷方雨楼从济宁购得后乃入白坚（吴佩孚的秘书长）手，余曾许以九千金，坚不允，寻携去日本，阿部氏以万余得去。”可知张珩曾试图向白坚购入《木石图》而未得之经过。