罗森在访日期间，还写下了中国近代第一部具有很高历史与文学价值的日本游记。1854年8月当他随培理舰队回到香港后，就把自己写的这部游记题为《日本日记》，交给香港英华书院主办的中文月刊《遐迩贯珍》刊登。在1854年11月号、12月号和1855年1月号上分三期连载。《遐迩贯珍》的编者在前面还加上按语，说作者是编者的“平素知己好友”，刊登这篇日记可以增加读者的知识，使大家“耳目为之一新”。
罗森在《日本日记》中，以生动的文笔，描述了日本横滨、下田、箱馆(今北海道函馆市)等地的山水、人情、风俗、物产。对当时日本的社会和人民也颇有好感和溢美之词。他赞扬日本的社会治安，“无有鼠窃狗偷之辈。”对于日本的取士制度也表示赞赏，认为中国仅以八股文章取士，而日本则“文、武、艺、身、言皆取”。在横滨，见到日本的大力士们，一人一次竟能举起二、三包200余斤重的大米包，不禁赞叹：“足见日本之多勇力人也！”在下田，他还赞美一位日本少年桂正敏，“年纪虽小，身佩双剑，志气昂昂，善于应答”，聪明俊秀，招人喜欢。
由于罗森作为培理舰队的汉文翻译亲自参与了美日谈判签约的活动，因此他的《日本日记》也是研究近代日本开国历史的重要史料。罗森还记载了《神奈川条约》签订后，培理在美舰上举行的盛大招待宴会。美方送给日本政府的一批近代化器械，在横滨公开展览，不仅吸引了大量日本观众，也引起罗森的极大兴趣。他在日记中以惊异赞美的语气对火车、汽艇、电报机、照相机等一一加以描绘。这些欧美新发明的近代化器械，不少都是日本人和中国人初次所见，因而倍觉新奇，罗森的描述恐怕也是中国人对它们的最早记载之一。
罗森的《日本日记》还记录了罗森在访日期间进行的各种文化交流活动，并收集了与日本友人唱和的诗歌多首，这些都是研究近代初期中日文化交流史的宝贵资料。在罗森以前，虽也有一些人到过日本，但其中大部分是官员、商人、水手，偶尔也有少数文人、画师、和尚、医生等，却很少有人留下日本游记。清初以来，只有乾隆年间多次随商船赴日的画家汪鹏写的《袖海篇》可算是一篇日本游记。但汪鹏的活动仅限制于长崎中国商馆，因此观察见闻很有限。而罗森则周游了日本的横滨、下田、箱馆等地，并接触了许多日本官员、文人、百姓，再加上他到日本之时，正处在东亚历史的转折关头。因此他的《日本日记》，无论从观察日本的广度、深度以及史学、文学价值来说，都是《袖海篇》所不能比拟的，可以说是中国第一部有较高价值的日本游记。
罗森后来寓居香港，史籍少有记载，实际上他与日本人士仍有来往。1865年，日本政府派遣高级官员柴田刚中为横须贺炼铁厂联系原料技师赴欧途经香港时，曾在旅馆与罗森会晤，第二天罗森还到柴田乘的船上话别，并送他七本书。
在19世纪50年代初，中日两国之间交往十分稀少之际，罗森来到日本，并进行了许多友好交流活动，还写下了近代中国人的第一部日本游记，这位先驱者的贡献，我们是不应该忘记的。