一条碧清的小溪边，有一所又小又破的屋子。墙壁早就穿了许多窟窿，风和太阳光月亮光可以从这些窟窿自由出进。柱子好像酥糖一样又粗又松，因为早有蛀虫在那里居住。铺在屋面上的稻草早成了灰白色，从各方吹来的风和从云端里落下来的雨，把原先的金黄色都洗掉了。屋子的倒影映在小溪里，快乐的鱼儿都可以看见。月明之夜，屋子的影子站在小溪边上，半夜醒来的小鸟儿都可以看见。
这所又小又破的屋子里，住着祥儿和他的母亲。祥儿的父亲临死的时候，什么事儿也没嘱咐，只指着挂在墙上的胡琴断断续续地说：“阿祥，我没有什么可以传给你，只有这把胡琴。你收下吧！”祥儿不懂他父亲说这话是什么意思，他的母亲却伤心得哭不出声音来了。就在这时候，他的父亲咽气了。
这把胡琴是祥儿的父亲时常拉着玩儿的。本来青色的竹干，因为手经常把握，变得红润了；涂松香的地方经常被弓磨擦，成了很深的沟；绷着的蛇皮也褪了色。繁星满天的夏天的夜晚，清风吹来的秋天的夜晚，他父亲就拿这把胡琴拉几支曲子。
在种田累了的时候，在割草乏了的时候，他父亲也要拿这把胡琴拉几支曲子，正像别的农人在休息的时候一定要吸几筒旱烟一个样。就是极冷的冬天，白雪像棉絮一般盖在屋面上，鸟儿们紧紧地挤成一团，也可以听见从屋子里传出来的胡琴的声音。
父亲的棺材被抬出去了，胡琴还挂在墙上。风从墙壁的窟窿吹进来，只见胡琴在轻轻地左右摇摆。阳光和月光射进来，胡琴的影子映在墙上，像一把舀水的勺子。祥儿看着觉得很有趣，胡琴好像充满了神秘的味道。
母亲织了一会儿草席，指着墙上的胡琴说：“阿祥，爸爸把这东西传给了你，你要像爸爸一样会拉，我才喜欢呢！”祥儿不大明白母亲的话，只是对着墙上的胡琴发呆。吃饭的时候，母亲又指着墙上的胡琴说：“阿祥，爸爸把这东西传给了你，你要像爸爸一样会拉，我才喜欢呢！”祥儿还是对着胡琴发呆。早上，祥儿在母亲的怀里醒来，母样又教训他说：“阿祥，爸爸把墙上那东西传给了你，你要像爸爸一样会拉，我才喜欢呢！”
直到祥儿满了四岁，母亲从墙上取下胡琴来，交在他手里。母亲说：“现在你可以拉这个东西了。我希望听到你拉出好听的调子来，跟你爸爸拉的一个样。”
祥儿双手握着胡琴。这是天天见面的老朋友，可是怎么拉法，他一点儿不懂。他移动了一下胡琴的弓，胡琴发出锯木头一般的声音。他把弓来回地拉，跟木匠师傅锯木头一个样。母亲看着他，脸上现出笑容，她称赞说：“我的儿子真聪明！”
拉动胡琴上的弓，成了祥儿每天的功课。他不但在家做这功课，走到小溪边，走到街道上，也一样做他的功课。打鱼的老汉正在溪边下网，讥笑他说：“跟锯木头一个样，拉得比你爸爸还好听哩！”蹲在埠头洗衣服的老太太也讥笑他说：“叫花子胡琴，也算接过了你爸爸的手艺么？”街道上的孩子们追赶着他说：“难听死了，难听死了，不如把胡琴送给我们玩吧！”祥儿不管他们说些什么，只顾一边拉一边走。
祥儿走到没有人的地方，周围都是高山，山下都是树林，他拉动弓，自己听着胡琴发出来的声音，觉得很快活。忽然听到有个声音在唤他：“小弟弟，想拉好听的调子吗？我可以教你。”祥儿四面找，一个人也没有。是谁在说话呢？正在疑惑，那个声音又说：“小弟弟，我在这里。你低下头来就看见我了。”祥儿低下头看，原来是一道清澈的泉水，活泼泼地流着，唱着幽静的曲调。水底有许多五色的石子，又圆又光滑，可爱极了。
祥儿高兴地回答说：“泉水哥哥，你肯教我，我非常感激。”泉水说：“你听着我的曲调，把胡琴和着我的调子拉吧。”祥儿侧着耳朵听，很能懂得泉水用它的曲子讲的什么话，就拉动弓和着，胡琴不再发出锯木头的声音了。胡琴的声音紧跟着泉水的曲调，后来竟合成一体，分不出哪是泉水的哪是胡琴的了。祥哥和泉水都高兴极了，只顾演奏，忘记了一切。后来泉水疲倦了，对祥儿说：“小弟弟，你拉得很好了。我想休息一会儿，明天再见吧。”泉水的调子越来越轻，最后它睡着了。祥儿离开了泉水，向前走去。
祥儿拉着新学会的曲调，引起周围的山都发出回声，成为很复杂的调子。他自己听着也很快活。忽然又听到有个声音在唤他：“小弟弟，还想学一种好听的调子吗？我可以教你。”他四面找，一个人也没有，难道泉水睡醒了，追上来了？正在疑惑，那个声音又说：“小弟弟，我在这里。你抬起头就看见我了。”祥儿抬起头看，原来是一阵纱一般的风，轻轻地吹着，唱着柔和的曲调。小草们野花们都一边听一边点头。
祥儿高兴地回答说：“风哥哥，你肯教我，我非常感激。”风说：“你听着我的曲调，把胡琴和着我的调子拉吧。”祥儿侧着耳朵听，很能理解风用它的曲子说的什么话，就拉动弓和着，比任何人做任何事儿都用心。胡琴的声音紧跟着风的曲调，后来竞成了一体，分不出哪是风的哪是胡琴的了。祥儿和风都很高兴，一会儿快，一会儿慢，一会儿高，一会儿低，只顾演奏。小草和野花都听得入了迷，好像喝醉了似的都垂下了头。后来风要走了，对祥儿说：“小弟弟，你又学会了一种好听的调子了。我现在要到别处去了，有机会再见吧。”风说完就飘走了。祥儿跟风告了别，又向前走去。
祥儿轮流拉着新学会的曲调，一会儿拉泉水的，一会儿拉风的，不知不觉走进了树林。拉泉水的调子，他就想起了活泼的泉水哥哥；拉风的调子，他就想起了轻柔的风哥哥。忽然又听到一个声音在唤他：“小弟弟，再多学一种好听的曲调，不是更好吗？我可以教你。”他四面找，一个人也没有。奇怪极了，除了泉水和风，又有谁自己愿意当他的音乐教师呢？正在疑惑，那个声音又说：“小弟弟，我在这里。你向绿叶深处仔细找，就看见我了。”祥儿向绿叶深处仔细找，原来是一只美丽的小鸟儿。小鸟儿机灵地从这根树枝飞到那根树枝，一边跳舞，一边唱着优美的曲调。绿叶围成的空间成了小鸟儿的舞台。