Vào thời Lê, Ngọc Lâm vốn là một thôn cũ của xã Trường Lâm tức Hoa Lâm sở. Đến đời Thiệu Trị (1840 – 1847) đổi là Trường Lâm sở. Năm 1902 gọi là xã Ngọc Lâm trực thuộc tổng Gia Thụy, năm 1940 đổi lại là thôn Ngọc Lâm.
Đình Ngọc Lâm là một di tích có lịch sử hình thành và phát triển lâu đời. Đến nay, tuy chưa có sử liệu khẳng định niên đại khởi dựng, nhưng qua những tư liệu lưu tại đình thì vào thời Lê sơ thế kỷ XV, đình Ngọc Lâm cùng với các di tích như đền Chầu, chùa Bồ Đề, đình, chùa Lâm Du, đền Ghềnh và ngôi chùa cùng tên đã được ra đời, gắn liền với sự kiện khi bao vây quân xâm lược nhà Minh đóng trong thành Đông Quan vào cuối năm 1427, vua Lê Lợi cùng quân sư Nguyễn Trãi đã cho đặt đại bản doanh tại xã Bồ Đề. Do những biến đổi của lịch sử và chiến tranh tàn phá, dáng dấp ngôi đình cổ tuy không còn nhưng qua cấu trúc mặt bằng, không gian thì trước đây ngôi đình có quy mô bề thế. Ngôi đình hiện nay là thành quả của nhân dân địa phương tạo dựng lại vào năm 1993, trên nền Hậu cung của ngôi đình cổ.
Hiện nay, đình chia làm 3 gian, phía trước mở 3 cửa ra vào, kết cấu của đình dạng đầu hồi bít đốc, mái lợp ngói ta, nền nhà lát gạch men. Các bộ vì kèo đỡ mái có kết cấu đơn giản theo kiểu “vì kèo quá giang cột trốn”. Giáp tường Hậu cung là 3 bệ thờ xây bằng gạch. Bệ gian chính giữa là nơi đặt thờ tượng Thành hoàng ngồi trong khám kính, sơn son thếp vàng.
Giống như ý nghĩa bao ngôi đình ở mọi miền quê Bắc Bộ, ngôi đình được dựng lên để thờ vị Thần có công khai thiên lập ấp, có công bảo vệ xóm làng, mỗi khi có thiên tai, địch họa. Đồng thời, không gian của đình cũng chính là trung tâm sinh hoạt tín ngưỡng của cư dân trong làng. Theo hồi ức của các cụ và các tài liệu thu thập tại địa phương thì đình Ngọc Lâm thờ Linh Lang Đại vương, vốn là Hoàng tử con vua Lý Thánh Tông, có công đánh giặc giúp nước.
Tiểu sử của Thần Linh Lang được một số nguồn tài liệu ghi tóm tắt như sau: Vào thời Lý Ở giáp Đông Đoài, xã Bồng Lai, huyện Từ Liêm, phủ Quốc Oai, xứ Sơn Tây, có vợ chồng ông bà Nguyễn Thực và Lê Năng. ông bà là nhà gia thế hào phú, phúc hậu nhưng muộn con. Một hôm bà mơ thấy sao Thái âm rơi vào miệng, rồi sau đó có mang, sinh được một người con gái xinh đẹp đặt tên là Hạo Nương. Ít lâu sau ông Nguyễn Thực qua đời, bà lo ma, chịu tang chồng xong mang con đến ở với người em gái tại phường Thị Trại, phía tây Thành Thăng Long, tức làng Thủ Lệ ngày nay.
Năm 17 tuổi, Hạo Nương nổi tiếng xinh đẹp, có tài đức gặp vua Lý Thánh Tông ngự ra ngoại thành qua Thị Trại, Hạo Nương theo mọi người ra xem. Vua thấy Hạo Nương có dung nghi khác lạ đem lòng yêu mến, đón về cung lập làm nương phi thứ 9. Ờ cung được 7 năm thì mẹ mất, Hạo Nương xin phép về lo ma và chịu tang mẹ ở Thị Trại. Một hôm đi chơi, nàng gặp một con Giao Long lớn rồi từ đó có mang và sinh ra một người con trai, theo điềm báo mộng thì là con của Long Vương đầu thai. Người con trai có dáng mạo kỳ khôi, lưng có 18 nốt sao, giữa là hình sao Bắc Đẩu như ngọc trâm, sinh vào ngày 15 tháng 12. Vua vui mừng cho đón hai mẹ con vào cung và đặt tên chàng trai theo điềm mộng là Hoàng Lang. Lúc đó nước nhà có nạn giặc lớn từ phương Bắc đến? thế giặc rất mạnh, tình hình đất nước lâm nguy. Vua cho xá nhân đi loan báo cầu người hiền tài ra giúp nước. Nghe tin, Hoàng Lang vụt dậy bảo mẹ cho gọi xá nhân vào và bảo với xá nhân về tâu với vua cho sắm một lá lệnh kỳ cán sắt dài 10 trượng, một con Voi, mang đến cho Ngài, tất đánh tan được giặc. Xá nhân về tâu lại, vua cả mừng liền sắm con Voi và cho quân đem đến. Hoàng Lang vươn mình cao lớn, tay cầm cờ lệnh bắt Voi quỳ xuống và leo lên lưng và hô “Ta là thiên tướng”. Voi gầm lên rồi chạy như bay dẫn đầu đoàn quân lao thẳng tới trại giặc. Trời đất tối tăm, đánh một trận quân giặc tan tành thua chạy và xin hàng. Đất nước trở lại thanh bình.
Tan giặc, vua có ý nhường ngôi, nhưng Hoàng Lang kiên quyết không nhận. Chàng bị đau nặng, các thầy thuốc đều bó tay. Vua lo lắng đến thăm, chàng tâu rằng: “Thần vốn là con vua Long Vương, thấy nước nhà lâm nguy, vâng mệnh trời thác xuống Hoàng gia giúp nước, nay xong việc xin trở về Thuỷ quốc”. Vua bảo công đức Thần to lớn, Trẫm biết lấy gì đền đáp. Hoàng Lang tâu xin vua cho được thờ ở nơi sinh ra và lấy lá cờ lệnh khi xưa, tung lên trời, đến đâu thì xin được thờ ở đó. Vua ưng thuận, chàng bèn tung cờ lệnh lên không trung, bước lên phiến đá, thân biến thành Bạch xà dài trăm trượng bò xuống Hồ Tây biến mất. Ngày đó là ngày 10 tháng 2. Sau này, các nơi lấy ngày này làm ngày hoá của Linh Lang. Ngọn cờ bay lên không trung rồi lại về chỗ vua đứng. Tương truyền, có tới 220 làng nhìn thấy, vua ban sắc cho Hoàng tử Linh Lang làm Linh Lang Đại vương và cho các nơi nhìn thấy cờ hiệu thờ ông làm Thành hoàng.
Ngày nay, huyền tích đó vẫn được lưu truyền và tồn tại trong tiềm thức của người dân vùng đồng bằng Bắc Bộ, nhất là quanh vùng Thăng Long. Và đền thờ Thần Linh Lang tại Thăng Long – Hà Nội là một trong “Thăng Long tứ trấn” hay “Thăng Long tây trấn” (đền trấn giữ phía tây), tức đền Voi Phục thuộc phường Ngọc Khánh, quận Ba Đình là nơi thờ chính Thần Linh Lang.
Tại đình Ngọc Lâm còn đôi câu đối phản ánh về lai lịch của Thần Linh Lang:
Sinh vi Đế, tử hoá vi Thần,
Từ thư hàng hàng lưu trí tôn.
Tạm dịch:
Sinh làm con Vua, mất hóa Thần,
Lời thề ngời sáng mãi ngàn năm.
Một số nguồn sử liệu khác cho biết: Hoàng Lang tức Hoàng tử con vua Lý Thánh Tông với một bà cung nữ ở đất Thị Trại, Thủ Lệ, được dự hàng Hoàng tử của triều đình góp phần không nhỏ trong cuộc kháng chiến chống quân Tống xâm lược của dân tộc, nhất là trận chiến đấu trên sông Cầu năm 1076 – 1077.
Hiện nay, tại đình còn lưu giữ được một số hiện vật như: 1 cỗ ngai thờ sơn son thếp vàng; 3 hộp quả; 1 chén đựng nước; 1 mâm bồng sơn son thếp vàng; 1 bức hoành phi ghi 4 chữ Hán cổ “Thánh cung vạn tuế”; 1 pho tượng Linh Lang Đại vương ngồi trong khám thờ. Các hiện vật góp phần làm tăng thêm giá trị của ngôi đình.
Ngôi đình luôn có sự gắn bó mật thiết với đời sống tâm linh của mỗi người dân Ngọc Lâm. Đình vừa là nơi mọi người dân lao động gửi gắm những ước mong có một cuộc sống ấm no và hạnh phúc, mưa thuận gió hoà, mùa màng tươi tốt…, vừa là nơi giáo dục. và nuôi dưỡng những truyền thống văn hóa của ông cha ta từ ngàn đời trong nước nhớ nguồn”, cho các thế hệ hôm nay và mai sau.