• Một mạch nhớ (memory chip) thường gồm nhiều ô nhớ (memory cells) được tổ chức thành một ma trận gồm các hàng và cột
• Tổ chức của một mạch nhớ bao gồm
  • Đường địa chỉ (Address lines): Nhận tín hiệu địa chỉ ô nhớ từ CPU
  • Bộ giải mã địa chỉ (Address decoder): Giải mã tín hiệu địa chỉ thành địa chỉ hàng và cột để chọn ra được ô nhớ
  • Đường dữ liệu (Data lines): Kết nối với Bus dữ liệu để nhận và gửi dữ liệu đến CPU
  • Tín hiệu chọn mạch (Chip select - CS)
  • Tín hiệu cho phép đọc (Read enable - RE)
  • Tín hiệu cho phép ghi (Write enable - WE)

• Cấu trúc phân cấp hệ thống nhớ không thực hiện "chia để trị" mà được tạo ra để thực hiện 2 vai trò chính
  • Tăng hiệu năng hệ thống qua việc giảm thời gian truy cập bộ nhớ
  • Giảm giá thành sản xuất

• ROM (Read Only Memory) là bộ nhớ chỉ đọc, có nghĩa là thông tin lưu trữ trong ROM chỉ có thể đọc mà không được ghi vào
• Việc ghi thông tin vào ROM chỉ có thể được thực hiện bằng các thiết bị chuyên dùng hoặc phương pháp đặc biệt
• Thông tin trong ROM được nhà sản xuất ghi sẵn, gồm các thông tin về cấu hình máy và hệ thống các mô đun phần mềm phục vụ việc ra vào cơ sở (BIOS - Basic Inout Output System)
• ROM là bộ nhớ bán dẫn và là bộ nhớ ổn định
• Quá trình phát triển ROM đã trải qua nhiều thế hệ. Loại ROM tiên tiến nhất hiện nay là EEPROM (Electrically Erasable PROM) có thể xóa được bằng điện và có thể ghi được thông tin sử dụng phần mềm chuyên dụng

• Bộ nhớ RAM được chế tạo theo công nghệ bán dẫn và thuộc loại bộ nhớ không ổn định
• Có hai loại RAM cơ bản
  • RAM tính (Static RAM hay SRAM)
  • RAM động (Dynamic RAM hay DRAM)
• SRAM tĩnh cấu tạo dựa trên một mạch lật, luôn ổn định và không phải "làm tươi" định kỳ
• DRAM cấu tạo dựa trên một tụ điện. Do bản chất của tụ điện luôn có khuynh hướng tự phóng điện tích, thông tin trong DRAM sẽ dần bị mất. Do vậy, DRAM cần được làm tươi định kỳ để bảo toàn thông tin

• Sở dĩ cache có thể giúp tăng hiệu năng hệ thống là nhờ cache có khả năng dung hòa được CPU có tốc độ cao và bộ nhớ chính có tốc độ thấp làm cho thời gian trung bình CPU truy cập dữ liệu từ bộ nhớ chính tiệm cận thời gian truy nhập cache
• Bộ nhớ cache có dung lượng tương đối nhỏ, khoảng từ vài chục kilobyte đến vài chục megabyte. Tốc độ truy cập cache cao, nhưng giá thành còn khá đắt. Cache được coi là bộ nhớ "thông minh" có khả năng đoán trước được nhu cầu lệnh và dữ liêu của CPU. Cache "đoán" và tải trước các lệnh và dữ liệu CPU cần sử dụng từ bộ nhớ chính, nhờ vậy giúp CPU giảm thời gian truy cập hệ thống nhớ, tăng tốc độ xử lý

• Cache hoạt động dựa trên hai nguyên lý cơ bản
  • Nguyên lý lân cận về không gian (Spatial locality): "Nếu một ô nhớ đang được truy nhập thì xác suất các ô nhớ liền kề với nó được truy nhập trong tương lai gần là rất cao"
  • Nguyên lý lân cận về thời gian (Temporal locality): "Nếu một ô nhớ đang được truy nhập thì xác suất nó được truy nhập lại trong tương lai gần là rất cao"

• Hit (đoán trúng) là một sự kiện mà CPU truy nhập một mục tin và mục tin ấy có ở trong cache, H thuộc khoảng (0,1). Hệ số Hit càng cao thì hiệu quả của cache càng cao
• Miss (đoán trượt) là một sự kiện mà CPU truy nhập một mục tin và mục tin ấy trong có trong cache

• Do kích thước của cache thường rất nhỏ so với kích thước bộ nhớ chính nên tại mỗi thời điểm, chỉ có một phần nhỏ thông tin của bộ nhớ chính được chuyển vào cache
• Cache không thực hiện ánh xạ toàn bộ của bộ nhớ chính. Kích thước của cache thường nhỏ hơn rất nhiều so với bộ nhớ chính. Do đó, chỉ một phần nhỏ của bộ nhớ chính được ánh xạ và lưu trữ trong cache tại một thời điểm
• Vì vậy, mặc dù cache không ánh xạ toàn bộ bộ nhớ chính nhưng nó vẫn giúp tăng tốc độ truy cập dữ liệu bằng cách lưu trữ và cung cấp nhanh chóng các dữ liệu và lệnh được sử dụng thường xuyên
• Có ba phương pháp ánh xạ chính được sử dụng trong cache:

• Xét trường hợp đọc thông tin
  • Nếu đó là trường hợp Hit: Thời gian CPU truy nhập mẩu tin bằng thời gian CPU truy nhập cache
  • Nếu đố là trường hợp Miss: Thời gian CPU truy nhập mẩu tin bằng thời gian truy nhập cache cộng với thời gian cache truy nhập bộ nhớ chính - còn gọi là miss penalty (gấp đôi thời gian truy cập khi đoán trượt)
• Xét trường hợp ghi thông tin
  • Nếu đó là trường hợp hit
    • Ghi thẳng (write through): mẩu tin được ghi đồng thời ra cache và bộ nhớ chính
    • Ghi trễ (write back): mẩu tin trước hết được ghi ra cache và dòng cache chứa mẩu tin sẽ được ghi ra bộ nhớ chính khi nó bị thay thế. Như vậy, mẩu tin có thể được ghi ra cache nhiều lần, nhưng chỉ được ghi ra bộ nhớ chính duy nhất một lần
  • Nếu đó là trường hợp miss
    • Ghi có đọc lại (write allocate: mẩu tin trước hết được ghi ra bộ nhớ chính, và sau đó dòng nhớ chứa mẩu tin vừa ghi được đọc vào cache
    • Ghi không đọc lại (write non-allocate): mẩu tin chỉ được ghi ra bộ nhớ chính

• Có ba chính sách thay thế đượ sử dụng hiện nay
  • Thay thế ngẫu nhiên (Random Replacement): Các dòng cache được lựa chọn để thay thế một cách ngẫu nhiên, không theo một quy luật nào. Phương pháp này tạo ra hệ số miss cao nhưng ưu điểm là thiết kế đơn giản và dễ cài đặt
  • Thay thế kiểu vào trước ra trước (FIFO - First In Fist Out): Phương pháp này có khuynh hướng loại bỏ các dòng cache có thời gian sử dụng lâu nhất, hay "già nhất". Nhược điểm là cài đặt phức tạp
  • Thay thế các dòng ít được sử dụng gần đây nhất (LRU - Least Recently Used): Các dòng cache được lựa chọn để thay thế là các dòng ít được sử dụng gần đây nhất - tuân theo yếu tố lân cận theo thời gian một cách chặt chẽ. Nhược điểm của phương pháp này là thiết kế và cài đặt phức tạp do cần phải có mạch điện tử chuyên dụng để theo dõi tần suất sử dụng các dòng cache

• Hiệu năng của cache (Cache Performance) có thể được đánh giá tổng thể theo thời gian truy nhập trung bình của CPU đến hệ thống nhớ
• Với thời gian truy nhập trung bình hệ thống nhớ tiệm cận thời gian truy nập cache với trường hợp cache đạt hệ số hit cao

Vấn đề kích thước cache

• Thực tế thống kê cho thấy, kích thước của cache không ảnh hưởng nhiều đến hệ số miss
• Với kích thước lớn, có thể tăng được số dòng bộ nhớ lưu trong cache
• Nhược điểm của cache lớn là chậm, do có không gian tìm kiếm lớn hơn cache nhỏ

Vấn đề chia tách cache

• Cache có thể được tách thành cache lệnh (I-Cache) và cache dữ liệu (D-Cache) để cải thiện hiệu năng, do
  • Dữ liệu và lệnh có tính lân cận khác nhau
  • Dữ liệu thường có tính lân cận về thời gian cao hơn lân cận về không gian; lệnh có tính lân cận về không gian cao hơn lân cận về thời gian
  • Cache lệnh chỉ cần hỗ trợ theo tác đọc; cache dữ liệu cần hỗ trợ cả 2 thao tác đọc và ghi
  • Tách cache giúp tối ưu dễ dàng và giảm xung đột tài nguyên cho CPU pipeline

Vấn đề tạo cache nhiều mức

• Tạo ra nhiều mức cache không chỉ giúp cải thiện hiệu suất, mà còn giúp tối ưu hóa chi phí và dung lượng
  • Tốc độ và dung lượng: Mỗi cấp độ cache có tốc độ truy xuất và dung lượng khác nhau. Vì vậy, chúng được sử dụng để lưu trữ các dữ liệu và lệnh khác nhau
  • Chi phí: Bộ nhớ cache có tốc độ truy xuất nhanh thường có chi phí cao. Do đó, việc sử dụng một lượng lớn bộ nhớ cache tốc độ cao sẽ làm tăng chi phí
  • Hiệu suất: Việc sử dụng nhiều mức cache giúp cải thiện hiệu suất bằng cách giảm thời gian truy cập dữ liệu từ các bộ nhớ liên tục
  • Tối ưu hóa: Các mức cache khác nhau cho phép hệ thống tối ưu hóa việc lưu trữ và truy cập dựa trên tần suất và mức độ quan trọng của dữ liệu
• Việc sử dụng nhiều mức cache giúp cân nhắc giữa hiệu suất và chi phí, đồng thời tối ưu hóa việc lưu trữ và truy cập dữ liệu

• Các loại miss của cache
  • Miss bắt buộc (Compulsory misses): xảy ra tại thời điểm chương trình đang được kích hoạt, khi mã chương trình đang được tải vào bộ nhớ lần đầu tiên và chưa được nạp vào cache
  • Miss do dung lượng (Capacity misses): thường xảy ra do kích thước của miss hạn chế, đặc biệt trong môi trường đa nhiệm do kích thước của cache nhỏ nên mã của các chương trình thường xuyên bị tráo đổi giữa bộ nhớ và cache
  • Miss do xung đột (Conflict misses): xảy ra khi có nhiều dòng bộ nhớ cùng cạnh tranh một dòng cache

• Tăng kích thước dòng cache
  • Giúp giảm miss bắt buộc do dòng có kích thước lớn sẽ có khả năng bao phủ các mục tin lân cận tốt hơn
  • Tuy nhiên, biện pháp này làm tăng miss xung đột, do giảm số dòng cache sẽ dẫn đến tăng mức độ cạnh tranh của các dòng nhớ đến một dòng cache. Ngoài ra dòng kích thước lớn có thể gây lãng phí dung lượng cache do có nhiều phần của cache không bao giờ được sử dụng
• Tăng mức độ liên kết
  • Bằng cách tăng số đường cache giúp giảm miss xung đột
  • Tăng tính mềm dẻo của ánh xạ do có nhiều lựa chọn
  • Tuy nhiên, nếu tăng số đường cache quá lớn có thể làm cache chậm do tăng không gian tìm kiếm các đường cache
  • Hiện nay, số đường cache hợp lý cho miss tối ưu là khoảng 8 đường