這篇文章主要介紹了在Redis數(shù)據(jù)庫(kù)中實(shí)現(xiàn)分布式速率限制的方法,文中展示了一個(gè)用Python編寫的應(yīng)用示例,需要的朋友可以參考下

問(wèn)題

在許多應(yīng)用中，對(duì)昂貴的資源的訪問(wèn)必須加以限制,此時(shí)速率限制是必不可少的。許多現(xiàn)代網(wǎng)絡(luò)應(yīng)用程序在多個(gè)進(jìn)程和服務(wù)器上運(yùn)行，狀態(tài)需要被共享。一個(gè)理想的解決方案應(yīng)該是高效、 快捷的，而不是依賴于被綁定到特定客戶端的單個(gè)應(yīng)用程序服務(wù)器(由于負(fù)載平衡) 或本身持有任何狀態(tài)。

解決方案

實(shí)現(xiàn)這一目標(biāo)的一個(gè)簡(jiǎn)單有效的方法就是使用 Redis, 它有很多有用的數(shù)據(jù)結(jié)構(gòu)和功能, 盡管實(shí)現(xiàn)速率限制只需要2個(gè)功能用: 一、在某個(gè)具體的鍵值上遞增一個(gè)整數(shù)，二、給這個(gè)鍵值設(shè)置過(guò)期時(shí)間。

因?yàn)閞edis 有個(gè)單一的事件循環(huán)系統(tǒng) (每個(gè)人每次在同一個(gè)時(shí)間只能執(zhí)行一個(gè)操作),這是個(gè)原子操作, 也就是說(shuō)無(wú)論有多少個(gè)客戶端同時(shí)交互操作，對(duì)于同一個(gè)鍵值總有一個(gè)確定的數(shù)值。

這在對(duì)同一個(gè)資源進(jìn)行多個(gè)速率限制的情況下通常是有利的, 因?yàn)檫@允許少量的破裂，以及更長(zhǎng)的期限限制。例如每秒鐘請(qǐng)求3次，沒(méi)分鐘請(qǐng)求20次。因?yàn)槊總€(gè)限制都是相對(duì)獨(dú)立的，這就需要與其它限制分開進(jìn)行單獨(dú)的遞增。

因?yàn)樗俾氏拗仆ǔＳ迷陧憫?yīng)時(shí)間比較重要的資源(比如網(wǎng)頁(yè)應(yīng)用)，所以盡量縮短速率限制的使用時(shí)間是非常有必要的。redis的最基本的應(yīng)用就是發(fā)出命令，等待響應(yīng)，然后發(fā)出另一個(gè)命令，如此往復(fù)。 這個(gè)花費(fèi)是昂貴的，因?yàn)樾枰ㄟ^(guò)網(wǎng)絡(luò)在應(yīng)用程序和redis服務(wù)器之間多次往返。由于在這個(gè)用例中，沒(méi)有命令依賴其它命令的執(zhí)行結(jié)果，這使得redis的一個(gè)叫做流水線技術(shù)的使用成為可能。這就是客戶端緩存所有redis請(qǐng)求，然后把這寫請(qǐng)求發(fā)送給redis,redis一次性返回所有的結(jié)果。

Redis不會(huì)維護(hù)客戶端需要的限制的，因?yàn)閞edis會(huì)根據(jù)客戶端設(shè)置的過(guò)期時(shí)間刪除舊的記數(shù)。這消除了客戶端統(tǒng)籌協(xié)調(diào)的需要，和刪除競(jìng)爭(zhēng)條件的可能性。

The Code

1. import redis 
2. import time 
3.  
4. def rate_limit_check(r, key, limits): 
5. period_lengths = [_[0] for _ in sorted(limits.items())] 
6. period_limits = [_[1] for _ in sorted(limits.items())] 
7. pipe = r.pipeline() 
8. for period_length in period_lengths: 
9. current_period = int(time.time() / period_length) 
10. redis_key = 'rate_limit:{key}:{period_length}:{current_period}'.format(key=key, period_length=period_length, current_period=current_period) 
11. pipe.incr(redis_key).expire(redis_key, period_length*3) 
12. return not any(hits > period_limit for period_limit, hits in zip(period_limits, pipe.execute()[::2])) 
13.  
14. if __name__ == '__main__': 
15. r = redis.Redis() 
16. print rate_limit_check(r, '127.0.0.1', {1: 3, 60: 20}) 

{1: 3, 60: 20} 意味著每秒鐘3次的命中率是允許的，在任何限制下，都允許20次的命中。'127.0.0.1'在這里用作鍵值，盡管在真實(shí)的情況下，可能作為IP地址。更高級(jí)的用例將有一個(gè)全應(yīng)用程序的速率限制，鍵值只有客戶端的IP地址，以及一個(gè)為昂貴的終結(jié)點(diǎn)設(shè)置的特定終結(jié)點(diǎn)限制，這將用到客戶端的IP地址和終結(jié)點(diǎn),例如127.0.0.1+/login/。這些限制可以獨(dú)立地設(shè)置。

1. return rate_limit_check(r, '127.0.0.1', {1: 3, 60: 20}) and rate_limit_check(r, '127.0.0.1+/login/', {1: 2, 60: 5}) 

這是一個(gè)用Python寫的例子，它可以簡(jiǎn)單地移植到任何語(yǔ)言，只要這門語(yǔ)言包含Redis客戶端庫(kù)。