importlib 模塊的作用

模塊，是一個一個單獨的py文件 包，里面包含多個模塊（py文件）

動態導入模塊，這樣就不用寫那么多的import代碼， 典型的例子： 自動同步服務，每個網站都有一個py文件。主進程里收到同步任務，根據名稱來動態導入對應的py文件，這樣就不用寫那么多的import代碼。（有點類似java的工廠方法）

但是，importlib并不能解決我在線修改py源碼，再不重啟進程的情況下，使修改生效。 這種情況，可以使用reload()

reload方法

為防止兩個模塊互相導入的問題，Python默認所有的模塊都只導入一次，如果需要重新導入模塊， Python2.7可以直接用reload()，Python3可以用下面幾種方法：

方法一：基本方法 from imp import reload reload(module)

方法二：按照套路，可以這樣 import imp imp.reload(module)

方法三：看看imp.py，有發現，所以還可以這樣 import importlib importlib.reload(module)

方法四：根據天理，當然也可以這樣 from importlib import reload reload(module)

在多進程的 程序中，一個進程的reload是無法影響另一個進程的

例子：

# 在主進程中啟動多進程def begin():  """ 啟動多進程 """  plist = []  for i in xrange(Num_process):    p = Process(target=pre_run)    p.start()    plist.append(p)  # 此進程監聽redis消息，收到消息，即執行reload方法  p = Process(target=reload_spider)  p.start()  plist.append(p)  for p in plist:    p.join()

# 監聽redis，執行reload方法def reload_spider():  """ 監聽文件變化，自動reload """  rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)  while True:    try:      key = 'reload-spider'      value = rconn.get(key)      print value      if value == '1':        crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())        reload(crawler_module)        crawlerClass = getattr(crawler_module, 'temp'.upper())        print 'reload_spider 中的class： %s' % (crawlerClass.name)      # rconn.delete(key)    except Exception, e:      pass    time.sleep(3)

另一個進程打印py文件里面一個變量

crawler = get_crawler_from_factory(mq_service, message)  print crawler.name

結果發現，一個進程中進行了reload，并不能改變另外一個進程中的變量。那么在同一個進程中呢...

同一進程中，多線程，任一線程進行了reload操作，其他線程均受影響

def pre_run():  t = threading.Thread(target=reload_spider, name='LoopThread')  t.start()  # t.join()   """ 在每個進程里面再使用多線程 """  pool = ThreadPool(Num_Thread)  # 初始化mq通道  mq_service = RabbitMqService()   def callback(ch, method, properties, body):    # 消息確認    mq_service.input_channel.basic_ack(delivery_tag=method.delivery_tag)    # 獲取當前線程的名字    current_process_name = multiprocessing.current_process().name    logger.debug('當前進程名稱：%s - pid: %s' % (current_process_name, os.getpid()))    logger.debug('進程 %s，收到消息： %s' % (current_process_name, body))    # 收到任務消息，丟給線程池處理    pool.apply_async(run, (properties, body, mq_service))  # 開始監聽入口通道  mq_service.receive(callback)