I-Want-Jobs-All

專案簡介

一個建立於 FastMCP 的職缺服務 MCP。透過在本機啟動 MCP Server，提供工具給代理（Agent）呼叫，提供 謀職 相關服務。

核心功能

1. 智慧職缺抓取

   • 自動化驗證：整合 Playwright Stealth，自動更新憑證與 Cookie，有效繞過反爬機制。
   • 動態篩選：支援單一或複合條件（學歷、經驗、薪資、地區等）組合搜索。
   • 詳盡欄位：精準提取薪資範圍、技術要求、公司福利與地理位置等關鍵資訊。

2. 資料庫驅動管理

   • 持久化儲存：由 SQLite 儲存資料，支援結構化查詢與高效率儲存。
   • 走訪：讓 Agent 能分批次、分階段地處理大量職缺資料。

3. 強健性與監控

   • 防禦性設計：在大數據量查詢前自動檢核量級，避免記憶體溢位 (MemoryError)。
   • 錯誤追蹤：全自動 log_error 機制，將抓取異常與原始資料封裝為 JSON，方便除錯。

功能列表

MCP 介面（對，目前僅一個！）

1. 職缺資料抓取
    - 搜刮自數字網站
    - 透過自行修改 config.py 設定條件（條件參見 [wiki](https://github.com/Li732375/JobE04_spider/wiki)）。

        > 就是網址那段冗長條件參數啦！

    - 支援單一或複合條件篩選職缺（學歷、經驗、工作型態、薪資、地區等）。
    - 取得職缺詳細資訊（薪資範圍、公司、地址、福利、擅長要求等）。
    - 自動檢查抓取異常或反爬機制阻擋。

2. 清除錯誤紀錄
    - 提供每次初始化狀態更新

- 新功能持續開發中...

安裝依賴套件

pip install -r requirements.txt

專案架構

.
│  .gitignore
│  agent_tools.py               # MCP 介面、伺服器
│  README.md
│  requirements.txt             # 依賴套件
│  
└─app
    │ config.py                 # 條件
    │  
    ├─database                  # 儲存資料
    │      
    ├─schemas
    │     job_schema.py         # 職缺資料格式
    │
    └─services
       │  job_crawl_flow.py     # 流程封裝
       │  job_db.py             # 資料庫實作
       │  log.py                # 錯誤管理實作
       └─ spyE04.py             # 介面功能實作

使用說明

1. 啟動 MCP 伺服器（本地）

python agent_tools.py

1. 連接 Agent 程式

   參見各平台 MCP Server 添加辦法

注意事項

1. 請勿頻繁抓取，以免 IP 被網站封鎖。
2. 抓取大量職缺（>4000 筆）可能耗時數小時。

開發更新

• 資料儲存於資料庫 SQLite，取代原先的 CSV。

• 資料庫功能有初步架構，預設有黑名單表。

  理想上暫時還是建議使用者手動或結合相關 MCP 進階操作篩選表單。

• 獨立出錯誤紀錄功能。

• 新增清除紀錄檔方法至介面。