Local SE Agent Masterclass

ollama>=0.4.0
chromadb>=0.4.24
rich>=13.7.0
tree-sitter==0.23.2
tree-sitter-java==0.23.2

from pathlib import Path
from typing import List, Dict, Any, Optional
import tree_sitter_java as tsjava
from tree_sitter import Language, Parser, Node

class JavaASTParser:
    """
    เอนจินสกัดโครงสร้างไวยากรณ์ Java AST ด้วย Tree-sitter
    แปลงโค้ดดิบให้กลายเป็น Code Skeleton ตัดทอน Body ออกเพื่อประหยัด Token สูงสุด
    """
    def __init__(self):
        # 1. โหลดไวยากรณ์ภาษา Java จาก C-binding
        self.language = Language(tsjava.language())
        # 2. สร้าง Parser Instance
        self.parser = Parser(self.language)

    def parse_code(self, source_code: str):
        """แปลงข้อความโค้ดเป็น Tree-sitter Syntax Tree"""
        source_bytes = bytes(source_code, "utf8")
        return self.parser.parse(source_bytes), source_bytes

    def extract_skeleton(self, source_code: str) -> str:
        """
        [Token-Optimization Hero]:
        สกัดเฉพาะ Class Name, Field Types, และ Method Signatures
        :param source_code: โค้ดดิบตัวเต็ม
        :return: ข้อความโครงกระดูกโค้ดแบบกะทัดรัด
        """
        tree, source_bytes = self.parse_code(source_code)
        root_node = tree.root_node

        skeleton_lines = []

        def get_node_text(node: Optional[Node]) -> str:
            if not node:
                return ""
            return source_bytes[node.start_byte:node.end_byte].decode("utf8")

        def traverse(node: Node, indent: int = 0):
            prefix = "  " * indent

            # ดักจับการประกาศ Class หรือ Interface
            if node.type in ("class_declaration", "interface_declaration"):
                name_node = node.child_by_field_name("name")
                class_name = get_node_text(name_node)
                kind = "interface" if node.type == "interface_declaration" else "class"
                skeleton_lines.append(f"\n{prefix}{kind} {class_name} {{")

                # ตรวจดูสมาชิกภายใน Body ของคลาส
                body_node = node.child_by_field_name("body")
                if body_node:
                    for child in body_node.children:
                        # ดักจับ Method Declaration
                        if child.type == "method_declaration":
                            m_name = get_node_text(child.child_by_field_name("name"))
                            m_type = get_node_text(child.child_by_field_name("type")) or "void"
                            m_params = get_node_text(child.child_by_field_name("parameters")) or "()"
                            skeleton_lines.append(f"{prefix}  + {m_name}{m_params} -> {m_type};")

                        # ดักจับ Constructor Declaration
                        elif child.type == "constructor_declaration":
                            c_name = get_node_text(child.child_by_field_name("name"))
                            c_params = get_node_text(child.child_by_field_name("parameters")) or "()"
                            skeleton_lines.append(f"{prefix}  + constructor {c_name}{c_params};")

                skeleton_lines.append(f"{prefix}}}")
                return

            # ท่องต่อไปยัง Node ลูกๆ ถ้ายังไม่เจอ Class
            for child in node.children:
                traverse(child, indent)

        traverse(root_node)
        return "\n".join(skeleton_lines).strip()

"""
Intelligence Package: รวบรวมเอนจิน AST Parsing, Code Skeletonization และ Symbol Analysis
[เพิ่มใหม่ Day 18]: JavaASTParser
"""
from intelligence.ast_parser import JavaASTParser

__all__ = ["JavaASTParser"]

import time
from intelligence.ast_parser import JavaASTParser

def estimate_tokens(text: str) -> int:
    """Heuristic estimate: ~3.5 chars ต่อ 1 Token"""
    return max(1, int(len(text) / 3.5))

def main():
    print("=" * 70)
    print("🚀 เริ่มทดสอบ Day 18: Beyond Raw Text — AST Parsing with Tree-sitter")
    print("=" * 70)

    # 1. จำลองซอร์สโค้ด Java ขนาดยาวที่มีทั้ง Logic ซับซ้อน และ Comment หลอก
    sample_large_java = """
    package com.enterprise.ecommerce.service;

    import java.util.*;
    import com.enterprise.ecommerce.model.*;

    // public void fakeCommentedMethod() - คอมเมนต์หลอก Regex ต้องไม่ติดเข้ามา!

    public class PaymentProcessingService {

        private final PaymentGatewayClient gatewayClient;
        private final TransactionRepository txRepo;

        public PaymentProcessingService(PaymentGatewayClient client, TransactionRepository repo) {
            this.gatewayClient = client;
            this.txRepo = repo;
        }

        public PaymentResult processTransaction(Long userId, Double amount, String currency) {
            // โค้ดตรรกะภายในยาวเหยียด 50 บรรทัด
            if (amount <= 0) {
                throw new IllegalArgumentException("Amount must be positive");
            }
            Map payload = new HashMap<>();
            payload.put("user", userId);
            payload.put("amount", amount);
            payload.put("timestamp", System.currentTimeMillis());
            
            // สั่งงานตัดบัตรเครดิต...
            return gatewayClient.charge(payload);
        }

        public boolean refundTransaction(Long transactionId, String reason) {
            // โค้ดคืนเงิน...
            Transaction tx = txRepo.findById(transactionId);
            if (tx == null || tx.isRefunded()) {
                return false;
            }
            tx.markRefunded(reason);
            txRepo.save(tx);
            return true;
        }

        public TransactionStatus checkStatus(Long transactionId) {
            return txRepo.findStatus(transactionId);
        }
    }
    """

    raw_tokens = estimate_tokens(sample_large_java)
    print(f"\n📦 1. ข้อมูลโค้ดดิบ (Raw Text): ความยาว {len(sample_large_java)} chars (~{raw_tokens} Tokens)")

    # 2. เริ่มต้นรัน JavaASTParser ด้วย Tree-sitter
    parser = JavaASTParser()
    start_time = time.perf_counter()
    skeleton = parser.extract_skeleton(sample_large_java)
    elapsed_ms = (time.perf_counter() - start_time) * 1000

    skeleton_tokens = estimate_tokens(skeleton)

    print(f"\n⚡ 2. Tree-sitter สกัด Code Skeleton สำเร็จในเวลา: {elapsed_ms:.2f} ms!")
    print("-" * 50)
    print("📋 [EXTRACTED CODE SKELETON]:")
    print(skeleton)
    print("-" * 50)

    # 3. ตรวจสอบความถูกต้องว่ากรองคอมเมนต์หลอกได้จริง
    assert "fakeCommentedMethod" not in skeleton, "❌ ล้มเหลว! Parser เผลอจับเอาเมธอดในคอมเมนต์เข้ามา!"
    assert "processTransaction" in skeleton, "❌ ล้มเหลว! เมธอด processTransaction หลุดหาย!"
    assert "refundTransaction" in skeleton, "❌ ล้มเหลว! เมธอด refundTransaction หลุดหาย!"

    # 4. คำนวณเปอร์เซ็นต์การประหยัด Token
    saved_percent = ((raw_tokens - skeleton_tokens) / raw_tokens) * 100
    print(f"\n📊 3. ผลลัพธ์ Token Budget Optimization:")
    print(f"   👉 ขนาดโค้ดดิบ: ~{raw_tokens} Tokens")
    print(f"   👉 ขนาด Skeleton: ~{skeleton_tokens} Tokens")
    print(f"   🎉 ประหยัด Token ลงได้ถึง: {saved_percent:.1f}%!")

    print("\n" + "=" * 70)
    print("🏆 ผ่านการทดสอบ AST Parsing with Tree-sitter สมบูรณ์แบบ 100%!")
    print("🚀 คุณพร้อมก้าวสู่ Day 19: Cross-File Call Hierarchy Graph แล้ว!")
    print("=" * 70)

if __name__ == "__main__":
    main()