feat(context): tambah context::shaping (port dari shortsend)
Perilaku should_shape/shape_messages tidak berubah, hanya sumber penghitungan token yang sekarang lewat context::tokens (tiktoken-rs) menggantikan heuristik char/3 bawaannya sendiri.
This commit is contained in:
@@ -11,6 +11,7 @@
|
||||
//! `TurnEvent::Compacted`.
|
||||
|
||||
pub mod dedup;
|
||||
pub mod shaping;
|
||||
pub mod squash;
|
||||
pub mod tokens;
|
||||
pub mod window;
|
||||
|
||||
Reference in New Issue
Block a user