หน่วยงาน ศูนย์คอมพิวเตอร์
เรื่อง ระบบ HOSxP ล่ม
.............................................................................................................................
19/9/2554 เวลาประมาณ 16.00 น. ที่บ้านวังบาล ต.หล่มเก่า จ.เพชรบูรณ์
ผมได้รับแจ้งจากอาร์มทางโทรศัพท์ว่าระบบ HOSxP ของโรงพยาบาลล่ม ข้อมูล ตารางสำคัญเสียหายและตอนนี้ได้ประกาศให้หยุดการใช้งานชั่วคราว รายละเอียดคร่าวๆ ที่สอบถามกัน คือ เกิดปัญหาจากการใช้คำสั่งในการทำงานบางอย่างทำให้มีการสร้าง database ใหม่ ทำให้ข้อมูล HOSxP ของโรงพยาบาลสูญหาย หลังจากที่ตรวจพบปัญหาอาร์มได้สั่งระงับการใช้ HOSxP และเปลี่ยนมาเป็นระบบ manual แทนทั้งหมด.. ผมจึงขอให้ทีมของศูนย์คอมทั้งหมดอยู่เตรียมพร้อมรอผมที่โรงพยาบาลด้วย
ประมาณหกโมงเย็นก่อนออกเดินทางกลับ ผมโทรสอบถามความคืบหน้าว่าได้ดำเนินการแก้ไขไปถึงไหนแล้ว ได้รับคำตอบว่าสามารถกู้คืนข้อมูลในส่วนของ ผู้ป่วยใน แล๊ป และค่าใช้จ่าย ส่วนvisit ที่ OPD ซึ่งมีจำนวนกว่า 570 record.. และดูเหมือนว่า..งานเข้า ตั้งแต่ต้นสัปดาห์
ทบทวนแนวทางปฏิบัติ
"ในเอกสาร WI-IMT-022 เขียนถึง การปฏิบัติกรณีเครื่อง Server/Database มีปัญหา ซึ่งเหตุการณ์นี้เข้าข่ายเป็นกรณีของที่ 2 เครื่อง Server /Database มีปัญหา ไม่สามารถแก้ไขได้ภายใน 30 นาที ตามขั้นตอนหลังจากที่ได้รับแจ้งปัญหาจากหัวหน้า/รองหัวหน้า อาร์มได้ตรวจสอบสาเหตุของปัญหาและประเมินระยะเวลาในการแก้ไข ซึ่งพบว่าเป็นปัญหารุนแรงไม่สามารถแก้ไขได้ภายใน 30นาที ให้แจ้งผู้อำนวยการ และผมซึ่งเป็นประธานคณะกรรมการสารสนเทศทราบ แต่เนื่องจากผมไม่ได้อยู่ในพื้นที่ อาร์มจึงแจ้งประกาศใช้แผนฉุกเฉินกรณีระบบเครือข่ายใช้งานไม่ได้ โดยใช้มาตรเดียวกับข้อกรณีไฟฟ้าดับ มากกว่า 30 นาที ให้ทุกหน่วยงานหยุดการใช้งานโปรแกรม HOSxP ชั่วคราว ตั้งแต่เวลาประมาณ 16.00 ถึง 19.00 น."
เมื่อกลับมาถึงด่านซ้าย ผมรีบขับรถไปที่โรงพยาบาลเพื่อตรวจสอบฐานข้อมูลHOSxPและพูดคุยสอบถามปัญหากับอาร์มถึงสาเหตุของปัญหาและสถานการณ์ล่าสุด โดยสรุปสาเหตุของปัญหาเกิดจาก อาร์มได้ใช้คำสั่งที่เป็นการจัดการอะไรบางอย่าง แต่ไม่ได้เปลี่ยนไปใช้ฐานสำรอง ทำให้ฐานข้อมูลสูญหาย หลังจากประกาศหยุดใช้งาน HOSxP ได้นำข้อมูลสำรองซึ่งมีการสำรองไว้ล่าสุดคือ วันที่ 19/9/2554 เวลา 07.30 น. ทำให้ข้อมูลหลังจากช่วงเวลาดังกล่าวหายไป และอาร์มได้พยายามดึงข้อมูลจาก log files ได้มาบางส่วนแล้ว เช่น ข้อมูลแล๊ป ,ผู้ป่วยใน ฯลฯ และเริ่มใช้งาน HOSxP ได้ตั้งแต่เวลาประมาณ 20.00 น. ผมจึงบันทึกรายงานอุบัติการณ์ความเสี่ยงแจ้งปัญหาไว้เบื้องต้น..
หลังจากนั้นเราจึงไปช่วยกันตรวจสอบข้อมูลต่อ อาร์มเสนอแนวทางในการแก้ไขปัญหาว่าสามารถจะดึงข้อมูลจาก Log files ได้ หลังจากนั้นจึงเขียน tools (ซึ่งเขียนเพิ่มไว้ใน DSHOSxP ด้วย) ในขั้นตอนนี้ทำให้ผมรู้สึกได้อย่างหนึ่งว่าเป็นสิ่งที่ต้องใช้ความรู้ ความสามารถและทักษะทางโปรแกรมอย่างมาก และได้เห็นความสามารถของอาร์มว่ามีความเข้าในในเรืองฐานข้อมูลของ HOSxP เป็นอย่างดี.. แต่เนื่องจากต้องใช้เวลาค่อนข้างมาก ทำให้ผมค่อนข้างกังวลใจกับการให้บริการในวันพรุ่งนี้ จึงตัดสินใจโทรไปแจ้งพี่เข้ ทีม สสจ.เลย เรื่องการประชุมในวันพรุ่งนี้ว่าอาจจะไม่ได้ไปร่วมประชุมด้วย.
หลังจากอาร์มเขียน Tools และเริ่มโอนข้อมูลเข้าระบบ พบว่าข้อมูล visit ของวันที่ 19/9/2554 สามารถนำเข้ากลับคืนมาได้ทั้งหมด รวมถึงรายการยา และค่าใช้่จ่าย แต่ในส่วนของข้อมูล vital sign และ Dx ไม่สามารถดึงกลับคืนมาได้ พวกเราจึงตัดสินใจยุติการทำงานและกลับไปพักผ่อน..
หลังจากอาร์มเขียน Tools และเริ่มโอนข้อมูลเข้าระบบ พบว่าข้อมูล visit ของวันที่ 19/9/2554 สามารถนำเข้ากลับคืนมาได้ทั้งหมด รวมถึงรายการยา และค่าใช้่จ่าย แต่ในส่วนของข้อมูล vital sign และ Dx ไม่สามารถดึงกลับคืนมาได้ พวกเราจึงตัดสินใจยุติการทำงานและกลับไปพักผ่อน..
20/9/2554 เวลาประมาณ 08.00 น.
ผมเข้าพบ ผอ.และรายงานสถานการณ์ล่าสุดให้ทราบ พร้อมทั้งแนวทางการแก้ไขต่อไป ซึ่งจำเป็นที่จะต้องขอแรงเจ้าหน้าที่ห้องบัตรและเจ้าหน้าที่อื่นๆมาช่วยในการบันทึกข้อมูลในส่วนของ ข้อมูล vital sign และ Dx ย้อนหลัง ประมาณ 500 กว่า record ในเบื้องต้น ผอ.อนุมัติและให้เบิกเป็น OT
หลังจากนั้นผมได้ลองให้เวชระเบียนค้น OPD CARD มาตรวจสอบข้อมูลและปัญหาอื่นๆเพิ่มเติม พบรายงานการแจ้งปัญหาจากหน่วยงานต่างๆ เพิ่มเข้ามา ดังนี้
หลังจากนั้นผมได้ลองให้เวชระเบียนค้น OPD CARD มาตรวจสอบข้อมูลและปัญหาอื่นๆเพิ่มเติม พบรายงานการแจ้งปัญหาจากหน่วยงานต่างๆ เพิ่มเข้ามา ดังนี้
- คนไข้ D/C แล้วแต่ยังมีข้อมูล admit เหมือนเดิม
- เด็กที่แจ้งเกิดเปลี่ยนชื่อแล้วแต่ชื่อและสิทธิกลับไปเป็นบุตรนาง และสิทธิเป็นชำระเงิน
- ข้อมูลการเงินที่ออกใบเสร็จรายการออกใบเสร็จเป็น 0 บาท
- ข้อมูล Lab แสดงผลไม่ถูกต้อง ซึ่งข้อมูลตรงนี้มีความเสีี่ยงสูงมากต่อการรักษาผู้ป่วย หลังจากพูดคุยกับแพทย์และพยาบาลที่คลินิก จึงให้แก้ปัญหาเบื้องต้นของรายงานผล แล๊ปวันนี้โดยเอารายงานผลโดยตรง และทบทวนรายงานผลแล๊ปของคนอื่้นๆที่ผ่านมา และได้แจ้งเวียนไปยังพยาบาลและแพทย์ท่านอื่นๆให้ตรวจสอบรายงานผลแล๊ปด้วย
ผมจึงรีบนัดพูดคุยกับอิ๊ด ทีมเวชระเบียน และพิมพ์เอกสารรายชื่อผู้ป่วย และ HN ที่จะต้องค้นบัตรมาลงข้อมูลย้อนหลัง เบื้องต้นผมได้ทดลองนำข้อมูลมาบันทึกดูว่ามีความยากง่าย หรือยุ่งยากเพียงใด ซึ่งได้พบปัญหาอีกเล็กน้อยดังนี้
- บางหน่วยงานไม่ได้พิมพ์ OPD CARD ของวันที่ 19/9/2554 เช่น PCU ,กายภาพบำบัด,แพทย์แผนไทย และ ER กรณีของผู้ป่วยล้างแผล ทำให้ไม่มีข้อมูลลงย้อนหลัง
- พบวิธีการบันทึกข้อมูลที่แปลกไปจากที่ตกลงกันไว้ เช่น การลงข้อมูลน้ำหนัก ส่วนสูงซึ่งกำหนดให้โปรแกรมบังคับต้องลง แต่เนื่องจากว่าอาจจะเป็นคนไข้ฉุกเฉิน ทำให้เจ้าหน้าที่เลี่ยงวิธีการลงโดยลงบันทึกน้ำหนักและส่วนสูงเป็น 1 แทน
- ในส่วนองค์กรแพทย์มีการใช้ form OPD CARD ไม่เหมือนกัน
ช่วงเวลา 14.00 น. มีการนัดประุชุมทีมกรรมการสารสนเทศ ซึ่งเป็นวาระประชุมประจำเดือนตามปกติ ผมได้แจ้งปัญหาด่วนและขอความร่วมมือทีมงานในการช่วยลงบันทึกข้อมูลย้อนหลังให้แล้วเสร็จภายในวันนี้ตามมาตรฐานศูนย์คอมพิวเตอร์จะต้องรีบดำเนินนการแก้ไขปัญหาให้สามารถใช้งานได้ตามปกติภายในเวลา 24 ช.ม.
16.30 น. เริ่มการลงบันทึกข้อมูล vital sign และ Dx ย้อนหลัง มีทีมงานที่อยู่ช่วยงานหลายท่าน เช่น หมอน๊อต, วราภรณ์ ,อิ๊ด,อ๋อมเจ้าหน้าที่่ฝ่ายเวชระเบียน,อาร์ม และผม ช่วยกันลงบันทึกข้อมูลย้อนหลังจนทำให้สามารถลงบันทึกข้อมูลของวันที่ 19/9/2554 ได้คืนมามากกว่า 95 เปอร์เซนต์ ส่วนปัญหาที่เหลือจะติดตามต่อในวันพรุ่งนี้.. โดยอาร์มช่วยทำหน้าที่เป็นฝ่ายสวัสดิการช่วยจัดซื้อข้าวกล่องและน้ำดื่มมาเลี้ยงทีมงาน
21.00 น. ยุติการลงบันทึกข้อมูลย้อนหลัง
...........................................................................................................................................................
บทสรุป
บทสรุป
อุบัติการณ์ความเสี่ยงระบบเครือข่ายล่มเป็นเวลามากกว่า 30 นาที และมีการประกาศใช้แผนการแก้ไขปัญหาตามแนวทางกรณีเครื่องserver/databaseใช้งานไม่ได้ ซึ่งผู้ที่เกี่ยวข้องได้ปฏิบัติตามแนวทางที่วางไว้ทีมงานสามารถแก้ไขให้ระบบกลับมาใช้งานได้ในเวลา 4 ชั่วโมง และสามารถกู้ข้อมูลสำคัญให้กลับคืนมาภายในเวลาไม่เกิน 24 ชั่วโมง
สาเหตุของปัญหา เกิดจากความพลั้งเผลอของทีมผู้ดูแลระบบ
สาเหตุของปัญหา เกิดจากความพลั้งเผลอของทีมผู้ดูแลระบบ
มาตรการป้องกันปัญหา
- เพิ่มช่วงเวลาการสำรองข้อมูลอัตโนมัติ เป็น 06.00 น. ,10.00 น.,14.00 น. และ 18.00 น.
- ทบทวนเรื่องการพิมพ์ OPD CARD ในจุดบริการอื่น เช่น FMC,กายภาพ,แพทย์แผนไทย
ขอขอบคุณ
-อาร์ม ถึงแม้จะผิดพลาดด้วยความพลั้งเผลอ แต่ก็พยายามทุ่มเท กอบกู้สถานการณ์จนระบบ HOSxP สามารถกลับมาใช้งานได้ตามปกติ ซึ่งในระหว่างที่นั่งทำงานด้วยกันทำให้ผมได้เห็นฝีมือของอาร์มว่าเป็นขั้นเทพจริงๆ
-ตั้ม ช่างเทคนิค ในช่วงที่ผมกับอาร์มกำลังยุ่งๆกับการแก้ไขปัญหา HOSxP ในส่วนปัญหาของ Hardware ตั้มก็ยังเป็นมือหนึ่งที่ไว้ใจได้
-เปีย ที่ช่วยทำให้งานหนังสั้น และงานอื่นๆที่สามารถทำได้จนเสร็จเรียบร้อย ทำให้ผมต้องเหนื่อยน้อยลง
-หมอน๊อต แม้ว่าสิ้นเดือนนี้จะลาออกจากโรงพยาบาลไปทำงานที่อื่นแต่ก็ยังอยู่ช่วยงานกันอย่างเต็มที่
-น้องพร ถึงจะเป็นพยาบาล IPD เคยใช้แต่เมนูผู้ป่วยใน แต่งานนี้เรียนรู้ได้ไวกับระบบงานผู้ป่วยนอก
-อิ๊ด หัวหน้างานเวชระเบียน ที่ช่วยบริหารจัดการโทรตามน้องๆมาช่วยและทำงานด้วยกันเสร็จ
-อ๋อม รองหัวหน้างานเวชระเบียน
-พี่เนาะ,เอี้ยม,อั๋น,แนท,นุ้ย ทีมเวชระเบียนที่เสียสละเวลา อดทน ต้องมาค้นบัตรเข้าและเก็บบางคนควรจะลงเวรไปแล้วแต่ก็ยังอยู่ช่วยต่อ คนที่อยู่ในระหว่างการลาพักผ่อนอย่างนุ้ยยังกลับเข้ามาทำงาน หรือเวร off ของน้องแนทที่ควรจะพักผ่อนอยู่กับบ้านก็มาช่วยกันเต็มที่ และขอบคุณทุกกำลังใจที่ส่งมาให้พวกเราครับ
เบื้องหลังการทำงาน
- เพิ่มช่วงเวลาการสำรองข้อมูลอัตโนมัติ เป็น 06.00 น. ,10.00 น.,14.00 น. และ 18.00 น.
- ทบทวนเรื่องการพิมพ์ OPD CARD ในจุดบริการอื่น เช่น FMC,กายภาพ,แพทย์แผนไทย
ขอขอบคุณ
-อาร์ม ถึงแม้จะผิดพลาดด้วยความพลั้งเผลอ แต่ก็พยายามทุ่มเท กอบกู้สถานการณ์จนระบบ HOSxP สามารถกลับมาใช้งานได้ตามปกติ ซึ่งในระหว่างที่นั่งทำงานด้วยกันทำให้ผมได้เห็นฝีมือของอาร์มว่าเป็นขั้นเทพจริงๆ
-ตั้ม ช่างเทคนิค ในช่วงที่ผมกับอาร์มกำลังยุ่งๆกับการแก้ไขปัญหา HOSxP ในส่วนปัญหาของ Hardware ตั้มก็ยังเป็นมือหนึ่งที่ไว้ใจได้
-เปีย ที่ช่วยทำให้งานหนังสั้น และงานอื่นๆที่สามารถทำได้จนเสร็จเรียบร้อย ทำให้ผมต้องเหนื่อยน้อยลง
-หมอน๊อต แม้ว่าสิ้นเดือนนี้จะลาออกจากโรงพยาบาลไปทำงานที่อื่นแต่ก็ยังอยู่ช่วยงานกันอย่างเต็มที่
-น้องพร ถึงจะเป็นพยาบาล IPD เคยใช้แต่เมนูผู้ป่วยใน แต่งานนี้เรียนรู้ได้ไวกับระบบงานผู้ป่วยนอก
-อิ๊ด หัวหน้างานเวชระเบียน ที่ช่วยบริหารจัดการโทรตามน้องๆมาช่วยและทำงานด้วยกันเสร็จ
-อ๋อม รองหัวหน้างานเวชระเบียน
-พี่เนาะ,เอี้ยม,อั๋น,แนท,นุ้ย ทีมเวชระเบียนที่เสียสละเวลา อดทน ต้องมาค้นบัตรเข้าและเก็บบางคนควรจะลงเวรไปแล้วแต่ก็ยังอยู่ช่วยต่อ คนที่อยู่ในระหว่างการลาพักผ่อนอย่างนุ้ยยังกลับเข้ามาทำงาน หรือเวร off ของน้องแนทที่ควรจะพักผ่อนอยู่กับบ้านก็มาช่วยกันเต็มที่ และขอบคุณทุกกำลังใจที่ส่งมาให้พวกเราครับ
เบื้องหลังการทำงาน
